★ 2
研究：基础语言模型基准评测设置选择指南
论文指出 LLM 评测仍缺乏科学规范，考察任务表述、上下文示例数量等 8 个方面，用单调性、非随机性与排序一致性三项标准比较评测设置。在 26 个 2B 参数模型与 3 个 7B 以上模型上实验，给出多提示词始终有用、任务表述依赖模型规模等具体建议。
arXiv NLP18 天前
#元评估
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
多语言风格个性化生成指标元评估研究
论文提出基于回归的指标元评估方法，用校准后的指标输出预测人类评分，并构建覆盖 10 种语言、4 个评估维度的大规模多语言风格个性化生成基准。对 32 个指标在 40 种评估设置下元评估发现，简单字符串与嵌入指标经校准后可媲美强 LLM 评审。
arXiv NLP18 天前