★ 3
研究：交互式 LLM 评测中整体准确率会掩盖提示特定误差
论文指出，用单一整体准确率或 F1 验证自动评分器会掩盖不同提示下的错误差异，从而扭曲模型对对话压力的响应比较。在 288 条平衡审计中整体 F1 为 0.916，但不同提示下误标比例在 2.6%-33.3% 之间；另一项审计中看似 9.3 分的提升在两位评分者下仅剩 2.3 分且区间含零。作者建…
arXiv NLP7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出，用单一整体准确率或 F1 验证自动评分器会掩盖不同提示下的错误差异，从而扭曲模型对对话压力的响应比较。在 288 条平衡审计中整体 F1 为 0.916，但不同提示下误标比例在 2.6%-33.3% 之间；另一项审计中看似 9.3 分的提升在两位评分者下仅剩 2.3 分且区间含零。作者建…