★ 2
ArcticQA 基准发布：评测 LLM 北极科学弃答能力
研究者发布 ArcticQA 数据集与 ArcticAbstain 配对基准，用于评测 LLM 在无正确答案时是否应弃答。对 Gemini、Claude、ChatGPT 家族八个模型的 9312 次测试显示，答案存在时弃答率从 0% 到 63% 不等，替换正确答案后平均仅提升 5.05 个百分点。
arXiv NLP25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者发布 ArcticQA 数据集与 ArcticAbstain 配对基准，用于评测 LLM 在无正确答案时是否应弃答。对 Gemini、Claude、ChatGPT 家族八个模型的 9312 次测试显示，答案存在时弃答率从 0% 到 63% 不等，替换正确答案后平均仅提升 5.05 个百分点。