★ 3
研究提出 JUPE 基准：看似合理的解释可误导多模态模型评判
论文提出 JUPE 视觉问答基准，固定答案而变换解释文本，测试 14 个多模态大模型评判器。结果显示普通但听起来合理的解释会显著降低对错误答案的拒绝率，降幅达 12.7 至 13.8 个百分点，作者称之为「合理性俘获」。该现象跨领域、跨解释生成器普遍存在，可能高估模型评测成绩。
arXiv NLP14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 JUPE 视觉问答基准，固定答案而变换解释文本，测试 14 个多模态大模型评判器。结果显示普通但听起来合理的解释会显著降低对错误答案的拒绝率，降幅达 12.7 至 13.8 个百分点，作者称之为「合理性俘获」。该现象跨领域、跨解释生成器普遍存在，可能高估模型评测成绩。