★ 3
研究:相关性标注不完整会扭曲对话 RAG 的拒答评估
论文复跑 MTRAG 与 RETECO 官方基线,发现用「无金标文档即不可答」的捷径评估拒答会严重失真:检索器越强,无金标上下文实际含答案的比例从 28% 升至 72%,捷径精度从 .68 降至 .10。作者建议按内容标注而非金标存在与否来评分拒答。
arXiv NLP14 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文复跑 MTRAG 与 RETECO 官方基线,发现用「无金标文档即不可答」的捷径评估拒答会严重失真:检索器越强,无金标上下文实际含答案的比例从 28% 升至 72%,捷径精度从 .68 降至 .10。作者建议按内容标注而非金标存在与否来评分拒答。