★ 3
审计600道HybridQA中语言模型流水线的身份传递
研究审计了接地语言模型流水线中对象选择、检索和回答三个阶段的对象交接问题。在HybridQA数据集上,发现基于BM25的检索在26.6%的记录中丢失了选定对象,而混合检索加重排仅丢失1.0%。研究发布了可执行记录Returned-Object Profile,用于追踪对象交接。
arXiv cs.AI56 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究审计了接地语言模型流水线中对象选择、检索和回答三个阶段的对象交接问题。在HybridQA数据集上,发现基于BM25的检索在26.6%的记录中丢失了选定对象,而混合检索加重排仅丢失1.0%。研究发布了可执行记录Returned-Object Profile,用于追踪对象交接。