★ 3
DecisionRank：用同策略蒸馏训练决策模型重排器
论文提出 DecisionRank，通过物品空间同策略蒸馏（OPD）把生成式大模型的排序知识迁移到决策模型，解决教师输出文档 ID 排序序列、学生仅用首 token 分数排序的错配问题。在 TREC DL、BEIR、BRIGHT 等检索基准上取得 SOTA，1.7B 版本即超过 27B 生成式教师…
arXiv NLP8 小时前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 DecisionRank，通过物品空间同策略蒸馏（OPD）把生成式大模型的排序知识迁移到决策模型，解决教师输出文档 ID 排序序列、学生仅用首 token 分数排序的错配问题。在 TREC DL、BEIR、BRIGHT 等检索基准上取得 SOTA，1.7B 版本即超过 27B 生成式教师…
论文指出在足够大的候选池下嵌入召回收益递减，重排器质量成为关键。作者在中文法律检索基准上比较嵌入挖掘、自挖掘与动态负样本策略，发现嵌入到自挖掘的两阶段流程性价比最佳。训练后的 4B 重排器在 STARD、CSAID 及内部集上指标提升，离线偏好评估中 72.4% 非平局对比胜出。