★ 3
研究扩展多模态大模型检索头分析并优化 Qwen3-VL
论文将检索头分析扩展到音视频模态，发现检索头在新模态中仍稀疏且跨模态大量共享，消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力，使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点，并改善三个模型家族的文档检索。
arXiv NLP7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将检索头分析扩展到音视频模态，发现检索头在新模态中仍稀疏且跨模态大量共享，消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力，使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点，并改善三个模型家族的文档检索。