★ 3
研究扩展多模态大模型检索头分析并优化 Qwen3-VL
论文将检索头分析扩展到音视频模态,发现检索头在新模态中仍稀疏且跨模态大量共享,消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力,使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点,并改善三个模型家族的文档检索。
arXiv NLP7 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将检索头分析扩展到音视频模态,发现检索头在新模态中仍稀疏且跨模态大量共享,消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力,使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点,并改善三个模型家族的文档检索。
一篇 arXiv 论文提出无需人工偏好标注的多模态奖励模型:在冻结的 Qwen3-VL 主干中间层上训练线性头,用同图扰动字幕做对比打分,标注数据仅用于选层。该方法在 32B 规模下于三个基准上追平或超过 GPT-4o,VL-RewardBench 领先 6.6 分,算力仅为微调的千分之一。研究还…