★ 3
论文提出按查询选择模态的全模态大模型高效推理方法
研究观察到不同查询从额外模态中获益程度不同，提出按查询自适应选择模态的精度-成本优化方法。在 Qwen2.5-Omni 与 Qwen3-Omni 上，该方法仅用约 41% 输入 token、39% 延迟即可达到或超过全模态精度。
arXiv cs.LG7 天前
#全模态大模型
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Qwen 团队发布 Omnilingual-MsASR 多语种多人长视频语音识别基准
研究团队推出 Omnilingual-MsASR，一个覆盖六种语言、最长 30 分钟录音、最多 20 位说话人的多模态多语种长视频多人语音识别基准，同时提供音频与视频输入以评测跨模态一致性。对主流全模态大模型的评测显示其 tcpWER 常超过 100%，暴露出细粒度时间定位与说话人区分等瓶颈。
arXiv NLP11 天前
★ 3
Omni-Woodpecker：免训练纠正全模态大模型幻觉
针对全模态大模型（OLLM）的跨模态幻觉，研究者提出免训练框架 Omni-Woodpecker，通过正交分解分离真实证据与先验偏见，并在解码前重新平衡融合表示。以 Qwen2.5-Omni-7B 为骨干，在 CMM 与 AVHBench 上分别提升 12.9 与 8.6 分，并可泛化到 Video…
arXiv cs.AI12 天前