★ 3
RAO-Nav：全模态语言模型零样本视听导航
论文探索全模态语言模型（OLM）能否直接用于零样本语义视听导航（SAVN），提出RAO-Nav部署流程，让具身智能体在环境中「听、看、推理、行动」。作者还提出测试时潜在导航推理（LNR）模块，嵌入解码空间以激发模型内置思考能力。实验显示该框架无需任何训练数据即超越现有最优基线，并引入全局导航指令新…
arXiv cs.AI34 天前
#全模态模型
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
OmniFysics-Nano-V2：跨模态理解物理世界
论文发布紧凑型全模态模型OmniFysics-Nano-V2，支持图像、视频、音频、语音与文本输入及文本语音生成，聚焦物理世界感知与理解。通过双分支物理感知数据管线与两阶段GRPO课程训练，该模型在21项基准中的17项取得领先结果，旨在推动下一代Physical AI发展。
arXiv cs.AI40 天前
★ 2
TRIAD 基准发布：评测全模态大模型跨文本图像音频消歧
研究者提出 TRIAD，一个针对全模态歧义消解的基准，包含 327 条手写查询、86 个场景组、18 类歧义，每条为文本-图像-音频三元组。评测 14 个全模态系统发现，最佳模型在场景级消歧上仍落后人类 20 分以上，去掉选项后准确率跌至个位数，且模型常忽视音频线索。
arXiv NLP10 天前