Ψ-0.6 发布:统一视觉语言世界模型支持自适应思维流
论文提出 Ψ-0.6,一个统一视觉语言世界模型,可在共享的「思维流」推理过程中自适应组合感知、语言、几何与仿真,并以图像、文本及几何运动表示交错生成。该模型在多视角空间推理上零样本超越领先开源权重模型,并支持反事实仿真,通过任务反馈强化学习联合优化中间表示的选择与使用。
共 8 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Ψ-0.6,一个统一视觉语言世界模型,可在共享的「思维流」推理过程中自适应组合感知、语言、几何与仿真,并以图像、文本及几何运动表示交错生成。该模型在多视角空间推理上零样本超越领先开源权重模型,并支持反事实仿真,通过任务反馈强化学习联合优化中间表示的选择与使用。
研究提出 SpatialBrain,在保持视觉语言主干固定的前提下积累「如何推理」的经验,区分场景证据与推理经验。3DFusionMemory 融合当前观测为可查询空间关系,空间技能库提供可复用工具流程,空间认知关联任务条件与经验。在五个空间推理基准上,四个优于同主干直接作答,一个持平。
一篇 arXiv 论文通过控制视觉内容消融实验,研究视觉信号如何影响原生多模态预训练的扩展行为。结果显示,保留视觉内容能提升图文样本的文本预测,且多模态损失收益随算力呈幂律增长。视觉增益在定位、导航和符号规划任务上最持久,表明视觉内容是多模态学习的可扩展锚点。
论文推出GeoSpatialBench基准,基于六座城市真实城市数据,覆盖28种拓扑、方向、度量和排序关系,评估多模态大模型的空间关系理解、几何推理与受约束空间编辑。结果显示GeoJSON持续优于地图图像,模型在定量度量关系与编辑任务上表现明显下降。
Epoch AI研究人员发布「家具组装基准」,通过让AI识别宜家家具组装过程中的错误来测试其空间推理能力。测试使用三款不同难度的宜家产品,涉及OpenAI、Anthropic、谷歌、月之暗面和阿里等模型,无一模型能100%正确,但进步迅速。
论文提出用 SVG 格式编码空间特征的结构化文本表示,使语言模型可直接访问地图的几何与语义信息,用于路线导航中的地标选择任务。基于人类路线描述与 OpenStreetMap 构建新数据集,五个 LLM 实验显示结构化文本输入表现不逊于甚至优于 PNG 图像输入,小模型经微调也能高效利用地图布局。
一篇技术博客展示了如何利用大语言模型的内部记忆来生成驾车导航路线,探索 LLM 在空间推理与路径规划上的能力。该实验属于对模型隐式知识边界的趣味性探索。
论文提出将几何工具与LLM编排器结合,在网格世界环境中提升智能体的空间理解能力。智能体先收集测地线轨迹并做向量量化,离线由LLM为每条轨迹生成自然语言描述作为工具,在线根据状态与目标选择工具。实验显示该方法让非推理配置达到昂贵思维链版本的目标达成率,同时将决策成本从分钟级降至秒级。