★ 4
GLANCE：视觉语言模型的无损单次块草稿解码
该研究提出GLANCE，首个在未修改的VLM目标上无损的单次块草稿器，通过块扩散头读取融合的视觉语言状态，实现快速解码。实验表明，GLANCE比自回归解码快2.93倍，并接受更长的块，且解码长度遵循目标的下一个令牌熵定律。
arXiv cs.AI60 天前
#视觉语言模型
共 49 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Canva 发布设计专用视觉语言模型 Brush
Canva 推出首个面向设计的视觉语言模型 Brush，模拟人类分步设计流程，而非一次性生成整张图。Brush 支持局部精准编辑、避免改动扩散，输出结果可完全编辑，官方称比上一代设计智能体快 69%、单次编辑成本低 46%。此前一周 Canva 刚发布图像生成模型 Craft。
快公司2 天前
★ 3
Ψ-0.6 发布：统一视觉语言世界模型支持自适应思维流
论文提出 Ψ-0.6，一个统一视觉语言世界模型，可在共享的「思维流」推理过程中自适应组合感知、语言、几何与仿真，并以图像、文本及几何运动表示交错生成。该模型在多视角空间推理上零样本超越领先开源权重模型，并支持反事实仿真，通过任务反馈强化学习联合优化中间表示的选择与使用。
arXiv cs.AI6 天前
★ 3
研究：最小编辑在线蒸馏提升多模态推理感知能力
论文针对视觉语言模型误读图表导致推理失败的问题，提出最小编辑纠错在线蒸馏：以参考图描述和已验证解答作为训练信息，教师仅对错误轨迹中不被偏好的token给出纠错损失，正确轨迹用任务奖励强化学习。方法在测试时无需图描述，在多个模型规模上达到或超过推理时提供参考描述的基线。
arXiv cs.LG9 天前
★ 3
研究：先问视角会改变视觉语言模型的选择，GPT 与 Qwen3.8 均受影响
论文指出，在 Director Task 中先要求模型报告导演能看到哪些积木，会显著提高其选择被遮挡积木的比例——六个 GPT 模型上升 12 至 88 个百分点，Qwen3.8-27B 上升 17 个百分点。这说明视角提问本身会改变后续动作，作者据此提出配对提示基线，供所有心智理论评测采用。
arXiv NLP10 天前
★ 3
SpatialBrain 框架：冻结视觉语言主干，靠经验提升空间推理
研究提出 SpatialBrain，在保持视觉语言主干固定的前提下积累「如何推理」的经验，区分场景证据与推理经验。3DFusionMemory 融合当前观测为可查询空间关系，空间技能库提供可复用工具流程，空间认知关联任务条件与经验。在五个空间推理基准上，四个优于同主干直接作答，一个持平。
arXiv cs.AI10 天前
★ 3
CNRF：视觉语言模型的选择性安全防护框架
论文提出反事实邻域风险场（CNRF），通过构造上下文匹配的良性-有害反事实对，将表征差异作为风险方向，并单独估计邻域支持度，避免把不熟悉误判为有害。该框架支持选择性干预而非一律拒绝，在三种 VLM 和五类多模态越狱攻击上取得 86.06%-89.30% 的宏观防御成功率，同时保留良性任务效用。
arXiv cs.AI16 天前
★ 3
PVFH-Bench：视觉语言模型前提诱导视觉固着幻觉基准
研究者提出 PVFH-Bench 基准，用于评测视觉语言模型（LVLM）中一种新的失败模式——前提诱导视觉固着幻觉（PVFH）：模型被视觉上易混淆的证据锚定，接受错误的文本前提，进而描述并不存在但视觉上合理的物体。在 10 个最先进 LVLM 上的实验显示所有模型都高度易受影响，且显式思维链推理反…
arXiv NLP18 天前
★ 3
LongHisDoc：中文长历史文档理解综合基准
研究推出首个面向长（整本书）历史文档理解的基准 LongHisDoc，含 101 份 PDF、1012 组专家标注问答，平均每份 85.1 页、42776 token。评估显示最强 LVLM 与 LLM 准确率仅 62.9% 与 69.9%，并评估了多模态检索器与端到端 RAG 性能。
arXiv NLP18 天前
★ 3
MOSAIC：视觉语言模型的补丁级训练样本归因
论文提出 MOSAIC（多模态正交稀疏自编码器），学习共享的稀疏图文潜空间，概念在单模态内稀疏、对应连续图像区域、与描述短语对齐且近似去相关，再用 EK-FAC 将训练样本影响分解到这些概念并定位到具体文本短语与图像区域。在 Qwen 和 Gemma 上的图像描述、胸片理解与视觉问答任务中，学到的…
arXiv cs.AI18 天前
★ 3
无监督多模态奖励建模：冻结 Qwen3-VL 中间层超越 GPT-4o
一篇 arXiv 论文提出无需人工偏好标注的多模态奖励模型：在冻结的 Qwen3-VL 主干中间层上训练线性头，用同图扰动字幕做对比打分，标注数据仅用于选层。该方法在 32B 规模下于三个基准上追平或超过 GPT-4o，VL-RewardBench 领先 6.6 分，算力仅为微调的千分之一。研究还…
arXiv NLP20 天前
★ 3
研究提出 Harness Compilation 优化小视觉语言模型分工
论文提出 Harness Compilation（HC），离线调整冻结小 VLM 与外部 harness 的工作分工，教师模型利用学生执行轨迹修订可复用内容与控制。在七个 VQA 设置、学生参数不超过 9B 下，HC 比裸学生提升 9.9-23.9 分，且部署无需权重更新或教师调用。
arXiv cs.AI23 天前
★ 3
RT-Safe 发布实时具身智能体安全基准
研究者提出 RT-SAFE，一个模拟城市环境下的具身智能体安全评测基准，允许世界在推理与执行过程中持续演化。测试 8 个视觉语言模型发现，任务完成率虽高达 94.1%，但实时执行使碰撞率增加 12.3 倍，最难场景仅 0.7% 无安全事故完成。该基准还可支持离线强化学习训练以降低碰撞率。
arXiv cs.AI24 天前
★ 3
医学多模态AI框架：冻结模型从部署经验中持续学习
该论文提出一种模型无关框架，让部署后冻结的LLM与VLM通过技能、知识记忆和多模态知识库三种外部专家形式从实际病例中学习。在六个涵盖临床诊断、工作流与医学推理的基准上，医学任务性能最高提升34.2%，并可跨模型迁移。
arXiv cs.AI24 天前
★ 3
门控衰减在线策略蒸馏提升OCR忠实度
针对视觉语言模型把图像中异常文字改写成通顺表达、损害OCR转录忠实度的问题，论文提出GAD-RL方法，在联合后训练中依据学生当前任务表现与局部分布自适应调节教师监督强度。在Qwen3.5-2B上，该方法在CHAOS-Bench取得59.92% Micro Recall，较GRPO与固定权重GRPO…
arXiv cs.AI31 天前
★ 3
研究：多数据集谓词框架让驾驶视觉语言模型可解释
论文提出确定性多数据集谓词框架，从几何、运动学、时间、地图和交通控制证据中推导驾驶场景语义，并在 nuPlan 与 nuScenes 上统一谓词定义。在 200 个场景的人工标注验证中宏 F1 达 0.94 与 0.93。用冻结的 LLaVA-OneVision-7B 评估显示，谓词接地在九个 N…
arXiv cs.LG33 天前
★ 3
研究质疑柏拉图表示假说：局部与全局比较混淆结构尺度
论文质疑柏拉图表示假说的既有解读，指出以往局部-全局比较混淆了结构尺度与比较对象：关系结构（哪些样本相关）与度量几何（距离、相似度等定量关系）。作者构建 2×2 受控框架，引入 H0 骨架重叠作为互 k 近邻的全局对应物。结果显示视觉-语言模型中关系结构在校准后于两个尺度都稳健收敛，而距离一致性显…
arXiv cs.LG38 天前
★ 3
ECG Mirage：视觉语言模型心电图利用不足
论文揭示视觉语言模型在急诊临床预测中的 ECG Mirage 现象，即表面具备多模态能力却未真正依赖患者特异性心电图信息，分为 ECG 忽视与 ECG 混淆两种形式。在 MDS-ED 上四个 VLM 中，匹配 ECG 对 ICU 入住或病情恶化预测均无稳定优势。研究通过冻结主干、训练受限视觉提示并…
arXiv cs.AI41 天前
★ 3
Uni-LaDiR：潜扩散统一多模态推理
论文提出 Uni-LaDiR 框架，将不同模态的推理步骤映射到共享潜空间中的统一思维 token，并用扩散模型预测下一块思维 token。编码器与扩散推理器共享权重联合训练，使思维 token 既对任务有用又可由上下文预测，推理时无需教师观测即可生成。在 11 个视觉语言模型基准与 2 个视觉-语…
arXiv cs.LG44 天前
★ 3
多智能体 VLM 系统的协作记忆框架
视觉语言模型智能体结合专门感知、工具与推理处理复杂视觉任务。多智能体场景下不同智能体检查不同图像区域、视频帧或视觉表示，协作从分布式推理延伸到分布式感知，使共享视觉上下文成为核心问题。论文围绕调和解释与更新依赖推理的需求，构建记忆层级、跨智能体共享与一致性机制，共享视觉记忆不仅保留图像或文本摘要，…
arXiv cs.AI45 天前
★ 3
CapMem：第一视角视频字幕情景记忆基准
研究提出CapMem，一个面向第一视角视频情景记忆的人类标注基准，包含75个视频共33.7小时和1000道多选题。在超过20分钟的长视频上，全覆盖字幕问答在多数模型上优于直接视频问答，字幕引导的检索验证框架进一步将准确率提升最多5.3个百分点。结果表明字幕记忆对长时第一视角视频的情景推理有效。
arXiv cs.AI45 天前
★ 3
研究提出轨迹感知解码控制优化扩散视觉语言模型
论文针对扩散视觉语言模型在迭代细化中暴露的中间答案轨迹，提出推理预算错配问题：统一生成长度会损害视觉封闭问题或推理敏感问题。作者在LLaDA-V上研究一种免训练控制器，利用答案闭合、承诺证据和表示修订压力等轨迹信号，将每个样本路由到提前承诺、基线保持或支持推理的解码策略，无需真值答案。在多种基准上…
arXiv cs.AI50 天前
★ 3
研究用知识蒸馏压缩视觉语言模型实现端侧火灾识别
该研究探索将领域专用的视觉语言模型（VLM）压缩至设备端部署，用于火灾检测。通过师生知识蒸馏框架，将大型VLM蒸馏为轻量级学生模型，并在商用Detectium火灾传感器上部署评估。结果显示，Qwen2.5-0.5B在准确率、延迟和内存占用间取得最佳平衡，为资源受限的安全关键场景部署专用VLM提供了…
arXiv cs.AI53 天前
★ 3
CUSP：多智能体多模态推理的不确定性量化
CUSP框架通过语义意见池化量化多VLM系统的集体不确定性，无需训练或校准。在静态集成中，集体不确定性在小模型上最强，JSD在商业模型上最强，并提升整体准确性。在多步多智能体系统中，集体不确定性可排名系统失败。
arXiv cs.AI53 天前
★ 3
NTEP-R：代理视觉语言模型的必要工具证据路径奖励
研究指出代理VLM在工具调用中存在冗余或偏离目标的问题，提出NTEP注释方案明确必要外部证据和工具调用，并基于此设计NTEP-R奖励机制，确保每次工具调用都推进推理。引入非重复目标正则化惩罚冗余调用。实验表明，8B参数的NTEP-8B在七个基准上显著提升搜索准确率和工具效率。
arXiv cs.AI58 天前
★ 3
SlideBank：用于全切片图像推理的持久分层证据库
该研究提出SlideBank框架，将全切片图像表示为持久、概念索引且空间定位的证据库，以支持一致的视觉语言推理。实验表明，SlideBank在WSI-VQA和SlideBench-BCNB基准上达到先进性能，并实现超过99%的重述一致性，同时降低推理成本。
arXiv cs.AI60 天前
★ 3
SCAFFOLD：计算机科学图表问答数据集
SCAFFOLD是首个大规模结构化数据集，包含arXiv计算机科学论文的图表、标题、上下文、问答和思维链推理。提供157K、37K和12K三种规模，用于训练视觉语言模型理解图表。
arXiv cs.AI60 天前
★ 2
研究：红心等视觉符号可隐式影响 VLM 行为
论文发现红心等简单视觉符号能显著影响视觉语言模型在无关任务上的表现，例如引导其在简单编程题上走向递归解法，且模型对符号的显式解读与实际行为明显背离。在模型间视觉通信实验中，模型倾向发送直觉化的形状原语却难以影响对方，揭示生成与解读之间的鸿沟。
arXiv cs.AI4 天前
★ 2
arXiv 论文发布实体级 OCR 评测基准，Qwen 3.6 实体覆盖率最高
研究基于 Berrutti 档案馆 175 份文档、5209 条人工标注实体，比较序列识别 OCR、OCR 专用视觉语言模型与通用视觉语言模型。结果显示 OCR 排名取决于评测标准：Qwen 3.6 在各容错阈值下实体覆盖率最高，而部分精确匹配较差的系统在小错误容忍下大幅回升，说明字符错误率不足以…
arXiv NLP5 天前
★ 2
研究用 2441 小时儿童第一视角视频训练跨情境词汇学习模型
一篇 arXiv 论文利用 BabyView 语料库（48 名儿童、2441 小时纵向第一视角视频）检验「跨情境学习」这一儿童词汇习得假说。结果显示模型能学到物体—标签映射，但使用互联网预训练视觉表征时效果远高于仅从发育视频中学习表征。研究还发现学习信号主要来自少数描述可见指称物的话语，且模型训练…
arXiv NLP6 天前