★ 3
对比建模对齐多模态上下文学习推理路径
现有多模态上下文学习方法多依赖对示例的表面模仿，难以让MLLM对齐复杂任务所需的推理路径。论文提出新框架，将每个示例重构为同一输入下次优响应与更优响应的显式对比，并附揭示改进方式的推理路径，同时引入响应条件检索机制与轻量对齐控制器。在三类多模态任务上持续提升MLLM表现，视觉问答（VQA）增益尤为…
arXiv cs.AI53 天前
#视觉问答
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究者提出基于扰动的 LLM 输入歧义检测框架
一篇 arXiv 论文提出「先检测歧义、再消歧」的思路，用保持标签的扰动框架识别 LLM 输入中的歧义。方法包含黑盒规则扰动库与白盒重要性引导两种检测器，在开放域、对话与视觉问答四组数据集上优于输出侧不确定性基线和 LLM 改写扰动基线。研究强调输入歧义是不确定性的上游来源，应先判断是否该直接作答。
arXiv NLP5 天前
★ 2
PixelJev：原生图像视觉决策模型研究
论文提出 PixelJev，一种原生图像决策接口，用小型开源多模态模型将图像、任务指令与运行时候选集映射为结构化选择及候选条件概率。在七项基准评测中，64 样本源域适配将 Pets 准确率从 60.13% 提升至 92.40%，并可迁移到新纹理标签与 A-OKVQA。研究指出准确率提升并不保证目标…
arXiv cs.AI38 天前
这个主题的相关资产
相关术语VQA（视觉问答）