★ 3
对比建模对齐多模态上下文学习推理路径
现有多模态上下文学习方法多依赖对示例的表面模仿，难以让MLLM对齐复杂任务所需的推理路径。论文提出新框架，将每个示例重构为同一输入下次优响应与更优响应的显式对比，并附揭示改进方式的推理路径，同时引入响应条件检索机制与轻量对齐控制器。在三类多模态任务上持续提升MLLM表现，视觉问答（VQA）增益尤为…
arXiv cs.AI53 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
现有多模态上下文学习方法多依赖对示例的表面模仿，难以让MLLM对齐复杂任务所需的推理路径。论文提出新框架，将每个示例重构为同一输入下次优响应与更优响应的显式对比，并附揭示改进方式的推理路径，同时引入响应条件检索机制与轻量对齐控制器。在三类多模态任务上持续提升MLLM表现，视觉问答（VQA）增益尤为…