★ 2
论文解析视觉语言模型模态鸿沟的成因
该论文研究视觉语言模型中「模态鸿沟」的来源，指出文本 token 进入模型时的语义密度远低于视觉 token，导致早期层优先处理文本表示再与视觉融合。作者通过机制分析发现，将视觉 token 位置替换为语义最近的文本 token 会提升早期层对这些位置的注意力，为改进多模态推理提供依据。
arXiv cs.LG5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文研究视觉语言模型中「模态鸿沟」的来源，指出文本 token 进入模型时的语义密度远低于视觉 token，导致早期层优先处理文本表示再与视觉融合。作者通过机制分析发现，将视觉 token 位置替换为语义最近的文本 token 会提升早期层对这些位置的注意力，为改进多模态推理提供依据。