★ 2
研究:红心等视觉符号可隐式影响 VLM 行为
论文发现红心等简单视觉符号能显著影响视觉语言模型在无关任务上的表现,例如引导其在简单编程题上走向递归解法,且模型对符号的显式解读与实际行为明显背离。在模型间视觉通信实验中,模型倾向发送直觉化的形状原语却难以影响对方,揭示生成与解读之间的鸿沟。
arXiv cs.AI5 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发现红心等简单视觉符号能显著影响视觉语言模型在无关任务上的表现,例如引导其在简单编程题上走向递归解法,且模型对符号的显式解读与实际行为明显背离。在模型间视觉通信实验中,模型倾向发送直觉化的形状原语却难以影响对方,揭示生成与解读之间的鸿沟。