★ 3
论文研究音视频模型中的注意力三角
研究分析音视频扩散模型中的“注意力三角”,即文本、音频和视频流之间的三个交叉注意力边。发现音频-视频边是双向的,且受模型参数偏差影响,导致语义泄漏。当提示与先验冲突时,跨模态交互可能覆盖预期条件,产生视觉上典型但错误的结果。研究提取注意力信号作为诊断工具,并指导推理时干预以改善跨模态对齐。
arXiv cs.AI59 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究分析音视频扩散模型中的“注意力三角”,即文本、音频和视频流之间的三个交叉注意力边。发现音频-视频边是双向的,且受模型参数偏差影响,导致语义泄漏。当提示与先验冲突时,跨模态交互可能覆盖预期条件,产生视觉上典型但错误的结果。研究提取注意力信号作为诊断工具,并指导推理时干预以改善跨模态对齐。
论文指出语义泄漏不仅发生在概念直接归属于目标实体时,即使概念只是出现在场景中也会持续影响模型生成。在性别偏见实验中,主体接触概念与概念仅存在于场景两种条件下,模型输出向刻板印象偏移的程度相近,说明存在被现有评测忽视的联想式偏见。