arXiv cs.LG·27 天前★ 2

关键视觉证据引导的视觉语言模型蒸馏

原文标题：KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

针对视觉语言模型在资源受限设备部署难题，论文提出KVE-KD框架，以生成前最后一个文本token作为语义锚点，动态定位任务相关视觉token并聚焦特征蒸馏。在六个基准上超越现有跨模态蒸馏方法，复杂推理与细粒度视觉理解任务提升显著，且不增加推理开销。

论文速读 · 四段结构cs.CV去论文速读 →

问题: 视觉语言模型蒸馏中，对所有视觉 token 均匀监督或静态选择会混淆任务线索与背景噪声。
方法: KVE-KD 以生成前最后一个文本 token 为语义锚点，通过迭代移除视觉 token 定位跨模态融合层，再按锚点条件注意力排序选出关键视觉证据做聚焦蒸馏。
结果: 六个基准上超越现有跨模态蒸馏方法，复杂推理与细粒度视觉理解提升显著，且不增加推理开销。
影响: 不增推理成本即可压缩 VLM，适合端侧部署场景直接替换现有蒸馏方案。