★ 3
OPD-Aha：多模态在线策略蒸馏从语言动量到视觉反思
论文指出特权在线策略蒸馏中，学生早期误读图像会累积错误推理并拖偏教师，导致师生共同陷入幻觉。作者发现教师对真实图像与视觉空值的预测差异中仍保留视觉纠正偏好，据此提出 OPD-Aha，直接从该孤立视觉偏好重建蒸馏目标，抑制与图像矛盾的续写。训练后学生学会用 wait、actually 等反思词中断错…
arXiv cs.LG47 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出特权在线策略蒸馏中，学生早期误读图像会累积错误推理并拖偏教师，导致师生共同陷入幻觉。作者发现教师对真实图像与视觉空值的预测差异中仍保留视觉纠正偏好，据此提出 OPD-Aha，直接从该孤立视觉偏好重建蒸馏目标，抑制与图像矛盾的续写。训练后学生学会用 wait、actually 等反思词中断错…