★ 2
arXiv 论文：在线策略蒸馏会继承教师模型的失败模式
一篇 arXiv 论文对视觉语言模型（VLM）的在线策略蒸馏（OPD）与过滤式监督微调（SFT）做了受控对比。结果显示 OPD 仅在教师模型对学生生成轨迹保持可靠时才有效：在 ChartQA 上仅用 10% 数据即可逼近全量 SFT，但在教师有 22% 未完成率的 Geometry3K 上落后 S…
arXiv cs.LG17 天前
#模型推理
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文对视觉语言模型（VLM）的在线策略蒸馏（OPD）与过滤式监督微调（SFT）做了受控对比。结果显示 OPD 仅在教师模型对学生生成轨迹保持可靠时才有效：在 ChartQA 上仅用 10% 数据即可逼近全量 SFT，但在教师有 22% 未完成率的 Geometry3K 上落后 S…