★ 3
Stepwise Querying：无教师思维链也能蒸馏推理
针对黑盒教师只暴露最终答案与简要解答的困境，论文提出 Stepwise Querying，通过对同一教师独立提问获取中间推导、有效性检查与逐步纠错，再用于标准监督微调。在两个教师、两个学生与四个数学及代码基准的 16 组对比中 14 组取得最高分，并提出 SEIG 诊断指标。
arXiv NLP6 小时前
#推理蒸馏
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CoTranslator：逆向转正向思维链推理蒸馏
研究提出 CoTranslator，将逆向思维链响应翻译为经拒绝采样验证的正向响应分布，用于高效生成学生训练数据。在六个数学基准上平均准确率最高提升 5.82 个百分点，4B 学生模型以 35.9% 算力保留 95% 拒绝采样精度。该方法无需重训即可迁移至新数据集、教师与 STEM 任务。
arXiv NLP17 天前
★ 3
用合成CoT与难度感知微调蒸馏2B视频语言模型
论文提出一种将推理能力蒸馏进紧凑视频语言模型（VLM）的高效方法，仅用约 900 个不确定性筛选样本、由 4B 教师模型生成合成思维链，在单张 A100 上不到两小时即可微调 2B 模型。该模型在 CinePile、ActivityNet-QA、MLVU 上超越最多 4 倍大的 VLM，接近其 4…
arXiv cs.LG47 天前