★ 4
研究：极稀疏监督即可激励 Qwen3 推理能力
研究发现，在策略蒸馏中，仅用每个推理轨迹的一两个token（占总token的0.05%）进行监督，就能匹配甚至超越全token训练的效果。该现象在多个模型规模和任务上得到验证，挑战了后训练必须密集token的假设，为高效后训练算法提供了新方向。
arXiv cs.AI56 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究发现，在策略蒸馏中，仅用每个推理轨迹的一两个token（占总token的0.05%）进行监督，就能匹配甚至超越全token训练的效果。该现象在多个模型规模和任务上得到验证，挑战了后训练必须密集token的假设，为高效后训练算法提供了新方向。