★ 3
Artifact Distillation：免训练把前沿模型能力迁移到小模型
论文提出Artifact Distillation：教师模型把解题过程外化为可查询的「工件库」，学生模型推理时检索使用，无需梯度更新。用Claude Opus 4.5构建的工件库让Claude Haiku 4.5在空间推理上超过Sonnet 4.5且成本仅60%，同一工件库也把Qwen3.5-27…
arXiv NLP3 天前
#推理增强
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LoopOPD：循环语言模型跨循环在线策略蒸馏
论文提出LoopOPD框架，利用循环语言模型内部额外的循环计算作为自身监督来源，以冻结的终端循环策略作为计算特权教师指导中间循环学生，无需外部教师或特权信息。进一步提出动态LoopOPD持续刷新教师实现循环自改进。在Ouro-Thinking模型上实验显示数学推理提升，并泛化到通用推理与代码生成。
arXiv cs.LG24 天前
★ 2
跨模型失败文本知识蒸馏的稳健修复
论文研究基于失败的文本知识蒸馏，指出从单一模型失败中提取的规则在其他模型家族上表现不佳，且注入的规则原子可能被误用于无关案例。作者提出RFCR方法，从跨模型共享失败中提取规则、用边界案例锐化应用范围并在无有用规则时弃权。在400项BIG-Bench Hard任务上，基线小抄从68.50%提升至71…
arXiv cs.AI40 天前