★ 3
新研究：用指令特权改进在线策略上下文蒸馏
论文研究在策略上下文蒸馏（OPCD），发现以实例级金标答案或示范作为特权信息反而会损害训练表现，尤其分布外场景。作者改为设计针对学生常见错误的通用指令作为特权，在自动形式化任务中匹配格式指令的分布外准确率大幅超越金标。在 ProverQA、ProofWriter、ProntoQA 与 Qwen3-…
arXiv cs.AI34 天前
#特权信息
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文：多轮智能体自蒸馏不如纯强化学习
论文指出同策略自蒸馏（OPSD）在多轮智能体中会让模型表现得像拥有从未观察到的特权信息，性能甚至可能低于未训练基座。作者提出Privileged Self-Practice（PSP），把特权信息从损失函数移到采样器：当任务rollout大多失败时，注入分析模型撰写的任务指令重新采样，再用原GRPO…
arXiv cs.AI38 天前
★ 2
PRISM：特权兄弟引导的多智能体拓扑设计
论文提出PRISM，通过特权信息学习从同一语料中恢复逐查询信号：教师网络通过零初始化低秩分支读取同样解决该查询的兄弟图，学生网络匹配其逐决策目标。在六个基准上，PRISM优于所有拓扑设计基线。
arXiv NLP17 天前
这个主题的相关资产
相关公司阿里巴巴1