★ 3
Trajectory2Gym：面向工具调用智能体的可学习交互合成
arXiv 论文指出成功的工具调用轨迹未必是有效监督，提出 Trajectory2Gym 框架，围绕组合覆盖与决策落地两项要求构造可执行交互，并仅从有据可依的决策中提取监督信号。在 Qwen3 五个规模上，Tau1、Tau2、BFCL 三基准均值提升 16.9–29.8 个百分点，多轮有状态交互增…
arXiv NLP5 天前
#监督微调
共 20 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
DynaWeave 框架发布：合成动态场景训练 LLM 智能体
研究者提出 DynaWeave，一个自动合成框架，可将静态任务转化为可验证的动态场景，通过有向无环图表示外部事件依赖并在智能体交互中触发。团队用该框架在 36 个环境中收集 2095 条交互轨迹，对 Qwen3.5 模型做监督微调，在 Gaia2、CostBench、ToolMaze 上均取得提升…
arXiv NLP10 天前
★ 3
研究：为对话式 TTS 模型加音素控制，药名读音正确率升至 90.7%
论文在不做预训练/中训练的前提下，通过 ARPAbet 词表扩展、音素增强监督微调与免训练推理期声学偏置，为预训练对话式 TTS 模型补上音素可控性。在 7500 条临床药名读音评测中，Gemini 判定的严格正确率从 54.6% 升至 90.7%，且全部为域外测试，说明模型学到的是发音而非记忆。
arXiv NLP12 天前
★ 3
新方法：用大模型迭代、用小模型部署，蒸馏生产行为至 SLM
论文提出先在 GPT-5.4-nano 等前沿大模型上通过提示词开发行为并接受实时流量反馈，收敛后将真实生产行为蒸馏进小模型。以居家护理排班智能体为例，LoRA 微调的 Qwen3-8B 在 1.16 万条生产决策上达到 0.913 一致率，高于教师模型自洽的 72.7%，延迟降低约 2.5 倍且…
arXiv cs.AI18 天前
★ 3
TerminalHorizon：长时程终端智能体的数据合成引擎
研究者提出全自动数据合成引擎TerminalHorizon，从真实专业工作出发，通过独立执行识别构建中遗漏的关键工作并据此重建环境，同时在同一目标下逐步扩展任务以延长探索链条。基于该引擎构建1.5K任务环境并对Qwen3.5-27B进行监督微调得到TerminalHorizon-27B，在12个基…
arXiv NLP20 天前
★ 3
arXiv 论文：CIG-SFT 条件信息增益后训练框架
论文指出模型兼容性不等于学习价值，提出信息论框架 CIG-SFT，估计每个示范 token 携带的任务条件信息，并转化为 KL 正则化的 SFT 目标。在数学推理与代码生成基准上，CIG-SFT 优于标准 SFT 与近期自适应微调方法，泛化提升尤为明显。
arXiv NLP20 天前
★ 3
CBPO：统一离线示范与在线策略 rollout 的推理后训练方法
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标的回归损失，将离线示范、参考回答以及当前与历史 rollout 统一到同一优化框架中，无需单独协调 SFT 与 RL 目标，也无需重要性权重或学习 critic。在四个数学推理基准上，CB…
arXiv cs.LG20 天前
★ 3
论文提出 TQS 框架，按轨迹质量筛选编程智能体数据
arXiv 论文提出 TQS（轨迹质量评分），直接从轨迹结构评估编程智能体交互质量，无需 LLM 评判且线性耗时。基于 15.5 万条成功轨迹筛选后微调，模型在 SWE-Bench-Verified 上优于随机或低分筛选。
arXiv cs.AI20 天前
★ 3
新论文提出不确定性引导渐进收缩，推理后训练预算降至0.22%
该研究提出不确定性引导的渐进收缩框架，用蒙特卡洛推理树刻画过程级不确定性，先将语料收缩为紧凑教师池，再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上，仍能维持或提升推理性能，并可跨学生模型族与黑盒教师泛化。
arXiv cs.AI20 天前
★ 3
arXiv 论文：SFT-as-Context 缓解监督微调中的遗忘
论文提出免训练方法 SFT-as-Context，让父模型以 SFT 模型的回答为上下文作答，通过上下文学习获取微调能力同时保留通用能力。在 19 对父子模型与 11 个基准上，该方法在微调能力上仅落后 SFT 模型约 2 个百分点，通用能力平均落后父模型 2.2 个百分点，并能解决两者单独均无法…
arXiv NLP23 天前
★ 3
训练语言模型成为连贯决策者：信念保持与效用最大化
论文研究语言模型能否通过监督微调学会连贯的决策流程，并在不同领域和自然语言表述间泛化。在20个数据集上，定向微调显著提升决策一致性，模型还能识别信息缺失导致行动无法被正当化的情况。
arXiv cs.AI24 天前
★ 3
SFT、RLVR 与 OPD 在 LLM 后训练中的协同效应研究
一篇 arXiv 论文系统研究了 LLM 后训练中监督微调（SFT）、可验证奖励强化学习（RLVR）与同策略蒸馏（OPD）三阶段的相互影响。作者用 Qwen3 在数学与科学推理任务上做受控实验，发现 OPD 效果取决于师生模型兼容性而非教师规模，且前一阶段会重塑后续阶段的学习界面。通过教师适配与学…
arXiv cs.LG33 天前
★ 3
SFT 与 RL 配比：长程广告智能体的强化学习
研究探讨企业分析智能体中监督微调（SFT）与强化学习（RL）的平衡，提出基于教师支持度与奖励可观测空间的诊断方法，将特征路由至 SFT、SFT+RL 或更多 RL。在 GPT-OSS 120B 上，定向 SFT+RL 在 8 项广告技能中 7 项取得正向收益，并显著降低标准与对抗性信息泄漏。
arXiv cs.LG40 天前
★ 3
SFT究竟该学哪些Token？数学推理的Token裁剪视角
论文指出SFT对所有目标Token施加统一交叉熵损失，会过度锐化已掌握Token并放大低置信Token的学习压力。作者提出Trimmed Logit-Gap SFT（TrimSFT），依据金标Token与最强竞争者的logit差距进行Token级重加权，裁剪两端极端、聚焦中间区域，无需参考模型或额…
arXiv cs.AI52 天前
★ 2
综述：推理大模型的有监督微调方法全景
论文系统梳理面向推理大模型的监督微调（SFT）研究，从方法设计与分析研究双视角展开。方法层面分为以数据为中心与以算法为中心的改进，分析层面沿数据特性、优化动力学与机制解释三个维度组织，并指出当前瓶颈与未来方向。
arXiv NLP2 天前
★ 2
PRISM：特权兄弟引导的多智能体拓扑设计
论文提出PRISM，通过特权信息学习从同一语料中恢复逐查询信号：教师网络通过零初始化低秩分支读取同样解决该查询的兄弟图，学生网络匹配其逐决策目标。在六个基准上，PRISM优于所有拓扑设计基线。
arXiv NLP16 天前
★ 2
arXiv 论文：在线策略蒸馏会继承教师模型的失败模式
一篇 arXiv 论文对视觉语言模型（VLM）的在线策略蒸馏（OPD）与过滤式监督微调（SFT）做了受控对比。结果显示 OPD 仅在教师模型对学生生成轨迹保持可靠时才有效：在 ChartQA 上仅用 10% 数据即可逼近全量 SFT，但在教师有 22% 未完成率的 Geometry3K 上落后 S…
arXiv cs.LG16 天前
★ 2
arXiv 论文：Qwen2.5-3B 微调智能体选择性撤回能力研究
一篇 arXiv 论文研究工具调用型语言智能体在证据变化或授权撤销时如何「选择性撤回」已准备的动作。作者用 Qwen2.5-3B-Instruct 的四个 LoRA 检查点，在合成环境 NAQD-Env 中对比原始与增强课程，发现微调后决策一致性与撤回召回率显著优于指令微调基线，但存在规则级失败（…
arXiv cs.AI16 天前
★ 2
NAQD Env：语言智能体选择性撤回基准
论文提出 NAQD-Env，一个评估语言智能体在证据变化、权限撤销或停止指令下选择性撤回行为的合成环境，依据显式证据、授权与约束依赖与确定性参考策略对比。在 350 个冻结场景、3150 个模型—提示回合中，撤回召回率最高仅 0.06，无有效恢复，仅一个回合完全匹配参考策略；监督微调可将 Qwen…
arXiv cs.AI31 天前
★ 2
RL教师比SFT教师更适合模型合并蒸馏
研究对比了在策略蒸馏（OPD）中，用强化学习（RL）还是监督微调（SFT）训练领域专家作为教师的效果。在Agentic、推理、感知三类任务上，RL引导的学生分别比SFT引导高出4.27、1.50、0.86个百分点，Agentic任务中甚至超越教师本身。分析认为RL教师在参数空间上更接近共享初始化，…
arXiv cs.AI33 天前