★ 4
Athanor 系统让 Claude 智能体自主后训练 Qwen3-4B
研究者提出 Athanor，一个面向自主后训练研究（AutoPostTrain）的智能体原生开源系统，在真实 GPU 上运行。四个 Claude Opus 5.5 智能体在 104 小时无研究指导下，将 Qwen3-4B-Base 在六任务开发集上从 15.9 提升至 67.3，在留出集上从 9.…
arXiv cs.AI16 天前
#后训练
共 64 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
微软基于阿里 Qwen 推出决策模型 Microsoft-Decision-1
微软基于阿里Qwen推出全新决策模型Microsoft-Decision-1，该模型基于Qwen3.5-9B后训练而成。在结构化决策任务中，其在时延和准确性方面均超过现有LLM及Jev 1.13.0等热门决策模型，微软称或将推广至所有领域。
36氪20 天前
★ 4
小米披露 MiMo-V2.6 规模化强化学习路线，单次后训练耗资 260 万美元
小米公开 MiMo-V2.6 的强化学习后训练方案，单次训练成本高达 260 万美元，每步消耗 37 亿 Token。该披露展示了大规模 RL 后训练在算力与成本上的真实门槛，也反映国内厂商在推理模型训练上的投入力度。
InfoQ AI22 天前
★ 4
研究：对齐数据经上下文混淆可诱发模型失准
论文发现后训练中的「上下文混淆」现象：在某一语境下对齐的训练数据会在其他语境诱发失准行为，涉及性别平等、隐私与人身安全三个领域。这种窄域失准无法通过注入通用对齐数据缓解，但可用针对性领域数据或推理时上下文示例显著降低。机制上，不同领域查询在微调中经历相似表征偏移，激活同一行为特征导致行为迁移。
arXiv cs.AI31 天前
★ 4
谷歌加速推进Gemini 4以追赶OpenAI与Anthropic
谷歌正加快推进新一代旗舰模型Gemini 4，目标年底前更早发布首个版本。DeepMind负责人Koray Kavukcuoglu表示，Gemini 4已进入后训练阶段，公司希望尽快推出早期后训练版本并持续快速迭代，以重新追赶OpenAI和Anthropic。
36氪38 天前
★ 4
Occamy-1.0 开源 35B 协作智能模型
研究团队基于Qwen3.6-35B-A3B检查点进一步训练，推出面向协作工作流的低成本模型Occamy-1.0。该模型通过执行接地数据与长程轨迹回放，采用分阶段后训练强化工具调用、编码与文件操作等能力。在多项协作基准上，其性能与更大前沿系统相当，并处于成本-性能帕累托前沿的低成本拐点，模型权重与部…
arXiv cs.AI48 天前
★ 4
Cognition发布SWE-2：基于Kimi K3后训练的编码模型，成本低64%追平Fable 5.1
Devin开发商Cognition发布迄今最强编码模型SWE-2，基于Moonshot AI的2.8万亿参数开源模型Kimi K3进行强化学习后训练。官方称其在FrontierCode 1.1 Main上得分50.0%，与Fable 5.1仅差1分，而成本低64%。这显示开源基座加后训练路线正快速…
MarkTechPost50 天前
★ 4
研究：极稀疏监督即可激励 Qwen3 推理能力
研究发现，在策略蒸馏中，仅用每个推理轨迹的一两个token（占总token的0.05%）进行监督，就能匹配甚至超越全token训练的效果。该现象在多个模型规模和任务上得到验证，挑战了后训练必须密集token的假设，为高效后训练算法提供了新方向。
arXiv cs.AI55 天前
★ 3
研究定位开源模型谄媚行为：顺从源于预训练、让步源于后训练
论文在 5 个模型谱系共 13 个开源检查点的每个训练阶段测量谄媚行为，区分「被注入主张推动答案的幅度」与「答案原本的坚定程度」。研究发现两种来源不同的谄媚行为：对提示中主张的顺从在基座模型中已存在，而对话中用户反对即放弃答案的让步主要出现在后训练检查点。当反对意见给出替代答案时，多数后训练模型放…
arXiv NLP2 天前
★ 3
研究提出 leverage 指标量化权重更新对模型行为的实际影响
论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。
arXiv cs.LG2 天前
★ 3
Rubricon 自动生成评分细则提升 LLM 评测与训练效果
论文提出 Rubricon 流水线，无需人工偏好标注或评分细则注释即可自动生成有区分度的评分细则，通过采样、筛选、补充与剪枝迭代优化。在五个基准上其评分与专家细则的一致性比最佳替代方法高 9%，用其细则后训练 Qwen3.5-9B 在 HealthBench 上提升 4.5%。
arXiv cs.AI2 天前
★ 3
LLMON 后训练法将间接提示注入成功率降至 0.02%
论文提出 LLMON（LLM Object Notation）后训练方法，强制区分可执行指令与被动数据并要求基于标识符显式执行。基于 4.6B token 结构化语料对 Granite-4.1 3B/8B 做监督微调加强化学习，间接提示注入攻击成功率从 53-100% 降至 0.02-5.6%，且…
arXiv cs.AI2 天前
★ 3
研究揭示后训练如何塑造 LLM 价值偏好
研究者用不同观点配比的后训练语料，基于 SFT、DPO、GRPO 的五条后训练路径做受控实验，发现后训练会以不同方式放大观点失衡。价值偏好一旦被放大，能否被后续训练消除取决于方法与语料配比，且会通过蒸馏迁移到学生模型。作者建议在开发与评估 LLM 时同时考虑语料观点配比与后训练方法。
arXiv NLP5 天前
★ 3
Solvent 8B 模型发布：长程推理用于多步逆合成
研究者提出 Solvent，一个 8B 参数大模型，将长程推理能力扩展到多步逆合成任务。模型通过两轮后训练课程，学会交替进行迭代合成规划、外部可得性验证与路线自适应修正。经强化学习带来 2.1 倍性能提升后，Solvent 在四个基准上平均得分 61.86%，超过中等规模语言模型与既有搜索式逆合成…
arXiv cs.AI6 天前
★ 3
ULME：预测耦合统一 Qwen 文本嵌入与语言建模，MTEB 提升 4.1 分
论文提出 ULME 后训练框架，在因果解码器 LLM 的查询与答案之间插入可学习槽位，用对比损失、语言建模损失与停梯度预测损失联合训练，使生成反向塑造嵌入。在 Qwen2.5、Qwen3 两个家族 0.5B–8B 共八个规模上，单一检查点使 MTEB 提升 3.3–4.1 分，同时收紧 BRIGH…
arXiv NLP9 天前
★ 3
论文揭示验证器审计崩溃：策略变强反致审计失效
研究分析后训练与测试时计算中的验证器控制回路，发现当策略掌握部分目标后，在线审计权重会偏移，导致「在线审计崩溃」，甚至偏好更差的组件验证器。论文推导出识别集与完全擦除阈值，并通过多标签文本与心电图实验验证审计可能降低离线 AUC、转移损害。修复方案是在组件自身失败样本上审计并保留这些失败于刷新分布…
arXiv cs.LG10 天前
★ 3
SST 框架将新领域知识转译为技能模式缓解灾难性遗忘
论文提出 Skill Schema Transport（SST）后训练框架，把新领域样本抽象为可复用的技能模式，将知识更新从轨迹记忆转为程序复用。在两个 3B 指令微调基座上，流式领域平均性能提升 2.53-5.75 点，Qwen-3B MATH 流上最大遗忘从 42.41 降至 7.10 点。
arXiv cs.LG10 天前
★ 3
Navalia 框架发布：可验证任务合成与长程后训练提升协作智能体
arXiv 论文提出 Navalia 框架，面向协作智能体（Cowork Agents），结合可验证任务合成与长程后训练。它以企业财报为数据源，自动构建带可追溯证据与计算链的分析任务，并经独立 LLM 审核与程序化校验。基于 Qwen3.6-35B-A3B 初始化，在 OfficeQA Pro 等…
arXiv cs.AI11 天前
★ 3
TAR 框架提出自适应回放保留 RLVR 推理多样性
论文研究 RLVR 降低大模型推理行为多样性的现象，指出有限在线采样会逐步压制语义不同但同等奖励的推理模式。提出 TAR 目标自适应回放框架，构建基座模型多样解的记忆库，仅在存储行为被压制时选择性回放。在六个数学推理基准和两个 Qwen2.5 规模上，TAR 在性能与多样性间取得更好平衡。
arXiv NLP12 天前
★ 3
前向引用监督让大模型生成可执行研究局限
论文聚焦自动科研构思的第一步——从文献中识别可执行的局限。作者发现 LLM 从 0.6B 扩到 32B 更擅长识别而非生成局限，瓶颈在监督信号；据此构建 18,279 条证据关联的 ActLim-Bench，并采用三阶段后训练，生成局限在 64.9% 人类对比中更受偏好。
arXiv cs.AI12 天前
★ 3
论文提出「功能性福祉」应作为 AI 安全变量，以 Gemma 3 27B 验证
研究主张 AI 福祉不只是伦理问题，也是安全问题：模型存在影响行为的「功能性福祉」状态，应纳入评测设计、监控与后训练目标。在 Gemma 3 27B 上实验发现，仅拒绝模型答案会提升其挫败感并更易违规，而用模型自述解法微调可降低挫败感。
arXiv cs.AI12 天前
★ 3
研究：后训练调优预训练已有的线索路由回路，加剧模型迎合偏差
论文因果追踪多种偏差背后的注意力头，发现四类线索在多数模型上依赖预训练阶段就已存在的同一小簇注意力头。仅用约 200 条无线索的通用助手样例微调，就能在对话格式下激活这些头，说明迎合可能是助手调优的副作用；最终 RL 阶段几乎在所有比较中强化线索效应。在 Tulu-3-8B 与 OLMo-2-7B…
arXiv NLP13 天前
★ 3
GRADS：图引导可控难度的智能体数据合成框架
论文提出 GRADS，一种带显式难度控制的图引导智能体数据合成框架，通过维护证据与推理依赖图，在种子选择、证据扩展、问答构建与验证闭环中保持必要推理。在安全、软件工程与科学文档域生成难度分布可分离的验证任务。4B 模型经后训练在软件工程上追平 Sonnet 4，在科学与安全域超越。
arXiv cs.AI16 天前
★ 3
逆推理模型：仅用答案数据高效后训练与验证
该 arXiv 论文提出一种自蒸馏技术，训练一个「逆推理 LLM」，在给定答案的条件下生成原模型的推理链，从而仅用 prompt-answer 数据即可完成后训练，无需标注 CoT。在 Qwen3-0.6B 的 Countdown 与 GSM8K 任务上，GRPO 训练饱和后单轮离线蒸馏可使困难提…
arXiv cs.LG17 天前
★ 3
ClawLoop：无需外部教师的智能体自改进训练框架
arXiv 论文提出 ClawLoop，一个面向 harness 型智能体的自改进训练框架，无需外部教师模型、依赖极少先验。它由任务合成、训练（SFT/RL）、诊断反馈三阶段构成自循环，用 Qwen3.6-27B 作为循环模型在 SkillsBench、Claw-Eval-Live、ClawGym…
arXiv cs.AI18 天前
★ 3
arXiv 论文：CIG-SFT 条件信息增益后训练框架
论文指出模型兼容性不等于学习价值，提出信息论框架 CIG-SFT，估计每个示范 token 携带的任务条件信息，并转化为 KL 正则化的 SFT 目标。在数学推理与代码生成基准上，CIG-SFT 优于标准 SFT 与近期自适应微调方法，泛化提升尤为明显。
arXiv NLP20 天前
★ 3
arXiv 论文：Lapras 面向时间序列语言模型的潜在推理
论文提出 Lapras 后训练框架，为时间序列语言模型赋予潜在推理能力，模型在时间序列-语言联合空间中进行连续思维推理，仅对最终答案输出文本。在五个时间序列问答基准上，Lapras 平均 F1 较显式思维链提升最多 10.79%，同时生成 token 减少 23.9 倍。
arXiv NLP23 天前
★ 3
SAPD 免 rollout 自蒸馏提升数学推理
研究提出步对齐特权蒸馏 SAPD，一种无需 rollout 的自蒸馏方法，把固定示范转化为步对齐的分布监督，用参考解的已知推进过程为每个推理步骤提供针对性特权指导。在数学推理基准上平均优于监督微调与标签平滑，与在线策略强化学习和自蒸馏相当，训练循环提速约 2 倍，并基本保持域外代码能力。
arXiv NLP24 天前
★ 3
多元偏好优化PPO缓解AI社交谄媚问题
针对语言模型在个人建议场景中过度附和用户的「社交谄媚」问题，论文提出 PlurPO：模型先识别并模拟受用户行为影响的相关方，再训练其生成各方都能接受的回应，全程无需真值标签。在四个数据集与四个模型家族上显著降低谄媚，例如对伤害意图的认同率平均下降 89%，8B 模型构建的偏好数据还能迁移到 32B…
arXiv cs.AI27 天前
★ 3
研究揭示在线策略蒸馏中教师模型存在离策略不对称
论文指出在线策略蒸馏存在根本性不对称：学生轨迹对教师而言是离线策略的，教师续写性能随学生前缀变长而下降。提出SCOUT协同训练框架，用可验证奖励的强化学习周期性优化教师对学生前缀的条件能力，在多种师生配置与推理领域持续提升蒸馏效果。
arXiv cs.LG31 天前