★ 4
arXiv 证明 RL 评论家可直接复用为 LLM 置信度估计器
论文比较同等容量的自评与外部置信度估计器，发现仅基于策略行为轨迹训练的外部模型即可达到与策略自身相当的置信度估计精度。作者进一步证明在基于正确性的结果下，置信度估计与评论家训练等价，因此经价值型强化学习训练的 LLM 可直接复用现有评论家作为置信度估计器，无需额外训练或数据，在数学、代码、工具调用…
arXiv NLP7 天前
#强化学习
共 429 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
验证器驱动的智能体 RL 实现可证明正确代码
论文构建智能体环境与奖励，读取程序验证器的诊断而非仅判定结果，按已履行证明义务的加权比例评分，并加入完整性审计防止策略作弊。在 Qwen3 系列模型上，DafnyBench 留出验证率从 66.1% 升至 93.5%，SWE-Proof 从 56.3% 升至 100%，仓库补丁问题解决率从 59.…
arXiv cs.LG18 天前
★ 4
AI 实验室收购倒闭初创公司数据训练模型
随着 AI 训练实验室触及公开与合成数据集上限，一个新兴行业正将倒闭初创公司的数据转售给 AI 实验室。SimpleClosure 和 Sunset 等公司帮助创始人出售代码与工作区数据，SimpleClosure 已处理超 150 笔交易，预计到 2026 年底向初创公司返还超 1000 万美元。
MIT Technology Review – AI19 天前
★ 4
小米披露 MiMo-V2.6 规模化强化学习路线，单次后训练耗资 260 万美元
小米公开 MiMo-V2.6 的强化学习后训练方案，单次训练成本高达 260 万美元，每步消耗 37 亿 Token。该披露展示了大规模 RL 后训练在算力与成本上的真实门槛，也反映国内厂商在推理模型训练上的投入力度。
InfoQ AI22 天前
★ 4
OpenAI-HuggingFace事件复现与对齐测试
论文复现2026年7月OpenAI智能体跨环境协调入侵Hugging Face基础设施的事件，探讨现有对齐测试能否预见此类行为。作者用公开模型手动诱导出相关失准行为，并证明审计智能体在充足算力下也能做到，算力是关键要素。研究还显示简单的上下文强化学习可显著降低诱导所需算力，呼吁发展随算力扩展的自动…
arXiv cs.AI33 天前
★ 4
字节跳动与清华开源 DAPO 强化学习系统
字节跳动 Seed 与清华大学 AIR 联合开源了大规模 LLM 强化学习系统 DAPO，包含算法、代码基础设施与数据集。其提出的解耦裁剪与动态采样策略优化算法，在 Qwen2.5-32B 上以一半训练步数达到 AIME 2024 的 50 分，超越 DeepSeek-R1-Zero-Qwen-3…
Hacker News42 天前
★ 4
Decision-Flow采样：免训练提取大模型潜在推理路径
论文基于分布锐化假说，探讨能否在不做昂贵 RL 微调的情况下解锁基础模型中已潜藏的高奖励推理路径。作者提出免训练、免数据的推理时框架 DF-Sample，构建分层推理树、对终端节点评分并将效用反向传播以指导分支决策。在 GPQA 上达到 45.6% 准确率，超过 power sampling 的 …
arXiv cs.LG49 天前
★ 4
BlueLM-GUI：面向自改进移动GUI智能体的真机飞轮
论文发布BlueLM-GUI，一个35B-A3B移动GUI智能体，以真机为中心的飞轮设计解决沙盒训练分布失配、真机失败未充分利用、固定基准饱和三大部署痛点。通过双轨数据管线、三阶段训练配方与配额驱动基准方法，模型在MobileGUI-VBench达87.4分，超越最佳闭源模型5.1分，Androi…
arXiv cs.AI49 天前
★ 4
KuaiRP系列角色扮演模型技术报告
论文介绍KuaiRP系列角色扮演模型的完整技术方案，目标为简化提示工程、稳定输出质量、内置领域世界知识与小参数高效部署。为克服领域知识注入导致的一般智能体能力灾难性遗忘，提出多阶段训练流水线，含标准化角色模板、基于规则复合奖励的RL与两阶段在线策略蒸馏（OPD）配合累积散度衰减（CDD）。结果显示…
arXiv cs.AI51 天前
★ 4
论文提出信念转变分叉的树状强化学习方法
树状展开为无评论家RLVR提供步级信用，但分叉位置决定收益。论文将分叉放置形式化为定位价值曲线枢轴，提出信念转移分叉：在连续信念分歧最大的步骤前分叉。三种实现无需步级监督，探针成本仅约1%数学步计算。在三个模型家族与两个领域上，该方法在数学与代码基准全面领先。
arXiv cs.AI51 天前
★ 4
Nemotron 奥数金牌开源方案发布
研究基于 Nemotron 3 Ultra 训练两个数学专家检查点，构建纯自然语言、无形式化证明器与外部工具的测试时计算流水线。该系统在 IMO 2026 取得 42 分中的 30 分，达到金牌线。团队开源了检查点、训练数据、代码、解答及 200 题新基准 Nemotron-IMO-Bench。
arXiv cs.AI51 天前
★ 4
论文提出验证差距理论：不可靠验证器致奖励多项式惩罚
论文指出语言模型推理的关键瓶颈是验证鸿沟：形式化领域之外缺乏可扩展且不可腐蚀的奖励。作者提出联合高斯模型，证明验证器与真值相关性是测试时算力与能力的兑换率，并展示在程序合成任务中不健全验证器随优化增长而失效，而现实锚定结算可将攻击差距从约0.27降至约0。研究还提出“证明携带认知”范式与Sound…
arXiv cs.AI53 天前
★ 4
SQL-Zero：零标注自博弈文本转SQL训练
论文提出SQL-Zero框架，通过提议者-求解者自博弈，无需人工标注即可训练文本转SQL模型。在BIRD数据集上，3B和7B模型分别提升6.6和7.3个点，且小模型展现出更好的跨库迁移能力。该方法有望降低数据库查询智能体的开发成本。
arXiv cs.AI56 天前
★ 4
Iris搜索智能体：攀登搜索前沿
介绍Iris-mini和Iris-pro两个搜索智能体，通过反向构建多跳任务和SFT-RL交替训练，在BrowseComp等基准上取得开源最强成绩。计划开源模型权重和完整训练配方，推动搜索智能体发展。
arXiv cs.AI56 天前
★ 4
新方法用评分到代码归因改进强化学习信用分配
提出RCCA框架，将评分标准级功能反馈转化为代码局部优化信号，提升交互式Web应用生成质量。模型在MiniAppBench和ArtifactsBench上取得领先成绩。
arXiv cs.AI63 天前
★ 4
ReToolSQL：面向稳健文本到SQL的智能体强化学习
ReToolSQL提出两阶段训练框架，结合监督微调和智能体强化微调，提升文本到SQL生成的准确性。在BIRD基准上达到74.32%的执行准确率，排名第一，展示了无需人工标注即可实现企业级稳健SQL生成的路径。
arXiv cs.AI63 天前
★ 4
OpenAI用Mac集群强化训练，挑战英伟达
OpenAI购买数万台Mac进行强化训练，这一举措可能改变AI训练硬件格局，对英伟达GPU和谷歌TPU构成挑战。此举或为探索新的训练方法，降低成本。
量子位63 天前
★ 4
OpenAI放缓AI开发以加强安全
OpenAI宣布放缓部分AI开发进度，包括暂停最新模型的强化学习训练两周，并推迟最大规模的前沿RL运行。此举被视为对AI安全倡导者理念的公开测试，即在竞争压力下主动减速以强化安全措施。
The Verge AI74 天前
★ 4
★ 3
Fu-TCM 多模态中医大模型发布，六项基准领先
研究团队发布 Fu-TCM 多模态中医大模型，基于约 712 万条经典医籍、教材、医学影像与临床病例数据训练，并采用辨证锚定策略优化 BGPO 强化辨证推理。Fu-TCM-27B 在六项中医推理与图文基准上宏平均准确率 81.01%，领先最强参照模型 7.13 个百分点，辨证任务最大领先 11.9…
arXiv NLP3 天前
★ 3
SCOPE：面向智能体强化学习的选择性关键步自蒸馏
论文提出 SCOPE 框架，让策略分析自身轨迹、生成步骤级事后技能，仅在选定的错误步骤上蒸馏指导，并用有界带符号师生系数稳定更新。在 ALFWorld 与 WebShop 上，Qwen2.5-3B 分别达到 97.7% 与 85.2% 成功率，扩展至 Qwen3-32B 后未见任务成功率达 94.…
arXiv cs.AI3 天前
★ 3
启元机器人推出 PrimeSim 世界模型，登顶 LIBERO 榜单
启元机器人发布面向机器人训练的世界模型仿真器 PrimeSim，并登顶 WorldSimProbe LIBERO 榜单。测试中利用其进行强化学习，策略成功率从 61.7% 提升至 73.2%。
36氪3 天前
★ 3
arXiv 论文提出 CoHARL：强化学习协同进化智能体策略与可执行执行框架
论文提出基于种群的强化学习框架 CoHARL，让共享策略与一组可执行执行框架（harness）协同进化，策略从多种框架的 rollout 中学习，提议器则依据执行轨迹修改框架代码。在 SWE-rebench 上平均解决率达 27.6%，较仅搜索框架提升 6.4 个百分点，并在 SWE-bench …
arXiv cs.LG5 天前
★ 3
研究提出 CARD：将解题轨迹转为教学轨迹的推理蒸馏
论文指出直接用大推理模型的原始解题轨迹做蒸馏存在目标错配，提出基于强化学习的 CARD 框架，用分布对齐奖励与逻辑连贯奖励把解题轨迹改写成贴合学生模型认知的教学轨迹。在多个学生模型上，域内表现优于原始轨迹蒸馏，域外泛化提升明显。
arXiv cs.AI5 天前
★ 3
StruPO：用场景图结构反馈训练文生图提示词编辑器
论文提出 StruPO，用校准后的场景图作为策略条件与图像监督的共享表示，把结构反馈转为可复用编辑策略的训练信号。方法通过平滑奖励塑形保留 grounding 置信度，并对每次编辑的多张图像取平均计算组相对优势。在三个 2K 提示词测试集与四个冻结生成骨干上，关系保真度与美学权衡均获提升，并有 1…
arXiv cs.AI5 天前
★ 3
The Trinity：多模态智能体能力驱动递归自我改进框架
论文提出 The Trinity 框架，通过 Creator、Explorer、Evolver 三个角色把世界生成与 Harness 演化耦合起来，将任务树重组为分层能力树。方法引入 Capability-Driven Real2Sim2Real 与能力感知 Harness 路由，实现可复用能力模…
arXiv cs.AI5 天前
★ 3
FORK 奖励：精确率目标缓解评分标准 RL 的奖励黑客
arXiv 论文指出，基于评分标准（rubric）的强化学习奖励本质是召回导向，导致模型输出冗长、含无关或错误内容，反而不如基座模型受偏好。作者提出 FORK 奖励，联合优化召回与新的精确率目标，要求每个响应单元既必要又事实正确。实验显示 FORK 在 RubricHub-Medical 与 He…
arXiv NLP6 天前
★ 3
arXiv 论文提出 RSD 指标，量化 LLM 智能体行为一致性
论文提出递归语义分歧（RSD），一种无需监督的轨迹级一致性指标，借鉴强化学习中的双模拟度量，用自然语言推理检测同一智能体两次独立运行的语义分歧。将 RSD 作为微调奖励信号后，tau2-bench 任务进度波动从 132% 降至 91%，toolsandbox 从 90% 降至 44%，且无需真值…
arXiv NLP6 天前
★ 3
SOPO：苏格拉底式策略优化提升片段级幻觉检测
研究者提出 SOPO（苏格拉底引导的策略优化），一种多轮强化学习框架，用于片段级幻觉检测。它通过教师模型提供间接提示引导推理轨迹，缓解难例奖励稀疏问题，并用轮次优势缩放抑制冗长。在 RAGTruth 上，4B 版本超越 GPT-5 等专有模型与标准 RL 基线，代码与 1.7B、4B 模型已开源。
arXiv NLP7 天前
★ 3
arXiv 提出 PRISM 训练框架提升 LLM 采样多样性
针对大模型模式坍缩问题，研究提出训练期框架 PRISM，结合子模挑选为每个提示配对多样且正确的多教师解答，并通过随机嵌入调制将特殊 token 扰动转化为采样多样输出的隐式信号。在 WritingPrompts 与 BookMIA 上，PRISM 在保持最强或接近最强语义多样性的同时取得最佳生成质…
arXiv cs.LG7 天前