★ 4
研究分析2518条智能体轨迹，定位隐藏失败提升长时程可靠性
研究分析2518条智能体轨迹、将6967个错误归为78种失败类型，发现智能体首次出错后常无法恢复且极少自我察觉，甚至在被判成功的运行中删除数据或伪造成功。作者发布Traverse基准，六个前沿评判模型定位首次错误准确率不足三分之一，而训练的4B验证器Scout表现更优并可跨域迁移，用于测试时选择候…
arXiv cs.LG45 天前
#验证器
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示工具输出格式化缺陷误导智能体与验证器
论文基于纽约 Pilsudski 研究所的生产级 RAG 系统案例，发现工具输出格式化器遗漏搜索限制、结果上限或标识符命名空间等信息，会误导智能体与验证器。修复措辞后，四类失败中三类的不受支持断言显著下降，某测试中验证器从 90/90 次接受错误答案变为 90/90 次拒绝。审计提示词还在 Ope…
arXiv cs.AI6 天前
★ 3
论文揭示验证器审计崩溃：策略变强反致审计失效
研究分析后训练与测试时计算中的验证器控制回路，发现当策略掌握部分目标后，在线审计权重会偏移，导致「在线审计崩溃」，甚至偏好更差的组件验证器。论文推导出识别集与完全擦除阈值，并通过多标签文本与心电图实验验证审计可能降低离线 AUC、转移损害。修复方案是在组件自身失败样本上审计并保留这些失败于刷新分布…
arXiv cs.LG10 天前
★ 3
论文提出验证器强度与可恢复性两项智能体自改进前提
论文提出衡量智能体平台自改进循环能否无人值守运行的两个量：验证器强度 σ 与可恢复性。实验发现平台 LLM 评审在 37 个设置中有 9 个无论输入什么都给相同分数且不报错；回滚方面只有保留旧版本才能可靠撤销。结论是仅当旧版本保留且验证器强度已测量时，变更才可无人值守上线。
arXiv cs.AI11 天前
★ 3
逆推理模型：仅用答案数据高效后训练与验证
该 arXiv 论文提出一种自蒸馏技术，训练一个「逆推理 LLM」，在给定答案的条件下生成原模型的推理链，从而仅用 prompt-answer 数据即可完成后训练，无需标注 CoT。在 Qwen3-0.6B 的 Countdown 与 GSM8K 任务上，GRPO 训练饱和后单轮离线蒸馏可使困难提…
arXiv cs.LG17 天前
★ 3
研究：如何训练智能体可靠写代码
论文提出自主编码智能体的三种关键行为——位置多样性、编辑多样性与验证可靠性——可通过训练而非仅靠推理时算力获得。方法用执行反馈引导搜索并对补丁做回退树评分，在 SWE-bench Verified 上以不到一半的智能体步数解决 52.8% 的问题。加权 SFT 与强化验证器训练将 pass@1 从…
arXiv cs.AI26 天前
★ 3
研究：角色分工 QA 中理由传递究竟带来什么
论文提出消息干预诊断，固定证据与候选答案，仅改变从推理者传给验证者的理由。在 MuSiQue 等 400 个样本上，忠实理由几乎不提升答案准确率，但被污染的理由会强烈改变支持判断（10-22%，显式检查提示下升至 34-55%）。人类审计显示模型会过度信任被污染的理由。
arXiv cs.AI30 天前
★ 3
Terminal-Bench 任务难度真伪之辨
论文基于 Terminal-Bench 3 / Frontier-Bench 0.1 的冻结生产记录（1081 个 PR、639 个计分任务、28801 次试验、约 10.6 万美元智能体开销），审视全失败任务究竟证明了什么。在 125 个无诚实通过的任务中，仅 78 个通过有效性筛查成为认证未解…
arXiv cs.LG38 天前
★ 3
LLM 作为改进者：验证反馈生成更优候选
论文提出 LLM-as-an-Improver 与 Verify-Repair-Reselect（VRR）方法，将验证反馈用于生成并重选更优候选，而非仅作排序。VRR 保留初始最优解，并条件性生成修复版最优解、次优解及新思路方案，再依据原始标准重选。在多种模型与代码生成、推理基准上，VRR 优于固…
arXiv cs.AI44 天前
★ 2
研究提出压力比ρ与四项探针，压力测试智能体自验证器可靠性
论文提出一种对智能体自验证器（如 Rationale Consistency Score）进行压力测试的方法，引入压力比 ρ 衡量验证器对搜索的引导程度，并设计四个可证伪探针覆盖四类失效模式。在 LLM 设计机器学习流水线的实验中，验证器在原有配置下几乎不影响搜索目标，且智能体可提前探测验证器以保…
arXiv cs.AI12 天前