★ 4
研究：14 个 LLM 智能体过度信任不可靠工具返回
研究评估了14个LLM在工具返回信息不可靠时的表现，发现智能体平均采纳超过三分之一的错误内容，网络搜索采纳率高达68%。智能体常识别出冲突但仅呈现错误答案而不警告用户。干预措施无法一致缓解过度信任问题。
arXiv cs.AI53 天前
#可靠性
共 49 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
研究：金融微调模型数值幻觉的三级可检测性分析
研究发现领域微调显著降低金融大模型的数值约束力，导致幻觉率飙升。数值监督反而放大幻觉，模板注入是主要机制，提示评估需覆盖所有可检测层级并采用接地生成。
arXiv cs.AI55 天前
★ 4
READY：可靠企业智能体部署框架
READY是一个用于评估AI智能体在企业工作流中部署可靠性的框架。案例研究显示，自主准确率相近的系统在人工审查负担上差异显著，READY能揭示这些隐藏差异。
arXiv cs.AI59 天前
★ 3
研究基于 3211 条失败轨迹构建多智能体 LLM 沟通失败分类体系
论文从医疗问答、编程、金融、多跳推理、伦理与具身文本任务的 3211 条失败多轮轨迹中，归纳出多智能体 LLM 系统的沟通失败分类体系。分析发现失败主要来自纠错恢复与共识决策问题，而非孤立的首轮错误，许多问题在智能体首次看到同伴回答后才出现，并据此建议加强分歧处理、证据核验与少数意见保留。
arXiv cs.AI6 天前
★ 3
团队对 53 个开源 AI 智能体做行为测试并提交 37 个缺陷
Defuzex 团队对 53 个开源 AI 智能体进行行为测试，共提交 37 个 bug，覆盖工具调用、权限边界与异常处理等问题。结果说明开源智能体在可靠性与安全性上仍有明显短板，也为开发者提供了可复用的测试方法参考。
Hacker News – AI15 天前
★ 3
SJC：长程智能体上下文压缩的来源判定方法
研究指出长程智能体的压缩摘要混入了压缩器自身的推理，导致智能体无法区分事实与推断，83% 的失败运行可追溯到无环境依据的摘要条目。作者提出免训练的 Source-Judged Compaction，用非生成式判定模型 Jev 为每条摘要打分并剔除无来源条目。在 AppWorld 与 OfficeB…
arXiv NLP16 天前
★ 3
arXiv 基准：医疗 LLM 智能体升级可靠性审计
研究构建 400 个合成医疗工作流 episode，评估开放权重模型在证据缺失、冲突等情况下选择 ANSWER/ASK/ABSTAIN/ESCALATE 的可靠性。五个模型干净决策准确率达 0.97，但需升级时漏报 32%–97%。工作流感知控制器可将漏报降至 0.12–0.24，但词汇压力测试暴…
arXiv cs.AI16 天前
★ 3
arXiv：CARE 为视觉-语言-动作推理加速提供认证
研究提出 CARE 方法，通过配对 rollout 在标定集上提供有限样本保证，确保加速导致的失败风险低于用户设定预算，并部署最快且通过认证的候选方案。在 LIBERO 四个套件与 OpenVLA-OFT 上认证了 9.0–10.8 倍加速，同时以 95% 置信度保证至少 85.8% 的参考成功回…
arXiv NLP24 天前
★ 3
工具调用是否按意图执行？LLM智能体意图-执行一致性测量与修复
论文提出「意图-执行一致性」（IEC）概念，指智能体发出的工具调用经多跳传递后，实际执行动作是否仍与调用语义一致。研究发现在47828次生产环境shell调用中，Claude Code的Bash工具会改写12%含代码或转义字符的调用，其中80.7%的反斜杠改写会静默执行错误动作。作者提出IntAc…
arXiv cs.AI26 天前
★ 3
LLM 智能体框架的计算成本理论
论文提出语言模型智能体机器（LAM），一种资源受限抽象，在固定底层语义模型的同时显式计入框架层资源开销。研究给出通信、访问、重计算与可靠性四类结果，包括上下文—内存流量的 I/O 下界、随机与非推测顺序访问的 Θ(n) 差距，以及带闭式最优验证间隔的检查点定律。作者在 GPT-6 Astra 上做…
arXiv cs.LG27 天前
★ 3
74种AI代理在真实业务中的失败方式
一份实地笔记记录了自主AI代理在运营真实业务时出现的74种失败案例，涵盖Meta广告账户、Stripe支付、Firestore后端等场景。其中仅12%的失败被自动化系统发现，其余全靠人工察觉异常。随着失败模式从代码错误转向数据正确但结论错误，现有监控手段几乎无法捕捉。
Hacker News – AI30 天前
★ 3
研究：增加任务量未必能修复智能体排行榜可靠性
研究提出贝叶斯方差分解框架，分析22个智能体基准榜单的可靠性来源。发现固定模型-脚手架系统的排名可靠，但底层模型排名可靠性显著偏低；脚手架选择会改变结论，且无限增加同类任务最多只能提升0.097的可靠性。合并多样基准可在同等预算下将可靠性从0.44提升至0.75，并最多降低83%成本。
arXiv cs.AI30 天前
★ 3
Incident-Arena：智能体可靠性基准测试
研究者提出Incident-Arena，一个基于真实开源软件构建的20项任务基准，用于评估AI编码智能体在生产事故响应中的能力。任务部署于临时Kubernetes集群并注入故障，采用功能性验证器而非静态检查。前沿模型得分低于64.3%，暴露诊断、修复与安全回归等多类失败。
arXiv cs.AI30 天前
★ 3
长程智能体可靠性诊断基准 Long-Transduction 发布
论文提出 Long-Transduction 诊断基准，测试模型在长序列生成中持续读取、修改并输出依赖上下文操作的能力。对七个开源权重模型的评测显示，上下文从 4K 扩到 128K 时性能下降 62.8%，输入格式变化下降 36.5%，局部任务复杂度提升下降 39.9%。这些失败揭示了长程智能体工…
arXiv cs.AI31 天前
★ 3
研究揭示长期智能体记忆推导中的分布式证据悖论
论文研究长期运行的 LLM 智能体将历史交互压缩为持久记忆时，记忆是否真正由历史证据支持的问题。作者提出 DerivAudit 审计框架，区分证据范围、组合有效性与准入可靠性三个维度。在两个自然记忆语料上，使用更广的写入前历史可为近 60% 看似无支撑的记忆找回证据，但仍有 17-21% 无法支撑…
arXiv cs.AI32 天前
★ 3
LLM 智能体重复副作用的精确一次归属
研究探讨工具调用智能体的精确一次行为应在模型、智能体框架还是工具契约中实现。作者构建 LIMBO 沙盒，注入十二种故障模式，跨 25,930 个回合测试九个模型与三种生产框架。结果显示：可立即回读时模型决定结果，无法回读时契约解释 81% 的方差，而框架影响甚微。
arXiv cs.LG37 天前
★ 3
三星 AI 冰箱更新后宕机引发用户不满
三星带 AI 功能的智能冰箱在一次软件更新后集体宕机，引发用户强烈不满。事件凸显智能家居设备在依赖云端与固件更新时的可靠性风险，一旦更新出问题，基础功能也可能瘫痪。
Hacker News – AI39 天前
★ 3
研究：AI聊天机器人多数时候给出错误金融答案
金融时报报道，测试显示AI聊天机器人在回答金融查询时“大多数时候”给出错误答案。该结果对将聊天机器人用于理财咨询、投资决策的可靠性提出警示。凸显大模型在高准确性要求领域的幻觉与事实性问题。
Hacker News – AI41 天前
★ 3
相似 AI 评审共同出错率超独立预期 7.7 倍
一个名为 Covenant 的开源项目通过实证发现，两个相似的 AI 评审模型同时出错的频率比独立假设预测的高出 7.7 倍。这表明 AI 评审之间存在显著相关性，削弱了「多模型投票」提升可靠性的假设。项目同时公开了其可复现的检查流程与自我纠错记录。
Hacker News – AI42 天前
★ 3
AI 代码为何让我们失望的悖论
一段视频探讨 AI 生成代码在实际工程中频繁失败背后的悖论：模型能力提升却未带来相应的可靠性改善。视频分析了训练数据、上下文缺失与验证成本等结构性原因。该讨论触及 AI 编程工具落地的核心痛点。
Hacker News – AI45 天前
★ 3
一个植入Bug，26个AI代理全部测试通过却仍出错
GitHub 项目 five-bugs 展示了一项实验：向代码库植入一个 bug 后，26 个 AI 代理均通过了测试却未能发现该缺陷。结果暴露了当前 AI 编码代理在测试驱动验证上的系统性盲区。
Hacker News – AI47 天前
★ 3
测试时移除法提升LLM解释忠实度
提出一种测试时方法，通过移除解释中未提及的输入概念并重新查询模型，直接解决解释不完整问题。该方法无需修改模型参数，在多个数据集和模型上提升解释忠实度，增强LLM辅助决策的可靠性。
arXiv cs.AI55 天前
★ 3
★ 3
工具调用智能体的调用级可靠性研究
研究测量了工具使用代理的正确调用率，区分工具选择和参数错误，发现代理自身早期错误导致能力损失约70%。精确匹配评分下，传播模型的严重性和恢复参数被评分规则固定，无法估计。提出条件状态评分作为补救，可零成本应用于缓存完成。
arXiv cs.AI65 天前
★ 2
生产级 AI 落地：隐性故障、工程化与智能体治理
文章讨论生产环境中部署 AI 系统的工程挑战，聚焦难以察觉的隐性故障、从原型到落地的工程化路径，以及 AI 智能体的治理机制。对构建可靠 AI 产品的团队具有实践参考价值。
InfoQ AI3 天前
★ 2
研究提出决策价值框架评估 AI 智能体重启监控器
论文指出分类准确率无法决定重启 AI 智能体是否提升成功率，固定 90% 准确率的监控器可使成功率从 -5 个百分点摆动到 +35 个百分点。作者提出决策充分性准则与无模型决策审计两种方法，并在 SWE-bench Verified 的 194 次执行中验证，未发现重启收益的稳定复现。
arXiv cs.AI4 天前
★ 2
用户称 LLM 确认了实际未保存的预订，暴露智能体可靠性问题
一位用户反映其使用的 LLM 助手确认了一笔实际并未成功保存的预订，暴露出 AI 智能体在执行业务操作时「声称成功」与实际状态不一致的可靠性隐患。该帖在 Hacker News 上引发对智能体工具调用与状态校验机制的讨论。
Hacker News – LLM5 天前
★ 2
arXiv 论文提出证据状态校准与 SufiCE 置信度估计方法
论文指出语言模型在证据不足时仍倾向作答，提出「证据状态校准」概念，要求模型作答前的置信度与实际正确率匹配，并随证据变化而调整。所提 SufiCE 方法在临床诊断与多跳问答任务上把 Brier 分数最多降低 60%、AUROC 最多提升 0.16。
arXiv NLP5 天前
★ 2
研究：采集日期元数据可改变时序问答答案
一项 arXiv 研究显示，仅调换两条维基百科修订版本的采集日期，就能让五个开源权重模型在时序问答上的后向引用精确匹配下降 37.6 至 51.4 个百分点。该效应在多种提示变体下依然存在，说明模型会受与内容无关的元数据干扰。研究提出了一种审计时序问答输入的方法，对 RAG 与知识库系统的时间可靠…
arXiv NLP6 天前
★ 2
论文研究 AI 智能体重试授权与恢复的一致性
研究聚焦工具型 AI 智能体执行期可靠性，将检查点状态、派发权限、外部效果证据与对账权限区分为独立义务。在 LangGraph 与 Temporal 上执行 336 条历史记录的对照实验显示，保留账本对账方案通过全部 42 条历史，缓存重试、重试前重校验与稳定键重试分别通过 30、36、31 条，…
arXiv cs.AI6 天前