★ 4
英伟达推出毫秒级隔离失控AI代理平台
英伟达发布新平台，可在毫秒级时间内隔离行为失控的 AI 代理，防止其造成进一步破坏。此举针对自主智能体在企业环境中日益增长的安全风险，为代理运行提供实时管控与隔离能力。
Hacker News – AI34 天前
#智能体治理
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
智能体 AI 的独立性分级审计协议
论文主张智能体 AI 的审计独立性不应是二元判断，而应沿三条正交轴分级：主体独立性、基座独立性与证据独立性，并按最弱环节聚合。作者移植可靠性工程中的 beta 因子共因失效模型，提出七步可第三方验证的协议，并用蒙特卡洛研究显示常规内部审计仅能发现 5.9% 的潜在故障。研究还映射到欧盟 AI 法案…
arXiv cs.AI46 天前
★ 2
生产级 AI 落地：隐性故障、工程化与智能体治理
文章讨论生产环境中部署 AI 系统的工程挑战，聚焦难以察觉的隐性故障、从原型到落地的工程化路径，以及 AI 智能体的治理机制。对构建可靠 AI 产品的团队具有实践参考价值。
InfoQ AI3 天前
★ 2
观点：对 AI 智能体不要信任，要持续验证
文章主张在部署 AI 智能体时应采用「不信任、持续验证」的原则，强调对其行为进行实时校验与审计。这呼应了智能体自主性提升带来的安全与可控性担忧。
Hacker News – AI12 天前
★ 2
Praxa：受治理智能体执行的证据绑定框架
论文提出 Praxa，一个将提议、授权、派发、验证外部效果与服务推广显式区分的智能体执行框架。作者报告四条证据线：仓库审计通过 1027 项测试，Terminal-Bench 试点中可靠性层与基线各通过 17/36，未支持优越性。候选方案在协调代理对比中减少 37.11% token，但未证明质量…
arXiv cs.AI31 天前
★ 2
契约监控：以分权治理AI智能体
论文提出一种AI安全框架，将工作智能体绑定到规定其允许动作的契约上。通过为监控智能体与裁判分配不同职责，并给监控者与工作者不对称的计算资源来强制执行契约。该框架可实证测量统计安全保证，适用于代码安全与越狱逃逸等场景。
arXiv cs.AI34 天前
★ 2
智能体AI用例运营化框架AI-GRACE
论文提出AI-GRACE框架，将组织治理与技术实现连接，帮助部署智能体AI的企业明确需验证、控制与观测的内容。框架在七个风险域评估风险，并推导部署前保障、运行时控制与证据要求，同时提出Agent Operating Envelope与风险对齐独立性等级（RAIL）。以虚构零售银行场景演示了该方法。
arXiv cs.AI42 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1