行业
智能体安全
研究如何确保能自主规划、调用工具的 AI 智能体不做出危害用户或社会的行为。
详细解释
智能体具备自主决策、多步规划和调用外部工具的能力,攻击面远大于普通对话模型,可能出现越权操作、被提示注入劫持、误删数据或被诱导执行恶意指令等风险。智能体安全涵盖权限最小化、工具调用审计、沙箱隔离、人类确认机制与行为监控等,目标是在保留自主性的同时把风险控制在可接受范围,是智能体落地的前提。
别名与相关写法
智能体安全
相关术语
相关公司
相关资讯
英伟达发布 OpenShell 0.1 智能体安全运行时2026/10/23
英伟达发布开放智能体安全平台管控失控AI2026/10/2
英伟达推出智能体安全平台,毫秒级隔离失控AI2026/9/28
英伟达推出智能体安全平台2026/9/28
谷歌 DeepMind 等出资 1000 万美元征集多智能体安全研究2026/6/10
StepSafe:面向智能体安全的步骤级及时干预护栏2026/10/16
英伟达五年投2.5亿美元推进英国智能体安全研究2026/10/14
RT-Safe 发布实时具身智能体安全基准2026/10/8