技术
prompt injection(提示注入)
提示注入是一种针对大语言模型的安全攻击,攻击者通过在输入中嵌入恶意指令,诱使模型忽略原始任务并执行非预期操作,如泄露敏感数据或生成有害内容。典型场景包括越狱攻击和间接提示注入,代表研究有2022年Riley Goodside的越狱提示和后续的防御工作。
详细解释
提示注入源于大语言模型对自然语言指令的敏感性。攻击者利用模型难以区分指令与数据的弱点,将恶意指令伪装成用户输入或外部内容,从而操控模型行为。根据注入方式可分为直接注入(用户直接输入恶意提示)和间接注入(通过网页、文档等第三方内容注入)。该问题对AI安全构成严重威胁,尤其在模型集成外部工具时。防御策略包括输入过滤、提示工程、对抗训练等,但尚无完美解决方案。
别名与相关写法
prompt injection
相关术语
相关公司
相关资讯
论文提出语义叠加层防御提示注入攻击2026/8/26
巴西法院因诉讼文书含提示注入处罚律师2026/11/1
研究:Attention Tracker 在智能体间接提示注入检测失效2026/10/22
研究:Qwen3 智能体是否中招提示注入取决于推理过程2026/10/20
研究提出免训练防御,抵御医疗多智能体提示注入2026/10/19
研究:2.17亿网页响应揭示HTTP头提示注入风险2026/10/15
arXiv 论文:TRACER 防御间接提示注入2026/10/15
SRFT:让AI代理从失败经验中学习抵御提示注入2026/10/6