技术
context poisoning（上下文投毒）
上下文投毒（context poisoning）是指攻击者通过向AI系统的上下文（如提示或检索数据）中注入恶意内容，诱导模型产生错误或有害输出，旨在破坏模型行为。典型应用包括对抗性攻击和越狱，代表研究有提示注入攻击。
详细解释
上下文投毒利用模型对输入上下文的依赖，攻击者可在用户输入、检索文档或训练数据中植入误导信息。例如，在检索增强生成（RAG）中，污染知识库可使模型输出错误答案。防御方法包括输入过滤、上下文验证和鲁棒训练。该问题凸显了AI安全的重要性，尤其是在开放环境中部署的模型。
别名与相关写法
context poisoning