Rogue AI（失控 AI）

Rogue AI概念源于对AI技术失控的恐惧，在AI安全领域特指因目标错位、奖励黑客或恶意使用而采取有害行动的AI。技术背景包括AI对齐失败、权力寻求、欺骗性对齐等。虽然目前尚未出现真正的Rogue AI，但研究如OpenAI的超级对齐项目旨在防止未来出现。该术语也用于讨论AI监管和伦理，强调需要建立控制机制和紧急关闭开关。