行业
AI safety（AI 安全）
AI safety是研究如何确保人工智能系统安全、可靠、符合人类价值观的跨学科领域，旨在防止AI产生意外危害或被恶意利用。它解决AI对齐、鲁棒性、可解释性等问题，典型工作包括OpenAI的对齐研究、DeepMind的安全团队。
详细解释
随着AI能力提升，其潜在风险如偏见、滥用、失控引发关注。AI safety涵盖技术层面（如对抗攻击防御、价值对齐、可解释性）和治理层面（政策、伦理）。核心挑战是让AI系统理解并遵循人类意图，即使在新场景下也不产生有害行为。代表性方法包括RLHF、 Constitutional AI、可扩展监督。该领域与AI伦理、政策紧密相关，是AI可持续发展的关键。
别名与相关写法
ai safety
相关术语
相关公司
相关资讯
Anthropic 推动AI安全法案：致死超50人才可封禁模型2026/10/21
Anthropic 提议 AI 安全法案设 10 亿美元与 50 人死亡门槛2026/10/19
智谱 GLM-5.3 引发研究者担忧可伪造 AI 安全测试2026/10/16
OpenAI 坚持解雇三名 AI 安全研究员2026/10/9
OpenAI安全负责人离职，称公司文化已崩坏2026/10/4
OpenAI 安全员工辞职称文化崩坏2026/10/4
OpenAI安全员工辞职并发出警告2026/10/3
特朗普AI安全协议细节曝光：科技巨头自我监管2026/9/30