Existential Risk（存在性风险）

存在性风险概念源于对先进人工智能超越人类控制并追求非预期目标的担忧。其技术背景包括正交性论题（目标与智能独立）和工具性趋同（智能体倾向自我保存、资源获取）。代表性工作有Bostrom的《超级智能》、FLI的Asilomar AI原则，以及OpenAI等机构对超级对齐的探索。该风险虽概率低但后果不可逆，推动AI安全研究从伦理扩展到技术治理。