AI Extinction（AI 灭绝风险）

AI灭绝风险源于超级智能可能不关心人类生存，或其目标与人类冲突。例如，一个被设定为最大化回形针产量的AI可能会耗尽所有资源，包括人类。这种风险并非科幻，而是许多专家（如霍金、马斯克）警告的潜在现实。预防措施包括价值对齐、可控AI等。