技术
Scalable Oversight
研究在人类难以直接评估的复杂任务上,如何仍能有效监督和引导 AI 系统的方法。
详细解释
当模型能力超越人类审查范围(如长文推理、复杂代码),传统人工监督失效。可扩展监督探索用 AI 辅助人类评估、分解任务、辩论、递归奖励建模等方案,让监督能力随模型能力同步扩展,是确保超人类系统安全可控的核心研究方向之一。
别名与相关写法
scalable oversight
研究在人类难以直接评估的复杂任务上,如何仍能有效监督和引导 AI 系统的方法。
当模型能力超越人类审查范围(如长文推理、复杂代码),传统人工监督失效。可扩展监督探索用 AI 辅助人类评估、分解任务、辩论、递归奖励建模等方案,让监督能力随模型能力同步扩展,是确保超人类系统安全可控的核心研究方向之一。