技术
Constitutional AI
一种训练AI遵循人类价值观的方法,通过一套原则让模型自我修正,减少有害输出。
详细解释
Constitutional AI 由 Anthropic 提出,先让模型根据书面原则(宪法)自我批评和修订回答,再用强化学习从人类反馈中学习。它减少了对人工标注的依赖,使模型更安全、诚实,是对齐研究的重要方向。
别名与相关写法
constitutional ai
一种训练AI遵循人类价值观的方法,通过一套原则让模型自我修正,减少有害输出。
Constitutional AI 由 Anthropic 提出,先让模型根据书面原则(宪法)自我批评和修订回答,再用强化学习从人类反馈中学习。它减少了对人工标注的依赖,使模型更安全、诚实,是对齐研究的重要方向。