技术
Safety Alignment(安全对齐)
安全对齐是确保AI系统行为符合人类价值观和伦理规范的技术,解决模型可能产生有害、偏见或欺骗性输出的问题。它通过微调、强化学习等方法使模型拒绝有害请求,典型应用包括OpenAI的RLHF和Anthropic的Constitutional AI。
详细解释
安全对齐旨在将模型目标与人类意图对齐,防止滥用。主要方法包括基于人类反馈的强化学习(RLHF)、基于AI反馈的强化学习(RLAIF)和规则约束。挑战在于对齐税(性能下降)、价值多元性和对抗性攻击。随着AI能力提升,安全对齐成为AI治理的关键,涉及技术、政策和伦理多维度。
别名与相关写法
safety alignment
相关术语
相关资讯
研究提出DSAR指标衡量大型推理模型的欺骗性安全对齐2026/9/30