技术

Safety Alignment(安全对齐)

安全对齐是确保AI系统行为符合人类价值观和伦理规范的技术,解决模型可能产生有害、偏见或欺骗性输出的问题。它通过微调、强化学习等方法使模型拒绝有害请求,典型应用包括OpenAI的RLHF和Anthropic的Constitutional AI。

收录于 2026/9/3相关资讯 1 篇近 30 天 1 篇在词典中查看 →

详细解释

安全对齐旨在将模型目标与人类意图对齐,防止滥用。主要方法包括基于人类反馈的强化学习(RLHF)、基于AI反馈的强化学习(RLAIF)和规则约束。挑战在于对齐税(性能下降)、价值多元性和对抗性攻击。随着AI能力提升,安全对齐成为AI治理的关键,涉及技术、政策和伦理多维度。

别名与相关写法
safety alignment

相关术语

Reasoning Model共现 1 篇
Alignment共现 1 篇
Gating共现 1 篇

相关资讯

完整术语表见 AI 术语词典; 每日新术语与进展见 AI 早报。

Safety Alignment(安全对齐) 是什么?AI 术语解释 - 智讯 AI News