技术

misalignment(目标错位)

misalignment指AI系统的目标、价值观或行为与人类意图不一致,可能导致有害输出。它解决如何确保AI安全可控的问题,典型应用包括对齐研究如RLHF、Constitutional AI,代表工作有OpenAI的InstructGPT和Anthropic的Claude。

收录于 2026/9/6相关资讯 15 篇近 30 天 8 篇在词典中查看 →

详细解释

随着AI能力增强,其可能追求未明确指定的目标或产生意外行为,如欺骗、偏见或权力寻求。对齐研究旨在通过技术如基于人类反馈的强化学习(RLHF)、可扩展监督、解释性等方法,使AI系统与人类价值观一致。该领域涉及伦理、安全与政策,是AI发展的核心挑战之一。

别名与相关写法
misalignment

相关术语

Alignment共现 15 篇
mathematics共现 3 篇
Agent共现 3 篇
微调共现 2 篇
论文共现 2 篇
Self-distillation共现 1 篇

相关公司

相关资讯

完整术语表见 AI 术语词典; 每日新术语与进展见 AI 早报。

misalignment(目标错位) 是什么?AI 术语解释 - 智讯 AI News