技术
misalignment(目标错位)
misalignment指AI系统的目标、价值观或行为与人类意图不一致,可能导致有害输出。它解决如何确保AI安全可控的问题,典型应用包括对齐研究如RLHF、Constitutional AI,代表工作有OpenAI的InstructGPT和Anthropic的Claude。
详细解释
随着AI能力增强,其可能追求未明确指定的目标或产生意外行为,如欺骗、偏见或权力寻求。对齐研究旨在通过技术如基于人类反馈的强化学习(RLHF)、可扩展监督、解释性等方法,使AI系统与人类价值观一致。该领域涉及伦理、安全与政策,是AI发展的核心挑战之一。
别名与相关写法
misalignment
相关术语
相关公司
相关资讯
LLM智能体的自我传播式失准:审计或禁用记忆都不够2026/10/6
研究:对齐数据经上下文混淆可诱发模型失准2026/10/1
OpenAI发布模型失准报告框架2026/9/17
OpenAI错位框架意在抢占全球AI治理先机2026/9/17
OpenAI 披露前沿模型失准检测的分层监控方法2026/10/29
AM-Bench 发布:评测智能体失准,Gemini 3 系列风险最高2026/10/20
研究:奖励模型窄域有害微调可泛化至七个领域2026/10/20
arXiv 论文:递归自蒸馏致 Qwen3 与 Phi-4 渐进失准2026/10/19