技术
alignment evaluation（对齐评估）
Alignment evaluation 是评估 AI 系统行为与人类价值观、伦理准则及预期目标一致性的过程，旨在检测模型是否产生有害、偏见或欺骗性输出。它解决 AI 安全部署中的对齐风险，典型应用包括红队测试和基准评估，代表工作有 Anthropic 的 HH-RLHF 和 OpenAI 的 Evals。
详细解释
随着大模型能力增强，其输出可能偏离人类意图，如生成有害内容或迎合用户偏见。Alignment evaluation 通过自动化基准（如 TruthfulQA、ToxiGen）和人类评估来量化对齐程度。技术包括对抗测试、偏好建模和可解释性分析。它帮助开发者迭代改进模型，确保符合伦理规范，是 AI 治理的关键环节。
别名与相关写法
alignment evaluation