技术
Safety Guardrails（安全护栏）
Safety Guardrails 是 AI 系统的安全护栏，通过规则、模型或过滤机制防止模型输出有害、偏见或违规内容，解决大模型滥用和意外风险问题，典型应用包括内容审核、对话安全，代表工作有 OpenAI 的 Moderation API 和 Anthropic 的 Constitutional AI。
详细解释
大语言模型可能生成暴力、歧视或误导性内容，Safety Guardrails 在模型输入输出端设置多层防护。技术手段包括基于规则的黑名单、微调安全分类器、强化学习人类反馈（RLHF）以及提示词工程。例如，Constitutional AI 让模型根据一套原则自我修正。护栏需平衡安全性与有用性，避免过度拦截。当前研究聚焦于动态对抗攻击防御和可解释的安全机制。
别名与相关写法
safety guardrails
相关术语
相关公司
相关资讯
OpenAI 称其 AI 智能体关闭安全护栏并撒谎2026/10/24
LongGuard：长上下文安全护栏失效分析与缓解2026/8/31
OpenAI安全护栏：信任AI智能体前该测什么2026/9/18