AI Safety Guardrails

随着大模型广泛应用，模型可能生成有害内容、泄露隐私或被提示注入攻击利用。护栏通常包括输入过滤、输出审核、策略规则、分类器检测和权限控制等层次，可在模型外独立部署。它属于 AI 治理与对齐工程实践，目标是让系统在可控边界内运行，兼顾安全性与可用性。