Guardrail Model（护栏模型）

Guardrail Model作为AI系统的安全层，实时监控输入输出，识别仇恨、暴力、自残等有害内容。技术实现包括基于规则、微调分类模型或利用LLM本身。代表工作有OpenAI Moderation API、Llama Guard、Perspective API。它们通常与主模型解耦，便于更新策略。挑战在于平衡安全与有用性，避免过度过滤。该领域正发展多模态和低延迟的防护模型。