行业
LLM Safety（大模型安全）
LLM Safety指确保大语言模型输出无害、可靠、符合伦理的研究领域，解决模型滥用和有害内容生成问题，典型应用包括内容审核和AI对齐。
详细解释
LLM Safety涵盖对齐（如RLHF）、红队测试、安全过滤和可解释性。目标包括防止生成暴力、歧视、隐私泄露等内容，并抵御越狱攻击。代表性工作有OpenAI的Moderation API、Anthropic的Constitutional AI。该领域结合技术、伦理与政策，是AI治理的核心。
别名与相关写法
llm safety