技术
Safety Evaluation(安全评估)
安全评估是系统检测AI模型潜在有害行为与漏洞的过程,解决部署风险问题,典型如红队测试和基准测试(如SafetyBench),确保模型符合伦理与法规。
详细解释
安全评估涵盖对抗性测试、偏见检测、越狱攻击模拟等,旨在识别模型在生成内容、决策中的不安全倾向。常用方法包括红队演练(人工构造恶意提示)、自动化评估框架(如HELM、TrustGPT)和形式化验证。评估维度涉及毒性、隐私、公平性和鲁棒性。随着大模型发展,动态评估和持续监控成为趋势,但评估标准与覆盖度仍是挑战。
别名与相关写法
safety evaluation
相关术语
相关公司
相关资讯
亚马逊与 AVERI 合作开展 AI 安全评估第三方独立审查2026/10/21
arXiv:开放权重 LLM 非规范输入四态安全评估2026/10/8
arXiv 论文提出组件翻译与评判标注拒答的多语言安全评估2026/10/30