技术
PRISM(PRISM 框架)
PRISM 是微软提出的一个用于评估语言模型生成文本与人类价值观对齐程度的框架,通过让模型对给定提示生成多个回答,再基于一组原则进行自我批评和修订,解决模型输出可能有害、偏见或不符合伦理的问题,应用于 AI 安全与对齐研究。
详细解释
随着大语言模型广泛应用,其生成内容可能包含偏见、毒性或违反伦理。PRISM 框架引入“原则”概念,让模型根据特定价值观(如帮助性、诚实性、无害性)对自身输出进行评分和迭代改进。它结合了强化学习和提示工程,无需大量人工标注即可提升对齐效果。相关研究包括 OpenAI 的 InstructGPT 和 Anthropic 的 Constitutional AI,PRISM 为自动化对齐提供了新思路。
别名与相关写法
prism
相关术语
相关公司
相关资讯
arXiv 提出 PRISM 训练框架提升 LLM 采样多样性2026/10/26
StartLux 开源决策模型推理引擎 Prism,单卡最高提速 5.3 倍2026/10/23
PRISM:工具调用模型激活干预的迁移研究2026/10/16
PrismML发布三值Bonsai 2 27B模型2026/9/19
PRISM 框架用稀疏 MoE 路由改进城市多视图表征学习2026/10/26
PRISM:特权兄弟引导的多智能体拓扑设计2026/10/16
GlucoPRISM:跨队列血糖迁移的协议监督预训练2026/10/12
PrismML将小型LLM带入高通智能眼镜2026/9/25