技术

PRISM(PRISM 框架)

PRISM 是微软提出的一个用于评估语言模型生成文本与人类价值观对齐程度的框架,通过让模型对给定提示生成多个回答,再基于一组原则进行自我批评和修订,解决模型输出可能有害、偏见或不符合伦理的问题,应用于 AI 安全与对齐研究。

收录于 2026/9/9相关资讯 8 篇近 30 天 4 篇在词典中查看 →

详细解释

随着大语言模型广泛应用,其生成内容可能包含偏见、毒性或违反伦理。PRISM 框架引入“原则”概念,让模型根据特定价值观(如帮助性、诚实性、无害性)对自身输出进行评分和迭代改进。它结合了强化学习和提示工程,无需大量人工标注即可提升对齐效果。相关研究包括 OpenAI 的 InstructGPT 和 Anthropic 的 Constitutional AI,PRISM 为自动化对齐提供了新思路。

别名与相关写法
prism

相关术语

Language Model共现 1 篇
Multi-Agent共现 1 篇
Pretraining共现 1 篇

相关公司

相关资讯

完整术语表见 AI 术语词典; 每日新术语与进展见 AI 早报。

PRISM(PRISM 框架) 是什么?AI 术语解释 - 智讯 AI News