模型
Process Reward Model
一种对推理过程每一步进行评分以指导模型优化的奖励模型,常用于提升复杂推理任务的准确性。
详细解释
传统奖励模型仅对最终结果评分,而过程奖励模型(PRM)对推理链的每一步给出细粒度反馈。它通过人工标注或自动生成的过程数据训练,能缓解奖励稀疏问题,并用于强化学习中的逐步优化或推理时的步骤验证。PRM 在数学推理、代码生成等任务中显著提升模型表现。
别名与相关写法
process reward model
一种对推理过程每一步进行评分以指导模型优化的奖励模型,常用于提升复杂推理任务的准确性。
传统奖励模型仅对最终结果评分,而过程奖励模型(PRM)对推理链的每一步给出细粒度反馈。它通过人工标注或自动生成的过程数据训练,能缓解奖励稀疏问题,并用于强化学习中的逐步优化或推理时的步骤验证。PRM 在数学推理、代码生成等任务中显著提升模型表现。