★ 3
KLPO：面向LLM智能体的KL正则化策略优化
论文提出KL-Regularized Policy Optimization（KLPO），将KL正则项锚定在采样器端，使正则化改进步骤具有闭式Gibbs解，并通过最小二乘拟合对数比最优条件，无需重要性权重。该方法实现无critic更新，每个prompt只需一次rollout，且SPPO、GPO、R…
arXiv cs.LG25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出KL-Regularized Policy Optimization（KLPO），将KL正则项锚定在采样器端，使正则化改进步骤具有闭式Gibbs解，并通过最小二乘拟合对数比最优条件，无需重要性权重。该方法实现无critic更新，每个prompt只需一次rollout，且SPPO、GPO、R…