★ 3
KLPO：面向LLM智能体的KL正则化策略优化
论文提出KL-Regularized Policy Optimization（KLPO），将KL正则项锚定在采样器端，使正则化改进步骤具有闭式Gibbs解，并通过最小二乘拟合对数比最优条件，无需重要性权重。该方法实现无critic更新，每个prompt只需一次rollout，且SPPO、GPO、R…
arXiv cs.LG25 天前
#KL正则化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
贪心采样实现无 Eluder 维依赖的上下文老虎机
论文研究 KL 正则化上下文老虎机在奖励与偏好反馈下的表现，证明贪心采样可获得对数遗憾且不显式依赖 eluder 维。研究还揭示贪心采样与置信上界式探索之间的权衡：KL 正则化越强，贪心采样优势越明显。
arXiv cs.LG48 天前