★ 3
LASER:潜空间伴随匹配的离线强化学习
论文提出LASER,一种离线强化学习算法,通过潜空间伴随匹配实现熵正则化的潜空间RL,避免时间反向传播。在40个OGBench任务上,LASER使用固定超参数即达到最优性能,超越需任务与数据集特定调优的基线方法。
arXiv cs.LG25 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出LASER,一种离线强化学习算法,通过潜空间伴随匹配实现熵正则化的潜空间RL,避免时间反向传播。在40个OGBench任务上,LASER使用固定超参数即达到最优性能,超越需任务与数据集特定调优的基线方法。
论文指出,在数学推理、代码生成等存在多个正确答案的可验证任务中,用交叉熵模仿单一专家解可能与验证器风险不一致。作者提出熵正则化交叉熵(ER-CE),以 token 级香农熵作为可控代理来约束策略支撑集。实验表明该方法在数学推理与代码生成基准上稳定提升验证器准确率。