★ 3
熵正则化：面向可验证演示的交叉熵免费修正
论文指出，在数学推理、代码生成等存在多个正确答案的可验证任务中，用交叉熵模仿单一专家解可能与验证器风险不一致。作者提出熵正则化交叉熵（ER-CE），以 token 级香农熵作为可控代理来约束策略支撑集。实验表明该方法在数学推理与代码生成基准上稳定提升验证器准确率。
arXiv cs.LG35 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出，在数学推理、代码生成等存在多个正确答案的可验证任务中，用交叉熵模仿单一专家解可能与验证器风险不一致。作者提出熵正则化交叉熵（ER-CE），以 token 级香农熵作为可控代理来约束策略支撑集。实验表明该方法在数学推理与代码生成基准上稳定提升验证器准确率。
论文用 Hypothesis 属性测试复现了 Barron 等人指出的 PyTorch、JAX 等主流库中 softmax 与交叉熵的数值问题，并额外发现一个边界失败案例。作者提出更稳健的 softmax 实现，支持因果注意力掩码，并开源了代码与测试。