★ 2
arXiv 提出历史重参数化策略梯度降低方差
论文指出自回归序列模型的策略梯度固定条件历史，丢弃早期决策对后续分布的影响，造成稀疏奖励下的信用分配瓶颈。作者提出历史重参数化（HR）策略梯度，并推导最优 HR（OHR）中心化控制变量估计器。实验显示嵌入级松弛可随序列长度显著降方差，并在 TSP 等任务上验证。
arXiv cs.LG13 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出自回归序列模型的策略梯度固定条件历史，丢弃早期决策对后续分布的影响，造成稀疏奖励下的信用分配瓶颈。作者提出历史重参数化（HR）策略梯度，并推导最优 HR（OHR）中心化控制变量估计器。实验显示嵌入级松弛可随序列长度显著降方差，并在 TSP 等任务上验证。
一篇 arXiv 论文提出利用采样过程中自然产生的下一 Token 条件概率，通过「势函数」分解测试泛函，从而更高效地估计自回归语言模型下的期望值。作者推导了势函数降低估计方差的条件，并在多个估计量上展示了显著方差下降。该方法有望降低语言模型评估与推理中的计算成本。