★ 3
算法草稿本与课程分级提升微型Transformer算术推理
论文研究约1060万参数Tiny Transformer在多步算术任务中的机制，发现数据加载填充会造成83%梯度饥饿、语言预训练是必要前提，现代架构组件与稀疏MoE可提升加法推理。引入逐位长除法草稿本与四阶段课程后，单位数除法准确率从4.0%提升至86.7%。
arXiv cs.LG25 天前
#算术推理
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
TBRM-RLOO：贝尔曼一致轨迹强化学习提升LLM算术推理
论文提出贝尔曼一致的轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将稀疏终端奖励转化为密集的token级信号，并结合RLOO组策略降低梯度方差。在Countdown任务上，TBRM-RLOO将Pass@1提升至0.55-0.64，Pass@16达到76.0-84.0%的最优水平，优于SFT…
arXiv cs.LG17 天前