★ 3
GIFT：用梯度信息过滤蒸馏信号增强推理强化学习
论文提出 GIFT 方法，通过 token 级几何分析将蒸馏梯度分解为与 RL 梯度平行（冲突）和正交（新指导）两部分，据此对教师模型的蒸馏更新排序筛选。配合渐进式覆盖退火调度，逐步从稠密蒸馏过渡到纯结果驱动目标。在数学与逻辑推理基准上相对提升最高 9.5%。
arXiv cs.LG10 天前
#梯度分析
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文：多数投票奖励为何能逼近可验证 RL
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…
arXiv cs.LG17 天前
★ 2
arXiv 论文量化循环 Transformer 截断反向传播丢失的梯度
论文在 9 个循环语言模型上精确测量了只对最后 k 次循环反向传播所丢弃的权重梯度。发现训练好的模型中丢失梯度主要由输出附近决定，循环数远超 k 后几乎不随循环数变化；微调过程中丢失梯度还会下降 0.07-0.22。作者未能证明该指标比无需测量的规则更能预测截断训练成本。
arXiv cs.LG11 天前