★ 3
研究提出 leverage 指标量化权重更新对模型行为的实际影响
论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。
arXiv cs.LG3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。