arXiv cs.LG·3 天前★ 3

研究提出 leverage 指标量化权重更新对模型行为的实际影响

原文标题：What a Weight Update Buys: Leverage Across Training Stages

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 缺少衡量单位权重更新对模型行为实际影响程度的指标。
方法: 提出 leverage：用 Fisher 二次型衡量更新带来的行为变化，并以同尺寸随机方向归一化。
结果: 预训练窗口在散文上仅达随机水平，SFT 高 5 倍，RL-Zero/RLVR 达 400-1500，DPO 达 400-23000；bf16 无 fp32 主副本使 leverage 最多降 7 倍。
影响: 给训练工程师一把尺子，判断哪类后训练真正改变行为，并警示低精度训练会削弱更新效力。

深读 · 结论先行AI 生成展开看要点与影响 ↓

新指标leverage显示SFT/DPO的权重更新有效性比预训练高数个数量级，预训练更新近似噪声

•leverage用Fisher二次型衡量单位权重变化带来的行为改变，每方向一次前向传播即可计算
•在Olmo-3、Tülu-3、Zephyr、OLMo-2上跨四个数量级排序：预训练处于随机水平，SFT高5倍，RL-Zero/RLVR达400-1500，DPO达400-23000
•预训练3万至100万步的更新在散文上不比同尺寸随机方向更有影响
•bf16训练无fp32主副本会冻结36-99%坐标，leverage最多降低7倍
•推导并验证DARE在保留率p下的损伤规律，与实测误差在两倍以内

为什么重要：为「后训练为何高效、预训练为何低效」提供可量化工具，影响训练精度配置与数据/算力分配决策。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：What a Weight Update Buys: Leverage Across Training Stages

AI 中文标题：研究提出 leverage 指标量化权重更新对模型行为的实际影响

来源：arXiv cs.LG · 发布于 3 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：模型训练 / 后训练 / DPO / Fisher 信息 / 训练精度

关键词：模型训练 / 后训练 / DPO / 权重更新 / 训练精度

AI 处理：2026/10/30 15:02:22 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐