★ 2
冲突监督改变模型约定而非能力
论文研究同一批问题在两种互不兼容但都正确的约定下训练时，数据顺序对参数的影响。作者证明学习率调度与数据排列是两个独立相乘因子，衰减调度会抑制顺序效应。实验显示恒定学习率下顺序效应达12.29σ，但在与约定无关的指标下该效应恰好为零——模型只是改变了所承诺的约定，而非能力。
arXiv cs.AI31 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究同一批问题在两种互不兼容但都正确的约定下训练时，数据顺序对参数的影响。作者证明学习率调度与数据排列是两个独立相乘因子，衰减调度会抑制顺序效应。实验显示恒定学习率下顺序效应达12.29σ，但在与约定无关的指标下该效应恰好为零——模型只是改变了所承诺的约定，而非能力。
论文指出LLM预训练通常返回原始最终迭代，耦合了学习率调度与模型估计器两个设计选择。作者提出终端收缩平均（TSA），在原始最终迭代与近期检查点平均之间插值，平衡近期进展与终端方差。实验显示该组合在NanoChat上提升验证质量，并加速了达到GPT-2水平的时间。