★ 2
研究提出新 LoRA 初始化方案，稳定非对称学习率训练
论文通过信号-噪声分解定位 LoRA+ 非对称学习率下训练不稳定的来源，即初始化引入的噪声项。提出将 A 矩阵方差按 n^-2 缩放的初始化方案，显著扩大稳定学习率区间，避免高比率下的性能崩塌。
arXiv cs.LG7 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文通过信号-噪声分解定位 LoRA+ 非对称学习率下训练不稳定的来源，即初始化引入的噪声项。提出将 A 矩阵方差按 n^-2 缩放的初始化方案，显著扩大稳定学习率区间，避免高比率下的性能崩塌。
该论文研究从预训练模型出发继续训练时，大尺度初始化如何影响后续训练轨迹。作者对严格线性可分数据上的全批量逻辑回归梯度下降轨迹做几何逼近，构造出由有限线性段组成的唯一连续理想路径，分为负间隔修正与最小间隔增长两个阶段。研究证明经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会一致收敛到该路径，…