★ 2
研究提出新 LoRA 初始化方案，稳定非对称学习率训练
论文通过信号-噪声分解定位 LoRA+ 非对称学习率下训练不稳定的来源，即初始化引入的噪声项。提出将 A 矩阵方差按 n^-2 缩放的初始化方案，显著扩大稳定学习率区间，避免高比率下的性能崩塌。
arXiv cs.LG7 天前
#学习率
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
预条件指数转负：学习率耦合与跨环境泛化
论文通过四环境配对分类任务，系统研究自适应优化器中二阶矩估计幂次 p 与全局学习率 η 的交互。发现使跨环境准确率最优的 p 随 log10(η) 近似线性下降，斜率约 -0.27 至 -0.30。研究还揭示源域验证会系统性地选出与最大化环境鲁棒性不同的预条件机制，属单种子有限预算的机理研究。
arXiv cs.LG35 天前
★ 2
选择性同策略蒸馏中的学习率纠缠
论文指出选择性同策略蒸馏文献中共享学习率的对照并不中性：在 GSM8K 上，密集监督对学习率不敏感，而各选择性方案随学习率大幅波动，导致密集与选择性的结论相差可达 2 倍。作者称之为“选择器—学习率纠缠”，并建议报告方案×学习率矩阵而非单列结果。
arXiv cs.LG41 天前
这个主题的相关资产
相关公司阿里巴巴1