★ 3
ISO-LoRA：各向同性曲率下联合切空间优化的秩高效微调
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…
arXiv cs.LG49 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…
论文研究基于梯度的训练能否学到存储与组合关联所需的矩阵秩。实验在 K 组键值绑定上训练矩阵记忆，精确线性恢复要求秩不低于 K。结果显示学习到的有效秩随 K 增长，训练期秩上限会在 k=K 附近产生恢复相变，五个种子中四个在 21 次自应用后仍保持 0.9996 以上恢复率。研究同时发现矩阵维度增大…