★ 3
ISO-LoRA：各向同性曲率下联合切空间优化的秩高效微调
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…
arXiv cs.LG49 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…