★ 2
ProLand：无回缩流形优化方法提升 LoRA 微调效率
论文提出 ProLand（Product-space Landing），一种无需每步回缩的优化器，将 LoRA 基因子约束在 Stiefel 流形上以消除冗余方向。它把目标优化与正交性恢复解耦，并结合 Muon 式谱方向。在 DeBERTa-v3-base 的 4 项 GLUE 任务与 Qwen2…
arXiv cs.LG10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 ProLand（Product-space Landing），一种无需每步回缩的优化器，将 LoRA 基因子约束在 Stiefel 流形上以消除冗余方向。它把目标优化与正交性恢复解耦，并结合 Muon 式谱方向。在 DeBERTa-v3-base 的 4 项 GLUE 任务与 Qwen2…