★ 3
Stiefel-AdamW：面向线性分解块的几何优化器
论文提出 Stiefel-AdamW，针对 LoRA 适配器、低秩压缩层、自注意力 QK 乘积等 W=BA 线性分解块，将其中一个因子约束在 Stiefel 流形上，把完全 GL(r) 规范对称性降为紧正交对称，避免因子爆炸同时保留 AdamW 的逐坐标预条件。在 GPT2、ViT、Mistral…
arXiv cs.LG42 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Stiefel-AdamW，针对 LoRA 适配器、低秩压缩层、自注意力 QK 乘积等 W=BA 线性分解块，将其中一个因子约束在 Stiefel 流形上，把完全 GL(r) 规范对称性降为紧正交对称，避免因子爆炸同时保留 AdamW 的逐坐标预条件。在 GPT2、ViT、Mistral…