#低秩训练

Ori 低秩优化器：流式 k-PCA 追踪梯度子空间

论文提出 Ori，一种面向大模型训练的低秩优化器，用受 Oja++ 启发的流式 k-PCA 算法高频追踪梯度主方向漂移。在 1B LLaMA 预训练上把低秩与全秩优化器的性能差距缩小最多 69.3%，并在 Roberta-Base 微调的 16 个任务场景中 10 个取得最佳。