#Nyström近似

Clean优化器：线性内存实现二阶LLM训练

研究者提出Clean优化器，利用随机Nyström方法近似SOAP中的左右预条件子，将优化器内存复杂度从模型维度的二次方降至线性。其低精度变体Q-Clean在预训练LLaMA-1.3B时比Muon减少超50%优化器内存，且以比AdamW更小的状态占用在26%更短墙钟时间内达到同等性能。该方法还首次…