#正交约束

研究实证正交约束对LLM预训练无增益，仅球面优化有效

论文在360M至3.1B参数、近200B令牌的预训练中系统检验14种正交训练变体，发现块大小d>1均不能稳定优于d=1，而d=1即退化为球面优化，本身已优于调优的Muon。作者复查五项此前报告正交增益的方法，认为增益来自数值精度、训练时长、优化器实现或逐行范数控制。