#扩展性

千万亿参数 Transformer 的训练方法探讨

一篇技术文章讨论千万亿（quadrillion）参数规模 Transformer 的训练可行性与方法，涉及超大规模模型的并行、显存与通信挑战。属于前沿模型扩展性的技术探讨。