★ 3
HyScale 长上下文训练系统：GLM-5.1 百万 token 训练提速 2.07 倍
论文提出面向学习型稀疏注意力的长上下文训练系统 HyScale，核心洞察是选择输出是指标集合而非激活，据此设计 HyTopK 与选择重放，避免物化完整分数表并复用前向选择。在 512 张 H20 上使 GLM-5.1 的百万 token 序列训练较 Megatron-LM 提速 2.07 倍，并加…
arXiv cs.AI7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出面向学习型稀疏注意力的长上下文训练系统 HyScale，核心洞察是选择输出是指标集合而非激活，据此设计 HyTopK 与选择重放，避免物化完整分数表并复用前向选择。在 512 张 H20 上使 GLM-5.1 的百万 token 序列训练较 Megatron-LM 提速 2.07 倍，并加…