★ 3
块并行BP：提升长上下文扩散语言模型分布式训练效率
论文针对块扩散语言模型（BDLM）长上下文训练受限于分布式注意力通信与激活显存的问题，提出块并行（BP）及上下文分片块并行（CSBP）新并行维度。在 16 张 H200、256K 上下文下，CSBP 相比最佳基线吞吐提升 1.18-1.45 倍，512K 时全模型加速达 1.61 倍；8 张 H1…
arXiv cs.LG45 天前
#并行计算
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
隐半马尔可夫模型 Viterbi 算法的高性能张量实现
隐半马尔可夫模型的 Viterbi 解码现有实现均为串行，缺乏 GPU 加速方案，难以支撑大规模负载。论文提出张量化的 Viterbi 公式，将内层循环重构为可映射到 SIMD 与大规模并行架构的张量运算，并给出单核、多核 CPU 及首个 GPU 实现。实验显示单核最高加速 14 倍、多核超 20…
arXiv cs.LG47 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1