★ 4
DeepSeek 开源昇腾平台基础设施组件
DeepSeek 开源了面向昇腾（Ascend）平台的一批基础设施组件，涵盖 TileLang 算子语言、计算库与分布式通信库。此举意在降低国产算力平台上的大模型训练与推理门槛，推动昇腾生态的软件栈完善。对国内 AI 芯片替代路径与开源社区协作具有实际意义。
InfoQ AI32 天前
#分布式训练
共 14 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LRMoE 系统在显存受限节点上加速 MoE 模型训练
论文提出 LRMoE，一种显存感知的 MoE 训练系统，在反向传播中按 token-专家对更新贡献重新校准负载，并通过容量感知路由与物理压缩减少通信与计算开销。在 Qwen3-30B-A3B 与 GLM4.5-106B-A12B 上，达到固定损失目标的累计 MoE 层训练时间比 SYMI 减少 2…
arXiv cs.AI3 天前
★ 3
Layerwise Repacking：混合注意力变长训练免重分配
论文提出 Layerwise Repacking，在混合注意力模型中保留 SP16/32 父组处理全注意力，将样本重打包进节点内 SP1/2/4/8 稀疏子组，并复用现有 Ulysses 通信点完成头部交换与重打包，避免额外重分配。在 1F3S 混合注意力模型前 200 步的 22 个步骤上，端到…
arXiv cs.LG5 天前
★ 3
研究用 ADMM 实现多智能体系统分布式训练
论文提出首个基于共识交替方向乘子法（ADMM）的分布式多智能体系统训练框架，将协作学习建模为共识约束的有限和优化问题。各智能体交替进行角色本地学习与智能体间共识，通过 ring all-reduce 等协议通信，数据与训练状态保持本地。在存在被攻陷智能体的场景下，HarmBench 攻击成功率最多…
arXiv cs.AI13 天前
★ 3
Echo：4位张量并行通信降低LLM训练推理开销
论文提出 Echo，一种面向张量并行的 4 位 all-reduce 通信方法，通过高精度求和与误差反馈机制控制累积误差，使误差随层数保持有界。在 A100 上比 16 位 NCCL all-reduce 快 2.09 倍，Qwen3-8B 七项基准平均精度与 16 位推理相差 0.4 分以内，且…
arXiv cs.AI19 天前
★ 3
字节跳动 ByteExpress 用 RDMA 加速推理与训练
论文报告字节跳动在参数服务器架构的推理与训练系统中部署 ByteExpress 的经验，这是构建于硬件 RDMA 之上的软件通信层，包含 RDMA 感知分配器、零拷贝传输、QP 复用、接收信用流控与 RPC 辅助恢复。生产推理中模型参数拉取平均与 P99 延迟分别降低 35.7% 和 43.7%，…
arXiv cs.LG21 天前
★ 3
块并行BP：提升长上下文扩散语言模型分布式训练效率
论文针对块扩散语言模型（BDLM）长上下文训练受限于分布式注意力通信与激活显存的问题，提出块并行（BP）及上下文分片块并行（CSBP）新并行维度。在 16 张 H200、256K 上下文下，CSBP 相比最佳基线吞吐提升 1.18-1.45 倍，512K 时全模型加速达 1.61 倍；8 张 H1…
arXiv cs.LG45 天前
★ 3
★ 2
LeMA 分布式框架让十亿参数网络跑精确 Levenberg-Marquardt 训练
论文提出 LeMA，用精确对偶形式消除 LMA 对参数维度的内存依赖，并通过 Jacobian 分片并行计算避免物化完整雅可比矩阵。在 8 卡节点上训练 10 亿参数卷积网络，相比单卡实现 7.97 倍加速、99.7% 强扩展效率，无需近似 PCG 求解。
arXiv cs.LG14 天前
★ 2
研究揭示分布式训练中外层 Nesterov 动量的稳定性条件
论文分析多 worker 本地多步更新后由外层优化器施加 Nesterov 动量的训练动力学，在随机二次目标上给出精确的均方稳定性判据。结果显示内层批大小决定本地步数增加是稳定还是失稳，且所需 worker 数可能随本地步数指数增长。
arXiv cs.LG14 天前
★ 2
arXiv 论文：内层优化器如何影响副本扩展性能
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…
arXiv cs.LG18 天前
★ 2
Homa：面向 AI 集群的 TCP 终结者
一段技术演讲视频介绍了 Homa 传输协议，主张其可取代 TCP 用于 AI 训练集群。随着大规模分布式训练对网络延迟和吞吐要求提升，传统 TCP 逐渐成为瓶颈。Homa 针对数据中心场景优化，可能影响未来 AI 集群网络架构选型。
Hacker News – AI36 天前
★ 2
WFM：面向复杂智能体推理的维基基础模型
论文提出 WFM（Wiki Foundation Model），用「LLM Wiki」这种智能体原生知识表示替代传统稀疏图，将稠密文档上下文与多层拓扑链接结合。方法包含 Wiki Graph 模式、查询条件注意力聚合，以及基于 NCCL 的边界交换协议以绕过 CPU 序列化开销。在五个长期记忆与多…
arXiv cs.AI46 天前
★ 2
高阶正则化改进联邦学习
论文指出 FedProx 的二次正则随位移线性增长，难以控制客户端位移差异。作者提出 HiFedProx，用尺度匹配的幂型正则（p≥2）替代二次惩罚，在参考位移处保持相同梯度幅度，但放大差异压缩效果。在 FEMNIST 五种子实验中，p=6 与 p=7 在严重压力下分别较 p=2 提升 23.16…
arXiv cs.LG53 天前