★ 3
Echo：4位张量并行通信降低LLM训练推理开销
论文提出 Echo，一种面向张量并行的 4 位 all-reduce 通信方法，通过高精度求和与误差反馈机制控制累积误差，使误差随层数保持有界。在 A100 上比 16 位 NCCL all-reduce 快 2.09 倍，Qwen3-8B 七项基准平均精度与 16 位推理相差 0.4 分以内，且…
arXiv cs.AI19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Echo，一种面向张量并行的 4 位 all-reduce 通信方法，通过高精度求和与误差反馈机制控制累积误差，使误差随层数保持有界。在 A100 上比 16 位 NCCL all-reduce 快 2.09 倍，Qwen3-8B 七项基准平均精度与 16 位推理相差 0.4 分以内，且…