★ 4
更多GPU还是更小缓存？张量并行与KV压缩对比
研究将张量并行和KV压缩配置放在同一成本轴上比较，发现压缩在成本上便宜1.2到2倍，而张量并行是改善延迟的唯一杠杆。模型大小与设备内存的边界约在36B参数，低于此压缩占优，高于此张量并行成为必需。
arXiv cs.AI68 天前
#张量并行
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Echo：4位张量并行通信降低LLM训练推理开销
论文提出 Echo，一种面向张量并行的 4 位 all-reduce 通信方法，通过高精度求和与误差反馈机制控制累积误差，使误差随层数保持有界。在 A100 上比 16 位 NCCL all-reduce 快 2.09 倍，Qwen3-8B 七项基准平均精度与 16 位推理相差 0.4 分以内，且…
arXiv cs.AI19 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1