★ 3
Split-KV：训练扩散草稿模型的高效上下文并行方法
论文观察到扩散草稿模型的接受长度在固定查询预算下随上下文扩展保持稳定，而查询远短于上下文，据此提出精确上下文并行方法 Split-KV，将每层注意力通信限制在查询规模张量上，使通信与上下文长度无关。在 CP 规模 64 时保持 85%–91% 弱扩展效率，比最快基线提速最高 3.67 倍，代码已开…
arXiv cs.AI6 小时前
#上下文并行
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文观察到扩散草稿模型的接受长度在固定查询预算下随上下文扩展保持稳定，而查询远短于上下文，据此提出精确上下文并行方法 Split-KV，将每层注意力通信限制在查询规模张量上，使通信与上下文长度无关。在 CP 规模 64 时保持 85%–91% 弱扩展效率，比最快基线提速最高 3.67 倍，代码已开…