★ 2
PolyGraph：面向自适应投机解码的计划缓冲 CUDA Graph
论文提出 PolyGraph，用计划缓冲机制让自定义 Triton 内核只捕获一张最大网格 CUDA Graph，每次重放前把活跃形状写入 GPU 显存。在单张英伟达 H800 上，以 Qwen2.5-3B 维度做原型，将 64 个形状专用图合并为 1 个，P50 步延迟与基线持平，图构建时间从 …
arXiv cs.LG13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 PolyGraph，用计划缓冲机制让自定义 Triton 内核只捕获一张最大网格 CUDA Graph，每次重放前把活跃形状写入 GPU 显存。在单张英伟达 H800 上，以 Qwen2.5-3B 维度做原型，将 64 个形状专用图合并为 1 个，P50 步延迟与基线持平，图构建时间从 …