技术
CUDA Graph(CUDA 图)
CUDA Graph是NVIDIA推出的GPU任务执行优化技术,将多个内核启动捕获为图,解决频繁启动开销大的问题。典型应用在深度学习训练中,可提升推理和训练效率,代表工作如TensorRT。
详细解释
CUDA Graph通过将一系列GPU操作(如内核启动、内存拷贝)捕获为静态图,一次性提交执行,减少CPU启动开销和延迟。适用于重复性工作负载,如模型推理。技术包括图捕获、实例化和更新。与流相比,能显著提升吞吐量。
别名与相关写法
cuda graph
相关术语
Speculative Decoding共现 1 篇
相关公司
相关资讯
PolyGraph:面向自适应投机解码的计划缓冲 CUDA Graph2026/10/20