技术
Prefetching(预取)
预取是一种提前将数据或指令从慢速存储加载到快速缓存的技术,以减少等待时间,提升系统性能。
详细解释
预取技术源于计算机体系结构,通过预测程序即将访问的数据,提前从内存或磁盘加载到缓存,从而隐藏访问延迟。在AI领域,预取常用于加速模型训练和推理,例如在GPU计算中预取下一批数据,或预取模型参数到显存。现代AI框架如TensorFlow和PyTorch都内置了数据预取机制,通过重叠数据加载与计算来提高吞吐量。
别名与相关写法
prefetching
相关术语
KV Cache Compression共现 1 篇
power sampling共现 1 篇
相关公司
相关资讯
KVFetch 提出 KV 缓存时序预取压缩框架2026/10/8
PreSTO:预测式子树叶预取加速 LLM 幂采样2026/10/12