#显存带宽

视频解析 LLM 推理：13B 模型每 token 读取 26GB

一则技术视频以可视化方式解释大模型推理过程，说明 13B 参数模型为何每生成一个 token 需读取约 26GB 数据，涉及显存带宽与内存瓶颈问题。