★ 3
自适应专家分配实现 CPU-GPU 协同 MoE 推理，预填充提速 51.9%
研究提出一种 CPU-GPU 协同的 MoE 推理系统，将 GPU 未命中的专家按 token 负载自适应分配到 CPU 或 GPU 执行，并动态平衡两条执行路径的完成时间。在三个代表性 MoE 大模型上，预填充速度最高提升 51.9%，解码吞吐提升 39.5%。
arXiv cs.AI13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出一种 CPU-GPU 协同的 MoE 推理系统，将 GPU 未命中的专家按 token 负载自适应分配到 CPU 或 GPU 执行，并动态平衡两条执行路径的完成时间。在三个代表性 MoE 大模型上，预填充速度最高提升 51.9%，解码吞吐提升 39.5%。