★ 3
FlashRT-PAI：物理 AI 推理快内核不等于快流水线
论文指出视觉-语言-动作、视频-动作与世界动作模型的实时单批推理瓶颈在系统级开销而非单个内核计算。作者提出 FlashRT-PAI 推理引擎，结合深度内核融合与启动重叠、执行契约、执行状态胶囊三种机制。在 RTX 5090 与 Jetson AGX Thor 上比官方编译路径快 1.3-3.7 倍…
arXiv cs.AI13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出视觉-语言-动作、视频-动作与世界动作模型的实时单批推理瓶颈在系统级开销而非单个内核计算。作者提出 FlashRT-PAI 推理引擎，结合深度内核融合与启动重叠、执行契约、执行状态胶囊三种机制。在 RTX 5090 与 Jetson AGX Thor 上比官方编译路径快 1.3-3.7 倍…