★ 3
Edge0：从 SSD 流式服务 35B MoE 模型
论文指出消费级硬件上 MoE 推理受权重内存限制，朴素 SSD 卸载无法提前预读专家。作者提出 Edge0 流式推理引擎，用 prerouter 提前一个 token 预测下一层路由并直接作为路由使用，配合恢复 LoRA 弥补量化损失。单台 24GB 机器可在 3GiB 峰值内存下以 20tok/…
arXiv cs.AI46 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出消费级硬件上 MoE 推理受权重内存限制，朴素 SSD 卸载无法提前预读专家。作者提出 Edge0 流式推理引擎，用 prerouter 提前一个 token 预测下一层路由并直接作为路由使用，配合恢复 LoRA 弥补量化损失。单台 24GB 机器可在 3GiB 峰值内存下以 20tok/…