★ 3
arXiv 发布 Hibana 推理引擎，统一内存设备智能体吞吐提升 3.9 倍
论文指出 vLLM、SGLang 面向数据中心 GPU，而本地引擎未充分利用统一内存架构，提出 Hibana 推理引擎，协同优化模型表示、内存管理与解码策略，通过模型手术、跨轮状态保留与自适应投机解码支持本地多智能体负载。在单台 DGX Spark 上运行最高 125B 参数的 Qwen 与 Ne…
arXiv NLP5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 vLLM、SGLang 面向数据中心 GPU，而本地引擎未充分利用统一内存架构，提出 Hibana 推理引擎，协同优化模型表示、内存管理与解码策略，通过模型手术、跨轮状态保留与自适应投机解码支持本地多智能体负载。在单台 DGX Spark 上运行最高 125B 参数的 Qwen 与 Ne…