★ 3
AMD 推出 ROCm InferaSim，预测 LLM 服务性能降低调优成本
AMD 提出 ROCm InferaSim，通过少量短测量（锚点）结合解析规律预测 LLM 服务性能，避免穷举测试约 2.5 万 GPU 小时的代价。在 MI355X GPU 上配合 vLLM、SGLang、ATOM，11 个锚点仅耗 9.1 GPU 小时即覆盖 226 种配置，吞吐误差在 5.5…
arXiv cs.AI14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
AMD 提出 ROCm InferaSim，通过少量短测量（锚点）结合解析规律预测 LLM 服务性能，避免穷举测试约 2.5 万 GPU 小时的代价。在 MI355X GPU 上配合 vLLM、SGLang、ATOM，11 个锚点仅耗 9.1 GPU 小时即覆盖 226 种配置，吞吐误差在 5.5…