★ 4
更多GPU还是更小缓存？张量并行与KV压缩对比
研究将张量并行和KV压缩配置放在同一成本轴上比较，发现压缩在成本上便宜1.2到2倍，而张量并行是改善延迟的唯一杠杆。模型大小与设备内存的边界约在36B参数，低于此压缩占优，高于此张量并行成为必需。
arXiv cs.AI68 天前
#LLM服务
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
RaReCache：跨模型 KV 缓存复用选择性重算
论文提出 RaReCache 框架，通过基于秩不一致度的选择性重算，让大模型能准确解码由小模型预填充的 KV 缓存。在 Qwen3-0.6B 到 14B 的 23 倍参数差下，仅重算 30% 位置即可保留 95-99% 精度，并实现最高 3.04 倍预填充加速与显著降低首 token 延迟。
arXiv cs.AI24 天前
★ 3
AutoTuneBench：LLM 服务引擎自动调优的可信度量
论文指出 LLM 智能体调优 GPU 内核与服务引擎的闭环测量不可信，归纳出稻草人基线、绝对时间不可迁移、任务饱和、基础设施缺陷四类失败模式。作者提出 AutoTuneBench 基准与测量协议，通过代码冻结、数据库校验、反作弊与预注册读数使可信度架构化。诚实测量大幅改写结论：最佳内核相对朴素基线…
arXiv cs.AI46 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1