★ 3
候选生成策略影响 LLM 测试时扩展的能耗与性能
论文指出测试时扩展中候选数量 N 无法描述候选如何被执行，相同预算可来自一次批处理或多次串行调用。在固定 N=8 下比较 1x8、2x4、4x2、8x1 四种调度，A100 上八次串行调用的 GPU 能耗为单次批处理的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。结论是评估应同…
arXiv cs.LG44 天前
#批处理
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ASPIRE：面向长上下文LLM推理的异步批处理自推测解码
论文提出ASPIRE，一种非同步批处理自推测解码框架，解决现有批处理方法中所有请求共享统一草稿-验证调度的问题。其三大组件包括统一混合前向、在线推测调度器与草稿内刷新层。在三个模型、五个推理与长上下文基准上，解码吞吐较自回归基线提速1.70至4.58倍，较最强先前自推测基线平均提速约27%。
arXiv cs.LG45 天前
★ 3
掩码扩散LLM服务：真实硬件特征与设计原则
该研究首次在真实并发服务负载下刻画掩码扩散语言模型（dLLM）的服务行为，使用LLaDA-8B-Instruct和D2F LoRA适配器在单个NVIDIA H200 GPU上评估。研究发现请求难度是离散的（11个固定步数级别），短生成预算低估服务方差，且仅24%的单请求墙钟时间为GPU计算，其余为…
arXiv cs.AI67 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1