★ 3
候选生成策略影响 LLM 测试时扩展的能耗与性能
论文指出测试时扩展中候选数量 N 无法描述候选如何被执行，相同预算可来自一次批处理或多次串行调用。在固定 N=8 下比较 1x8、2x4、4x2、8x1 四种调度，A100 上八次串行调用的 GPU 能耗为单次批处理的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。结论是评估应同…
arXiv cs.LG45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出测试时扩展中候选数量 N 无法描述候选如何被执行，相同预算可来自一次批处理或多次串行调用。在固定 N=8 下比较 1x8、2x4、4x2、8x1 四种调度，A100 上八次串行调用的 GPU 能耗为单次批处理的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。结论是评估应同…