★ 2
BlockLock 提出固定批次几何的可复现 LLM 推理方法
论文提出 BlockLock，仅固定受保护请求的数值路径，保留共享批量预填充，实现批次内其他请求变化时目标请求输出逐位一致。在 Qwen3、Llama-3.1、Gemma-3 等五个模型与 A6000/A100/H100 上验证，相比 vLLM 批次不变方案延迟降低约 55%、吞吐提升逾 115%。
arXiv cs.AI6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 BlockLock，仅固定受保护请求的数值路径，保留共享批量预填充，实现批次内其他请求变化时目标请求输出逐位一致。在 Qwen3、Llama-3.1、Gemma-3 等五个模型与 A6000/A100/H100 上验证，相比 vLLM 批次不变方案延迟降低约 55%、吞吐提升逾 115%。