★ 3
RBS-Attention：长上下文稀疏预填充加速
针对长上下文 LLM 推理中预填充瓶颈，论文提出免训练的稀疏预填充方法 RBS-Attention，用质心基分支与救援分支双路选择缓解「均值稀释」问题。在 H100 上实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 加速，128K 下首 token 端到端加速 5.97 倍，精…
arXiv cs.AI42 天前
#预填充
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对长上下文 LLM 推理中预填充瓶颈，论文提出免训练的稀疏预填充方法 RBS-Attention，用质心基分支与救援分支双路选择缓解「均值稀释」问题。在 H100 上实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 加速，128K 下首 token 端到端加速 5.97 倍，精…