★ 3
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍
论文提出 LazyFlash 注意力方法，前向保持稠密、反向按梯度范数做块稀疏，跳过对参数更新贡献极小的 query 块。该方法在 FlashAttention 反向核内实现，长上下文文本与语音 LLM 实验显示注意力反向最高提速 5.7 倍、端到端训练提速 1.7 倍，且下游性能不降。
arXiv NLP7 天前
#FlashAttention
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
RBS-Attention：长上下文稀疏预填充加速
针对长上下文 LLM 推理中预填充瓶颈，论文提出免训练的稀疏预填充方法 RBS-Attention，用质心基分支与救援分支双路选择缓解「均值稀释」问题。在 H100 上实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 加速，128K 下首 token 端到端加速 5.97 倍，精…
arXiv cs.AI42 天前
这个主题的相关资产
相关术语FlashAttention