★ 3
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍
论文提出 LazyFlash 注意力方法，前向保持稠密、反向按梯度范数做块稀疏，跳过对参数更新贡献极小的 query 块。该方法在 FlashAttention 反向核内实现，长上下文文本与语音 LLM 实验显示注意力反向最高提速 5.7 倍、端到端训练提速 1.7 倍，且下游性能不降。
arXiv NLP6 天前
#稀疏注意力
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
HyScale 长上下文训练系统：GLM-5.1 百万 token 训练提速 2.07 倍
论文提出面向学习型稀疏注意力的长上下文训练系统 HyScale，核心洞察是选择输出是指标集合而非激活，据此设计 HyTopK 与选择重放，避免物化完整分数表并复用前向选择。在 512 张 H20 上使 GLM-5.1 的百万 token 序列训练较 Megatron-LM 提速 2.07 倍，并加…
arXiv cs.AI6 天前
★ 3
JSSA 稀疏注意力提升长上下文解码效率
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间提升 token 级选择质量，并开发无 gather 的索引注意力内核。在 GQA、滑动窗口/全局混合注意力及 MLA 模型上，JSSA 保持接近全 KV 的精度，在 NVIDIA B200 上 128K 上下文解码吞吐最高达…
arXiv NLP17 天前
★ 3
DoSA：无损稀疏注意力加速大模型推理
论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过证书机制让 Top-K 选择只对仍具资格的候选做完整打分，从而在保持精确 token 选择的同时减少计算。GPU 实现使完整 Indexer 相比 SGLang 最高加速 2.74 倍，在 GLM-5.2…
arXiv cs.LG18 天前
★ 3
MASA：稀疏注意力应视为矩阵近似
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。
arXiv NLP23 天前
★ 3
SPIN：稀疏注意力影子预测索引器
论文提出SPIN（Shadow Predictive Indexer），用轻量级基于历史的预测识别重要KV块，避免每个解码步对完整KV缓存打分，从而降低索引器开销。在长上下文与智能体基准上实现30-40%稀疏度并保持任务质量，vLLM端到端服务吞吐提升最高14.9%，中位token间延迟降低最高1…
arXiv cs.LG24 天前
★ 3
论文提出弹性阈值注意力实现长上下文稀疏解码
论文提出弹性阈值注意力（ETA），一种端到端可训练架构，从查询表示中预测动态上下文阈值，在困难检索或推理步骤保留稠密上下文、剪除常规 token。1.45B 模型在约 85% 训练稀疏度下媲美稠密注意力，Triton 定制内核在 512K 序列上实现最高 2.5 倍解码加速。
arXiv cs.LG41 天前
★ 3
RBS-Attention：长上下文稀疏预填充加速
针对长上下文 LLM 推理中预填充瓶颈，论文提出免训练的稀疏预填充方法 RBS-Attention，用质心基分支与救援分支双路选择缓解「均值稀释」问题。在 H100 上实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 加速，128K 下首 token 端到端加速 5.97 倍，精…
arXiv cs.AI41 天前
★ 2
BioBigBird：面向生物医学长文本的稀疏注意力模型
研究者提出 BioBigBird，一个在生物医学文献与临床数据上预训练的双向语言模型，采用稀疏注意力机制处理最长 4096 令牌序列。通过多任务学习联合优化命名实体识别与关系抽取，在 BLURB 基准上取得与最先进模型相当的结果，模型已在 Hugging Face 公开。
arXiv NLP23 天前