arXiv cs.LG·42 天前★ 3

论文提出弹性阈值注意力实现长上下文稀疏解码

原文标题：Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出弹性阈值注意力（ETA），一种端到端可训练架构，从查询表示中预测动态上下文阈值，在困难检索或推理步骤保留稠密上下文、剪除常规 token。1.45B 模型在约 85% 训练稀疏度下媲美稠密注意力，Triton 定制内核在 512K 序列上实现最高 2.5 倍解码加速。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 长上下文解码中 KV 缓存造成内存带宽瓶颈，稀疏注意力启发式剪枝会丢必要上下文。
方法: 从查询表示预测动态上下文阈值，训练时对低于阈值 logits 做乘性抑制而非删除，推理时硬剪枝无信息 KV 块。
结果: 1.45B 模型在约 85% 训练稀疏度、约 38% 活跃解码密度下媲美稠密注意力；Triton 内核在 512K 序列上最高 2.5 倍解码加速。
影响: 长上下文推理服务团队可关注其可训练稀疏策略，兼顾质量与显存带宽。

深读 · 结论先行AI 生成展开看要点与影响 ↓

ETA让1.45B模型在约85%训练稀疏度下媲美稠密注意力，512K序列解码最高提速2.5倍。

为什么重要：长上下文解码的KV缓存带宽瓶颈是部署成本核心，若稀疏度85%仍不掉点，长上下文推理的显存与延迟成本可大幅下降。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

AI 中文标题：论文提出弹性阈值注意力实现长上下文稀疏解码

来源：arXiv cs.LG · 发布于 42 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：稀疏注意力 / 长上下文 / KV 缓存 / 推理加速 / 注意力机制

关键词：sparse attention / long-context decoding / KV cache

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐