★ 3
MOIRA：面向长上下文解码的稀疏注意力索引方案
研究者提出 MOIRA，一种在 vLLM 中免训练的稀疏解码路径，按 KV head 与层自适应分配注意力预算，仅保留覆盖注意力质量达 γ 比例的最少页面。配套的 self-planning attention 内核让每个线程块自行分配工作量，使整个解码步骤保持在 CUDA graph 内。在 H…
arXiv cs.AI27 天前
#稀疏解码
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Fathom：面向卸载KV缓存的按查询读取深度稀疏解码
论文提出Fathom，一种按查询动态决定读取多少位键通道的稀疏解码方法。4位K缓存以位平面方式按通道存储，查询通过反向注水分配比特预算。在Qwen3-8B百万token场景下，解码步骤比136位扫描快1.67倍，且以更少字节达到更低注意力误差。
arXiv cs.LG46 天前
★ 2
TraceQuery：扩散语言模型轨迹引导稀疏解码提速
论文提出 TraceQuery，一种面向扩散大语言模型（dLLM）的轻量稀疏解码框架。它用完整去噪轨迹监督，预测少量与未来轨迹相关的位置，只对这些候选做新计算，再由主干模型选择提交。相比现有缓存方法，它在显著减少重复计算的同时保持高准确率，并可跨任务与模型族泛化。
arXiv NLP6 天前
这个主题的相关资产
相关公司阿里巴巴1