★ 4
Universal Attention：KV 缓存 25 倍压缩
arXiv 论文提出 Universal Attention 架构，用复合衰减机制统一并扩展基于衰减的 KV 缓存剪枝方法，保留 RoPE 与 Softmax 注意力。该机制充当自适应剪枝准则，在自然语言与合成任务上实现 10 倍压缩并提升下游性能，长上下文 16k 长度下达到 25 倍压缩。
arXiv cs.LG25 天前
#注意力机制
共 77 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Flide：精确状态分叉加速决策模型推理
针对 Jev 等决策模型在现有生成式推理引擎上前缀重算开销大、输出概率失真的问题，论文提出 Flide 推理引擎，用 ForkAttention 在 GPU 常驻索引上跨标准注意力与 Gated DeltaNet 层导航请求依赖。在公开混合与决策模型上比 vLLM、SGLang 快至多 9.5 倍…
arXiv NLP2 小时前
★ 3
研究用 KV 缓存修补追踪微调行为产生的位置
论文通过将 LoRA 微调模型的 KV 缓存修补进原始基座模型（及反向操作），探究微调行为究竟在何处被实例化。结果显示，对德语回答、涌现性失准等行为，KV 缓存修补可将行为在微调模型与基座模型间转移或消除。修补效果随修补比例增大而增强，并集中于少数关键位置，系统提示与聊天模板 token 影响尤为…
arXiv NLP2 小时前
★ 3
研究扩展多模态大模型检索头分析并优化 Qwen3-VL
论文将检索头分析扩展到音视频模态，发现检索头在新模态中仍稀疏且跨模态大量共享，消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力，使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点，并改善三个模型家族的文档检索。
arXiv NLP7 天前
★ 3
研究实测七种 Transformer 理论，发现无一能完整解释其能力
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。
arXiv cs.LG7 天前
★ 3
研究：Attention Tracker 在智能体间接提示注入检测失效
论文首次在 AgentDojo 基准上评估白盒检测方法 Attention Tracker，发现其数据集无关性主张不成立，长结构化工具输出会使检测接近随机水平。作者提出 AttnDA，用 Fisher 线性判别分析替代标量阈值，在多个基准上提升检测效果，但跨域迁移仍具挑战。
arXiv cs.LG11 天前
★ 3
研究证明 Transformer 可精确编译为通用深度神经网络
论文证明含注意力、LayerNorm 与 GELU MLP 的每个 Transformer 块都能精确编译为通用深度神经网络，并分析去掉「激活-激活乘积」操作的代价。研究还给出 top-k 注意力的无偏尾部质量估计与基于聚类的注意力加速方法，在 DeiT-Tiny、Pythia-70M 等模型上编…
arXiv cs.LG11 天前
★ 3
PeekKV 用单 token 探测实现按注意力头分配 KV 缓存
KV 缓存随上下文线性增长成为 LLM 推理内存瓶颈。研究观察到 decode 阶段活跃注意力头在内容 token 间保持稳定，据此提出 PeekKV：在 prefill 后观察单个内容 token，联合获取头组得分与 token 重要性得分，按比例分配缓存预算。无需离线分析或训练，在 Llama…
arXiv cs.LG13 天前
★ 3
LEMON：基于注意力图的等变学习实现新大模型零样本行为监控
研究将跨模型注意力图的不匹配刻画为代数对称性，基于几何深度学习构建在线图神经网络监控器 LEMON，逐 token 处理注意力图并以极低开销输出异常分数。在 16 个大模型和六个数据集上，零样本跨模型场景下幻觉与越狱监控均优于所有基线，最高提升 14 个 ROC-AUC 点。
arXiv cs.AI13 天前
★ 3
研究：后训练调优预训练已有的线索路由回路，加剧模型迎合偏差
论文因果追踪多种偏差背后的注意力头，发现四类线索在多数模型上依赖预训练阶段就已存在的同一小簇注意力头。仅用约 200 条无线索的通用助手样例微调，就能在对话格式下激活这些头，说明迎合可能是助手调优的副作用；最终 RL 阶段几乎在所有比较中强化线索效应。在 Tulu-3-8B 与 OLMo-2-7B…
arXiv NLP14 天前
★ 3
FPA：以路径极值替代求和的遗忘门注意力机制
论文提出 First Passage Attention（FPA），将遗忘门注意力的路径求和改为路径极值，按学习标量场在区间内的最深下探成比例降低键的 logit，从而选择性擦除中间上下文而保留更早的结构相关 token。FPA 将 Forgetting Transformer 作为特例，理论上常…
arXiv NLP14 天前
★ 3
研究：Qwen2.5 微调模型共享涌现失准注意力头
一篇 arXiv 论文研究涌现失准（EM）是否依赖共同的计算组件。作者对 Qwen2.5-3B-Instruct 做三次 LoRA 微调，分别训练有害医疗建议、高风险金融建议和极限运动推荐。通过基于方向的激活追踪，发现三个模型排名前五的注意力头中有三个位置共享；替换这些头的贡献可将自由生成失准率从…
arXiv cs.LG17 天前
★ 3
arXiv 论文：泰勒展开实现线性时间 Transformer
论文将注意力指数核展开为 n 项截断泰勒级数，并分解为张量幂内积，把因果历史压缩为恰好 n 个循环状态，与上下文长度无关。在 N=8192 时速度提升 20.8 倍，N=65536 时解码延迟提升 76 倍。
arXiv cs.LG17 天前
★ 3
Kronecker 乘积注意力：结构化分解压缩 KV 缓存
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…
arXiv cs.LG21 天前
★ 3
脉冲语言模型时序编码与非线性计算权衡
论文提出 Spora，联合设计脉冲编码与注意力算子，用二元时间权重让 T 个脉冲承载最多 T 比特信息，远超脉冲计数读出的 O(log₂T)。四个时间步下 GLUE 平均分达 76.6，较 SpikeLM 提升 1.2 分，六步 BBS 进一步提升至 78.2。
arXiv cs.LG24 天前
★ 3
TuBA：多维序列建模的 Tucker 瓶颈注意力
论文提出 Tucker 瓶颈注意力（TuBA），利用低秩张量结构实现高效全局 token 混合，将隐藏张量投影到紧凑 Tucker 核心上做多头注意力。在视频预测和全球天气预报上，它比标准自注意力最多降低 24.7% 和 37.1% 误差，计算量减少 66.6% 和 85.1%。
arXiv cs.LG25 天前
★ 3
AttSVD：注意力引导的低秩KV缓存压缩
论文提出AttSVD，一种基于每个提示自身注意力几何的可解释低秩KV缓存压缩方法，通过在线逐提示截断SVD仅保留注意力实际读取的方向。方法提出累积与流式两种解码缓存策略，以及能量规则与注意力感知基截断两项自适应改进。在多个模型、智能体基准与LongBench上，AttSVD在保持与稠密缓存相当性能…
arXiv cs.LG26 天前
★ 3
MOIRA：面向长上下文解码的稀疏注意力索引方案
研究者提出 MOIRA，一种在 vLLM 中免训练的稀疏解码路径，按 KV head 与层自适应分配注意力预算，仅保留覆盖注意力质量达 γ 比例的最少页面。配套的 self-planning attention 内核让每个线程块自行分配工作量，使整个解码步骤保持在 CUDA graph 内。在 H…
arXiv cs.AI27 天前
★ 3
研究：GPT-2 注意力头消融因果推断存在投影层混淆
论文以 GPT-2 small 为例，指出注意力头消融这一常用因果推断方法在干预语义、评估指标与控制设计不严谨时结论脆弱。投影后实现的「置零」与修正的投影前消融几乎不相关（Pearson r=0.057），且选出完全不同的 top-5 重要头。作者强调单头消融本身不足以支撑因果结论，需要正确的干预…
arXiv cs.LG31 天前
★ 3
注意力流形：用B样条曲面调控语言模型
论文提出「注意力流形」，用可学习的二维B样条曲面根据查询-键交互调制每个value维度，初始化零值以保留预训练行为。在LLaMA 3.2-1B/3B上以0.3%参数开销降低WikiText-2困惑度2-2.5点，并改变69%-83%提示的贪心输出。曲面可机械编辑，系数取-1可形成「注意力墙」阻断特…
arXiv cs.LG31 天前
★ 3
研究提出概念生命周期模型与概念接地注意力机制
论文提出概念生命周期模型（CLM）与概念锚定注意力（CGA），将概念表示为带时间版本、来源与认知状态的图实体，并通过图偏置自注意力与门控交叉注意力注入 Transformer。受控实验显示，图注意力诊断在缺乏禁用机制对照时并不具信息量，但显式时间表示可将答案准确率提升 13 至 25 个百分点，认…
arXiv cs.AI32 天前
★ 3
SMat-Attention：结构化长上下文序列建模
论文提出结构化矩阵注意力（SMat-Attention），通过一族行支撑集VC维为d的因果掩码，在softmax注意力与线性注意力之间建立可调结构。d=1退化为标准因果掩码，d增大则支持更丰富的子集路由。作者给出分块前后向算法，硬路由构造在长度T下仅需O(T^{2-3/d}+T)计算，并扩展到Ma…
arXiv cs.AI33 天前
★ 3
PolicyAttention：Softmax 注意力实现策略镜像下降
论文探讨因果 softmax 注意力能否作为重复控制器实现策略镜像下降（PMD），而非仅一步代数恒等式。作者构建了固定的因果 softmax 演员-环境-单步评论家协议，并证明单独训练的 pre-LN Transformer 可在经验上恢复目标计算。在预注册的重复控制测试中，学习到的演员配合精确单…
arXiv cs.LG35 天前
★ 3
PAGE：分区感知门控 KV 缓存淘汰
研究指出 KV 缓存淘汰方法只决定保留哪些 token，却不判断是否该淘汰，导致基准均值掩盖了压缩使准确率从 99% 崩至 0% 的输入类别。PAGE 用预填充注意力中 top-k 头一致性的早期到晚期下降这一无标签标量，在解码前预测输入类别并决定是否启用淘汰。作为保护机制，PAGE 将容量受限场…
arXiv cs.LG41 天前
★ 3
论文提出弹性阈值注意力实现长上下文稀疏解码
论文提出弹性阈值注意力（ETA），一种端到端可训练架构，从查询表示中预测动态上下文阈值，在困难检索或推理步骤保留稠密上下文、剪除常规 token。1.45B 模型在约 85% 训练稀疏度下媲美稠密注意力，Triton 定制内核在 512K 序列上实现最高 2.5 倍解码加速。
arXiv cs.LG42 天前
★ 3
用注意力图拓扑特征检测 LLM 幻觉
论文分析注意力图的信息流拓扑，利用 Forman-Ricci 曲率识别信息瓶颈，提出单次前向的幻觉检测方法。在多个 LLM 与两个幻觉检测基准上持续优于现有基于注意力和多响应基线，发现幻觉与 token 间上下文共享受损、过度依赖自注意力及信息过度压缩相关。
arXiv cs.AI42 天前
★ 3
注意力感知路由：MoE 中耦合路由与注意力
论文提出注意力感知路由（AAR），从注意力权重滑动窗口中提取时序与频谱特征增强路由器，冻结基础 Transformer 仅训练路由参数。在 OLMoE 上 GSM8K 提升 3.37 个百分点，并揭示路由与注意力构成耦合回路，且存在深度敏感的检索-推理张力。
arXiv cs.AI42 天前
★ 3
TriDim：结构保持的脑电解码可复用模块
论文提出 TriDim 可复用模块，保持表示形状并显式保留脑电的三个轴：通道、块内采样位置与跨记录块位置，分别对应空间、短期与长期时间信息，通过沿单轴前馈变换与跨轴注意力协调信息交换。堆叠该模块构建的 TriDimEEG 在八个数据集跨被试评估中于十五个模型中总体最佳，平均准确率相对提升 4.3%…
arXiv cs.LG45 天前
★ 3
Stiefel 注意力：投影矩阵几何主导优化器选择
论文将注意力中的查询与键投影约束到 Stiefel 流形，并用黎曼 Adam 优化，证明该更新在嵌入度量下为最速下降、与梯度尺度无关且良态。关键机制是权重衰减在 Stiefel 流形上黎曼梯度恒为零，使学到的注意力几何在模型其余部分的坍缩周期中得以保留。在模运算 grokking 任务上单次运行 …
arXiv cs.LG45 天前
★ 3
研究用超立方体旋转稀疏连接替代注意力机制
论文提出用固定、稀疏且逐层旋转的连接方式替代注意力，将序列位置视为超立方体顶点，每层沿不同维度连接邻居，使信息在log₂n层内传遍所有位置，每层仅需2n条连接而非n²。在enwik8字符级语言建模上，混合模型以1/7连接数、少42%参数、2.4倍更快速度取得更低损失，学习率可用窗口也宽4至8倍。
arXiv cs.LG46 天前