★ 3
面向 Qwen 系列模型线性注意力的高性能优化实践
文章分享针对 Qwen 系列模型线性注意力机制的高性能优化实践，涵盖算子实现与推理加速思路。对关注长上下文推理效率与国产模型工程落地的开发者有参考价值。
InfoQ AI10 天前
#线性注意力
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AI 研究团队自主发现线性注意力架构，1.3B 规模超越 GDN2
论文构建由不同学科背景的持久化 AI 研究者组成的团队，各自保留私有研究历史、共享实验证据并通过自适应分配获得研究机会。该团队在搜索线性注意力架构时，于 1.3B 规模的语言建模、常识推理与检索任务上超越 GDN2；消融显示学科背景、私有历史与自适应分配缺一不可。
arXiv NLP11 天前
★ 3
SMat-Attention：结构化长上下文序列建模
论文提出结构化矩阵注意力（SMat-Attention），通过一族行支撑集VC维为d的因果掩码，在softmax注意力与线性注意力之间建立可调结构。d=1退化为标准因果掩码，d增大则支持更丰富的子集路由。作者给出分块前后向算法，硬路由构造在长度T下仅需O(T^{2-3/d}+T)计算，并扩展到Ma…
arXiv cs.AI33 天前
★ 3
OPAL：在线策略注意力线性化蒸馏
论文提出 On-Policy Attention Linearization（OPAL），让混合注意力学生模型自行采样长上下文轨迹，并由冻结的全注意力教师提供密集监督，解决离线蒸馏在长序列上误差累积的问题。在 Qwen3-4B 与 MiMo-7B-RL-0530 上，仅用 3B 训练 token …
arXiv cs.LG34 天前
★ 3
研究揭示固定状态递归关联召回中的卷积与干扰墙
论文对固定状态循环模型（线性注意力与状态空间模型）的联想召回能力进行分解分析，发现短因果卷积是主导因素，而非循环结构本身。稀疏监督下的干扰而非容量是瓶颈，距离课程可将召回率从0.021提升至1.000。
arXiv cs.LG47 天前
★ 3
OneLA：生成式推荐中大束搜索的线性注意力解码扩展
针对生成式推荐中大束解码在循环线性注意力下面临的内存与流量开销，论文提出OneLA框架，用单一共享提示派生状态与紧凑追加式分歧转移记录表示所有束状态，配合轻量祖先索引与融合GPU内核。分析显示OneLA实现1.54-2.46倍端到端解码加速，同时大幅降低循环状态内存占用与数据搬运。
arXiv cs.AI49 天前
★ 2
Kairos 论文：面向全模态的字节级基础模型
arXiv 论文提出 Kairos，融合双向门控 DeltaNet 线性注意力、滑窗注意力、稀疏 MoE 与多尺度字节编解码器，在统一字节空间上处理文本、图像、音频、视频、激光雷达与控制流。当前仅做收敛性验证，尚未证明泛化能力。
arXiv cs.LG21 天前
这个主题的相关资产
相关公司阿里巴巴1