★ 3
MASA：稀疏注意力应视为矩阵近似
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。
arXiv NLP23 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。
开发者 Samama Tariq 在 Hacker News 上发布 Deferred Cognitive Architecture（DCA），用三层模块化框架替代单体执行，把机械 I/O 检索隔离到低功耗微流水线，并将重推理延后到预过滤数据送达之后。作者称该架构可将上下文计算复杂度从 O(N²)…