★ 3
MASA：稀疏注意力应视为矩阵近似
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。
arXiv NLP24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。