★ 3
研究实测七种 Transformer 理论，发现无一能完整解释其能力
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。
arXiv cs.LG7 天前
#长度泛化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文提出单头注意力长度泛化的位置可实现性理论
论文针对单头纯位置注意力建立可实现性理论，用模拟转移算子解释相对与绝对位置编码在长度泛化上的差异。实验在 2625 次训练模型测量中验证该标量可精确区分泛化与非泛化的（位置编码、任务）组合。理论仅涉及位置通道，依赖内容的任务不在覆盖范围内。
arXiv cs.LG8 小时前