★ 3
研究实测七种 Transformer 理论，发现无一能完整解释其能力
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。
arXiv cs.LG7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。