★ 3
研究实测七种 Transformer 理论，发现无一能完整解释其能力
论文梳理 Star-free、AC0、TC0、C-RASP、MPC、BAPO、Sensitivity 七种 Transformer 能力理论，统一到同一任务预测矩阵并做受控实验验证。结果显示没有单一理论能解释全部成功与失败，理论需纳入软注意力、内容相关检索与可学习性等因素。
arXiv cs.LG7 天前
#可学习性
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
教师几何结构决定师生网络可学习性
论文指出师生网络研究中常假设教师参数随机正态分布，忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率，识别出最大化与最小化节点差异的分布，并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。
arXiv cs.LG53 天前