★ 2
梯度训练能否学到矩阵记忆所需秩的实证研究
论文研究基于梯度的训练能否学到存储与组合关联所需的矩阵秩。实验在 K 组键值绑定上训练矩阵记忆，精确线性恢复要求秩不低于 K。结果显示学习到的有效秩随 K 增长，训练期秩上限会在 k=K 附近产生恢复相变，五个种子中四个在 21 次自应用后仍保持 0.9996 以上恢复率。研究同时发现矩阵维度增大…
arXiv cs.LG46 天前
#矩阵记忆
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
矩阵记忆的因果秩定律：任务代数决定表征秩
论文在群组合任务测试床上提供因果证据，表明梯度下降招募的秩恰好等于任务代数所要求的秩。在五个有限群上，招募秩等于群的最小忠实实表示维度 d_min，Spearman 相关系数达 0.9747。研究将秩定律从标量容量约束扩展为表示论层面的规律。
arXiv cs.LG49 天前