★ 2
梯度训练能否学到矩阵记忆所需秩的实证研究
论文研究基于梯度的训练能否学到存储与组合关联所需的矩阵秩。实验在 K 组键值绑定上训练矩阵记忆，精确线性恢复要求秩不低于 K。结果显示学习到的有效秩随 K 增长，训练期秩上限会在 k=K 附近产生恢复相变，五个种子中四个在 21 次自应用后仍保持 0.9996 以上恢复率。研究同时发现矩阵维度增大…
arXiv cs.LG46 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究基于梯度的训练能否学到存储与组合关联所需的矩阵秩。实验在 K 组键值绑定上训练矩阵记忆，精确线性恢复要求秩不低于 K。结果显示学习到的有效秩随 K 增长，训练期秩上限会在 k=K 附近产生恢复相变，五个种子中四个在 21 次自应用后仍保持 0.9996 以上恢复率。研究同时发现矩阵维度增大…