★ 2
增长式非参数神经网络中的检索中心深度学习
论文研究一种通用深度学习层：训练时为每个数据点存储键值表示，推理时通过注意力机制检索重组，形成「增长式神经网络」。作者为核化注意力层推导基于函数梯度的学习规则，建立「检索中心深度学习」（RCDL）范式，并揭示其与MesaNet/DeltaNet及新型优化器的形式联系。
arXiv cs.LG27 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究一种通用深度学习层：训练时为每个数据点存储键值表示，推理时通过注意力机制检索重组，形成「增长式神经网络」。作者为核化注意力层推导基于函数梯度的学习规则，建立「检索中心深度学习」（RCDL）范式，并揭示其与MesaNet/DeltaNet及新型优化器的形式联系。