★ 3
可微复杂度控制器加速Grokking
研究引入经认证的可微算法复杂度估计器K_CDM,将算法信息动力学引入学习过程,实现对grokking现象的控制。该控制器可在Levin描述长度意义下加速grokking,复杂度门控比训练损失门控节省27%干预,并揭示其独特贡献在于触发与释放的时机而非归因。
arXiv cs.LG48 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究引入经认证的可微算法复杂度估计器K_CDM,将算法信息动力学引入学习过程,实现对grokking现象的控制。该控制器可在Levin描述长度意义下加速grokking,复杂度门控比训练损失门控节省27%干预,并揭示其独特贡献在于触发与释放的时机而非归因。
研究者提出连续时间线性二次的开环目标追逐模型,其最优控制策略在反应式追踪与预测式拦截之间插值。通过线性结构可推导最优策略、策略学习与价值学习的闭式解,并发现学习时间尺度对应矩阵特征值,特征值谱的间隙表明智能体先学会到达目标再优化运动。