★ 2
退火马尔可夫链研究:朗之万动力学达到张量 PCA 算法阈值
论文研究球面上的张量主成分分析问题,证明带退火与遍历平均的球面朗之万动力学可从均匀随机初始化出发,在算法阈值之上实现多项式时间强恢复。结合第一部分工作,结果表明局部马尔可夫链可从无信息冷启动一路成功至算法阈值。
arXiv cs.LG3 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文研究球面上的张量主成分分析问题,证明带退火与遍历平均的球面朗之万动力学可从均匀随机初始化出发,在算法阈值之上实现多项式时间强恢复。结合第一部分工作,结果表明局部马尔可夫链可从无信息冷启动一路成功至算法阈值。
论文借助捕食者-猎物模型研究机器学习泛化,并回顾随机梯度朗之万动力学与 GAN 的生物学、化学解释。在固定次数多项式拟合含噪数据的例子中,捕食者-猎物模型优于梯度下降。作者进一步用 Eyring 公式等热力学论证解释 grokking(延迟泛化)现象。