★ 2
p进数模型的连续优化方法
论文提出首个针对p进数参数机器学习模型的原生连续梯度下降方法。由于p进数完全非连通导致标准损失平坦,作者借助Berkovich仿射线将其扩展为路径连通的度量树,从而支持有效优化器与反向传播。实验表明该方法能高效学习p进数系数的线性模型以完成模运算任务,并演示了动量、Adam变体及语义网络分类。
arXiv cs.LG40 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出首个针对p进数参数机器学习模型的原生连续梯度下降方法。由于p进数完全非连通导致标准损失平坦,作者借助Berkovich仿射线将其扩展为路径连通的度量树,从而支持有效优化器与反向传播。实验表明该方法能高效学习p进数系数的线性模型以完成模运算任务,并演示了动量、Adam变体及语义网络分类。