★ 2
Phase-HDC：用梯度阈值替代优化器历史训练离散相位模型
论文提出 Phase-HDC 方法，针对参数为低比特角度的超维分类器，用当前梯度阈值替代 Adam 优化器的历史矩记录。在 11 个数据集上，其存储量比 float32 Adam 少 16-23 倍，比 8-bit Adam 少 4-6 倍，精度平均损失约 5 个百分点，但在 6 个数据集上优于 …
arXiv cs.LG24 天前
#梯度下降
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
大初始化下逻辑回归梯度下降轨迹的理想路径逼近
该论文研究从预训练模型出发继续训练时，大尺度初始化如何影响后续训练轨迹。作者对严格线性可分数据上的全批量逻辑回归梯度下降轨迹做几何逼近，构造出由有限线性段组成的唯一连续理想路径，分为负间隔修正与最小间隔增长两个阶段。研究证明经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会一致收敛到该路径，…
arXiv cs.LG27 天前
★ 2
p进数模型的连续优化方法
论文提出首个针对p进数参数机器学习模型的原生连续梯度下降方法。由于p进数完全非连通导致标准损失平坦，作者借助Berkovich仿射线将其扩展为路径连通的度量树，从而支持有效优化器与反向传播。实验表明该方法能高效学习p进数系数的线性模型以完成模运算任务，并演示了动量、Adam变体及语义网络分类。
arXiv cs.LG40 天前