arXiv cs.LG·24 天前★ 2

Phase-HDC：用梯度阈值替代优化器历史训练离散相位模型

原文标题：Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 Phase-HDC 方法，针对参数为低比特角度的超维分类器，用当前梯度阈值替代 Adam 优化器的历史矩记录。在 11 个数据集上，其存储量比 float32 Adam 少 16-23 倍，比 8-bit Adam 少 4-6 倍，精度平均损失约 5 个百分点，但在 6 个数据集上优于 8-bit Adam。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 低比特角度参数的超维分类器训练时，优化器历史矩占用远超模型本身的内存。
方法: Phase-HDC 用当前梯度阈值替代 Adam 历史矩，每次更新至多移动一步且仅当梯度足够大，并证明其为一阶损失模型的精确解。
结果: 存储比 float32 Adam 少 16-23 倍、比 8-bit Adam 少 4-6 倍；精度平均损失约 5 个点，但在 11 个数据集中的 6 个优于 8-bit Adam。
影响: 为边缘端超维/低比特模型训练提供几乎零优化器状态的方案，牺牲少量精度换大幅内存节省。