★ 2
论文给出随机舍入 SGD 的缩放定律：模型规模、训练时长与比特数如何权衡
arXiv 论文理论分析随机舍入（SR）对预测风险的影响，考虑两层线性网络与幂律谱数据。研究证明预测误差的匹配上下界，并推导固定算力下最优模型规模与训练时长。结果显示仅对前向特征舍入可保持精确算术的算力缩放，而对反向特征舍入会改变缩放规律。
arXiv cs.LG12 小时前
#SGD
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
对称商平坦性与泛化理论
论文在对称商空间上建立理论链条：商线性稳定性蕴含商平坦性，商平坦性蕴含输入平滑性，输入平滑性在局部覆盖假设下导出泛化。作者定义商平坦性为经验损失 Hessian 在正则商流形上的迹，并证明 SGD 一步均方商线性稳定性给出显式平坦性界。最终推导出基于商平坦性与商线性稳定性的总体泛化界。
arXiv cs.LG34 天前