★ 2
论文给出随机舍入 SGD 的缩放定律：模型规模、训练时长与比特数如何权衡
arXiv 论文理论分析随机舍入（SR）对预测风险的影响，考虑两层线性网络与幂律谱数据。研究证明预测误差的匹配上下界，并推导固定算力下最优模型规模与训练时长。结果显示仅对前向特征舍入可保持精确算术的算力缩放，而对反向特征舍入会改变缩放规律。
arXiv cs.LG13 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文理论分析随机舍入（SR）对预测风险的影响，考虑两层线性网络与幂律谱数据。研究证明预测误差的匹配上下界，并推导固定算力下最优模型规模与训练时长。结果显示仅对前向特征舍入可保持精确算术的算力缩放，而对反向特征舍入会改变缩放规律。