★ 2
ΣΔ-Sampler 优化器实现边缘端二值/三值模型训练
论文提出 ΣΔ-Sampler，将随机采样与退火嵌入一阶 ΣΔ 噪声整形环路，用于二值/三值神经网络训练。在 CIFAR-10、ImageNet-1k、持续学习及 2.7B 无矩阵乘法语言模型上验证有效，训练内存降低 50% 以上、速度提升一个数量级，适合端侧大模型微调。
arXiv cs.LG14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 ΣΔ-Sampler，将随机采样与退火嵌入一阶 ΣΔ 噪声整形环路，用于二值/三值神经网络训练。在 CIFAR-10、ImageNet-1k、持续学习及 2.7B 无矩阵乘法语言模型上验证有效，训练内存降低 50% 以上、速度提升一个数量级，适合端侧大模型微调。