★ 3
新缩放定律：合成数据改写比例随算力上升
论文提出针对合成数据改写的缩放定律，用模型规模、训练 token 数、改写 token 占比与自然数据轮数预测损失，并把生成改写所耗算力计入成本。在算力受限设定下，最优改写比例随算力从 3e18 FLOPs 时的不足 10% 升至 1e22 FLOPs 时的 32%；据此外推训练的 220 亿参数…
arXiv cs.LG7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出针对合成数据改写的缩放定律，用模型规模、训练 token 数、改写 token 占比与自然数据轮数预测损失，并把生成改写所耗算力计入成本。在算力受限设定下，最优改写比例随算力从 3e18 FLOPs 时的不足 10% 升至 1e22 FLOPs 时的 32%；据此外推训练的 220 亿参数…