★ 3
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。
arXiv cs.LG7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。