arXiv cs.LG·6 天前★ 3

LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分

原文标题：Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。

深读 · 结论先行AI 生成展开看要点与影响 ↓

LARE按运行损失自动调领域权重，1.5B模型五基准平均提升7.84分

为什么重要：提供数据配比之外的独立控制维度，对做多阶段预训练、担心知识遗忘的团队有直接参考价值。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting

AI 中文标题：LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分

来源：arXiv cs.LG · 发布于 6 天前

分类：大模型 · AI 重要度：★ 3（3）

标签：预训练 / 数据混合 / 损失重加权 / 灾难性遗忘 / 训练优化

关键词：LLM 预训练 / 数据混合 / 损失重加权 / 训练优化 / GSM8K

AI 处理：2026/10/26 12:01:29 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐