★ 3
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。
arXiv cs.LG7 天前
#数据混合
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
多模态数据混合的缩放定律：文本、视觉与音频
研究基于 MoE 架构开展 268 组实验（457M 至 8.3B 参数、最多 1500 亿 token），推导文本、视觉、音频三模态的数据混合缩放定律。发现音频偏好扩参数、文本视觉需均衡扩展，视觉音频数据重复超 2 倍收益甚微，且跨模态干扰高度不对称。
arXiv NLP19 天前
★ 3
数据混合作为混料实验：LLM预训练的响应面方法
论文将LLM预训练中的数据混合问题视为经典混料实验，采用稀疏二阶Scheffé模型和I-最优设计。研究表明，领域价值具有强关系性，且模型鲁棒的最优设计可在减少25%代理运行的情况下恢复相关混合排序。
arXiv cs.AI68 天前
★ 2
Mixture-then-Select：大模型微调的组合式数据选择
论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。
arXiv cs.LG19 天前