★ 3
数据混合作为混料实验：LLM预训练的响应面方法
论文将LLM预训练中的数据混合问题视为经典混料实验，采用稀疏二阶Scheffé模型和I-最优设计。研究表明，领域价值具有强关系性，且模型鲁棒的最优设计可在减少25%代理运行的情况下恢复相关混合排序。
arXiv cs.AI68 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将LLM预训练中的数据混合问题视为经典混料实验，采用稀疏二阶Scheffé模型和I-最优设计。研究表明，领域价值具有强关系性，且模型鲁棒的最优设计可在减少25%代理运行的情况下恢复相关混合排序。