★ 2
arXiv 论文用超参数迁移与集成改进数据受限扩展
针对高质量训练数据增长跟不上算力的问题，论文指出以往数据受限扩展方案固定权重衰减等超参数、忽视集成，可能导致损失随算力上升。作者拟合幂律迁移超参数并给出集成算力分配法则，在 FineWeb 1 亿 token 上困惑度降低 14%。
arXiv cs.LG3 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对高质量训练数据增长跟不上算力的问题，论文指出以往数据受限扩展方案固定权重衰减等超参数、忽视集成，可能导致损失随算力上升。作者拟合幂律迁移超参数并给出集成算力分配法则，在 FineWeb 1 亿 token 上困惑度降低 14%。
论文提出ELF-BO算法，在目标函数评估期间并行采样超参数后验，评估完成后仅需重加权样本，从而在不增加决策时间成本的前提下实现全贝叶斯优化。实验表明其性能与全贝叶斯方法相当，决策延迟与标准贝叶斯优化持平或更优。