★ 3
双语预训练混合数据优于超参数调优
论文提出在数据受限的语言模型预训练中，混合高资源辅助语言的数据比激进超参数调优（如高权重衰减）更有效。混合数据通过可调混合比例扩展训练分布，提升低资源语言的泛化能力。
Apple Machine Learning Research20 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出在数据受限的语言模型预训练中，混合高资源辅助语言的数据比激进超参数调优（如高权重衰减）更有效。混合数据通过可调混合比例扩展训练分布，提升低资源语言的泛化能力。
论文对离线强化与模仿学习开展大规模实证研究，跨114个数据集训练超过16万个策略。结果显示没有算法全面占优，超参数调优常重排算法排名，基准组成可产生矛盾结论。作者据此开发数据集条件推荐器，并发布JumpStart资源套件，包含全部策略、分数、超参数、基线、代码与可扩展网站，旨在提升离线策略学习研究…