★ 3
双语预训练混合数据优于超参数调优
论文提出在数据受限的语言模型预训练中，混合高资源辅助语言的数据比激进超参数调优（如高权重衰减）更有效。混合数据通过可调混合比例扩展训练分布，提升低资源语言的泛化能力。
Apple Machine Learning Research20 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出在数据受限的语言模型预训练中，混合高资源辅助语言的数据比激进超参数调优（如高权重衰减）更有效。混合数据通过可调混合比例扩展训练分布，提升低资源语言的泛化能力。