★ 2
arXiv 论文：并行数据多语言预训练两阶段法 PPT+SPT
研究将每篇文档与其译文拼接在同一训练序列中，提出并行预训练（PPT）方法。实验发现单独使用 PPT 并不能稳定提升语言理解，但先 PPT 建立跨语言基础、再用标准预训练（SPT）适配的两阶段方法，在高资源与低资源场景下均优于标准预训练。
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究将每篇文档与其译文拼接在同一训练序列中，提出并行预训练（PPT）方法。实验发现单独使用 PPT 并不能稳定提升语言理解，但先 PPT 建立跨语言基础、再用标准预训练（SPT）适配的两阶段方法，在高资源与低资源场景下均优于标准预训练。