★ 2
代数组合中置换表示的多任务预训练模型
论文提出 PermuFormer，一个在 28 亿 token 多任务多编码语料上训练的自回归 Transformer，用于代数组合中置换相关任务的预训练。实验表明它是微调预训练未见基础任务与更复杂研究级任务的有效起点，常优于从零训练的同架构、基线 MLP 及同规模通用语言模型。作者还分析了其内部…
arXiv cs.LG40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 PermuFormer，一个在 28 亿 token 多任务多编码语料上训练的自回归 Transformer，用于代数组合中置换相关任务的预训练。实验表明它是微调预训练未见基础任务与更复杂研究级任务的有效起点，常优于从零训练的同架构、基线 MLP 及同规模通用语言模型。作者还分析了其内部…