★ 2
Copy-Paste 语言模型：新增复制头提升性能
研究者提出 Copy-Paste 语言模型（CPLM），在常规语言建模头之外增加轻量级复制头，显式建模上下文复制能力。在 135M 至 1.7B 参数模型上预训练验证，训练效率与下游性能均有提升，长上下文与检索场景获得新工作点，开销可忽略。
arXiv NLP18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 Copy-Paste 语言模型（CPLM），在常规语言建模头之外增加轻量级复制头，显式建模上下文复制能力。在 135M 至 1.7B 参数模型上预训练验证，训练效率与下游性能均有提升，长上下文与检索场景获得新工作点，开销可忽略。