★ 2
语言模型细胞间潜在通信的负迁移研究
该研究考察独立训练的语言模型社会是否共享同一套潜在数据包语言,以及继承的接口状态对后续学习是帮助还是损害。对六个受限社会的30个有序配对进行因果互操作性审计发现,语义相似的接口并不构成统一语言,跨初始化方向全部对齐失败。全局训练的通信接口还构成严重的负迁移先验,仅重初始化读写模块即可将深度三准确率…
arXiv cs.AI51 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究考察独立训练的语言模型社会是否共享同一套潜在数据包语言,以及继承的接口状态对后续学习是帮助还是损害。对六个受限社会的30个有序配对进行因果互操作性审计发现,语义相似的接口并不构成统一语言,跨初始化方向全部对齐失败。全局训练的通信接口还构成严重的负迁移先验,仅重初始化读写模块即可将深度三准确率…