各方报道 1 篇
arXiv NLP·10-27 12:00★ 3
研究:五个异构模型无需权重合并即可对齐共享表示空间
原文 论文考察四个组织的四个 Transformer 与一个状态空间模型能否仅通过激活建立对应关系,无需权重合并。置换检验显示五模型对同一文本的组织方式存在统计稳健的对应,末层最强,状态空间模型最弱但仍远超随机。作者用广义 Procrustes 分析构建共享空间,末层检索准确率达 0.91-0.93,但中层不如成对线性映射,且在数学与逻辑符号上失效;基于该空间的路由未能在四类任务上超越始终使用最强模型。