★ 2
EDWARD-NMT：自适应路由弹性维度稀疏 MoE 翻译架构
论文提出 EDWARD-NMT，一种面向「一次训练、随处部署」的 MoE 编码器-解码器架构，可在推理时暴露多个可部署子网络。其创新包括 Matryoshka 式弹性维度、带学习阈值的自适应 sigmoid 路由，以及双一致性目标。在 PhoMT、WMT-14、OPUS-16 等基准上，全容量架构…
arXiv NLP7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 EDWARD-NMT，一种面向「一次训练、随处部署」的 MoE 编码器-解码器架构，可在推理时暴露多个可部署子网络。其创新包括 Matryoshka 式弹性维度、带学习阈值的自适应 sigmoid 路由，以及双一致性目标。在 PhoMT、WMT-14、OPUS-16 等基准上，全容量架构…