★ 3
论文提出 MoWE：稀疏路由让模型输出坐标可解释
论文提出 Mixture of Wide Experts（MoWE），一种稀疏前馈层，被选中的专家读取完整表示但写入固定且互不重叠的输出坐标。在约 100 亿 token 训练下，MoWE 交叉熵为 2.417，优于稠密模型的 2.452，且原生坐标可读性得分 0.523 高于稠密模型与标准 Mo…
arXiv cs.LG14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Mixture of Wide Experts（MoWE），一种稀疏前馈层，被选中的专家读取完整表示但写入固定且互不重叠的输出坐标。在约 100 亿 token 训练下，MoWE 交叉熵为 2.417，优于稠密模型的 2.452，且原生坐标可读性得分 0.523 高于稠密模型与标准 Mo…