★ 3
LatentMoE：专家几何形状与逐层容量分配研究
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…
arXiv cs.AI19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…