★ 3
LatentMoE：专家几何形状与逐层容量分配研究
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…
arXiv cs.AI19 天前
#内在维度
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
无流形的对称性：轨道上的内在维度
论文研究神经网络缩放律中内在维度估计在有限群轨道上的失效问题。以模加法为例，传递性使标准维度估计器退化为点质量而无法定义。作者证明该失效具有普遍性，并提出以隐藏宽度指数函数替代幂律，拟合优度显著更高；同时发现临界宽度随群阶下降而非上升，与容量计数预期相反。
arXiv cs.LG46 天前