★ 2
AlterNet:自适应深度 MoE 实现弹性推理
研究者提出 AlterNet 架构,将浅层专家组成的混合专家与动态深度系统结合,使前向计算量可按任务自动调整,并能在训练后无需重训即按执行环境降级。方案包含迭代计算机制、序列级深度路由与专家内停止机制、深度编码及计算效率正则项。
arXiv cs.AI10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 AlterNet 架构,将浅层专家组成的混合专家与动态深度系统结合,使前向计算量可按任务自动调整,并能在训练后无需重训即按执行环境降级。方案包含迭代计算机制、序列级深度路由与专家内停止机制、深度编码及计算效率正则项。