各方报道 1 篇
arXiv cs.LG·09-21 12:00★ 3
IntBMoE：块级条件化的全参与混合专家
原文 研究提出IntBMoE，通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度，并引入双路径残差门控。该模型已部署于高德生成式推荐系统，服务数亿用户，在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
研究提出IntBMoE，通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度，并引入双路径残差门控。该模型已部署于高德生成式推荐系统，服务数亿用户，在60毫秒延迟预算下取得2.4%的相对UVCTR提升。