★ 3
IntBMoE:块级条件化的全参与混合专家
研究提出IntBMoE,通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度,并引入双路径残差门控。该模型已部署于高德生成式推荐系统,服务数亿用户,在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
arXiv cs.LG42 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出IntBMoE,通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度,并引入双路径残差门控。该模型已部署于高德生成式推荐系统,服务数亿用户,在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
论文提出一个 1.41 亿参数的编码器式 PII 检测器,基于 77 个公开数据集、112 万条样本按统一标签体系重标注训练。在 AI4Privacy 与 Nemotron-PII 低误报率评测中,14 项对比里 11 项召回最高,吞吐量提升 2-10 倍,峰值显存降低 94-97%。