#高效推理

共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

IntBMoE:块级条件化的全参与混合专家

研究提出IntBMoE,通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度,并引入双路径残差门控。该模型已部署于高德生成式推荐系统,服务数亿用户,在60毫秒延迟预算下取得2.4%的相对UVCTR提升。

arXiv cs.LG42 天前
★ 2

研究发布 1.41 亿参数 PII 检测器,吞吐提升 2-10 倍

论文提出一个 1.41 亿参数的编码器式 PII 检测器,基于 77 个公开数据集、112 万条样本按统一标签体系重标注训练。在 AI4Privacy 与 Nemotron-PII 低误报率评测中,14 项对比里 11 项召回最高,吞吐量提升 2-10 倍,峰值显存降低 94-97%。

arXiv NLP14 天前

这个主题的相关资产

相关标签

高效推理 最新资讯与动态(2 篇) - 智讯 AI News