★ 3
Multi-Ratio ConceptMoE 支持多计算预算灵活分配
论文提出 Multi-Ratio ConceptMoE，在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线，混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。
arXiv cs.LG19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Multi-Ratio ConceptMoE，在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线，混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。