★ 3
IQuest-Q1 开源 320B MoE 智能体基础模型，激活 15B
论文发布 IQuest-Q1，一个总参数 320B、激活 15B 的稀疏 MoE 智能体基础模型，经三阶段训练：稳定高效预训练、细粒度中期训练与多脚手架多版本后训练，并结合模型合并整合不同专家与检查点。该模型在编码与通用任务上均展现能力，已作为开源模型发布以支持社区研究。
arXiv NLP10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发布 IQuest-Q1，一个总参数 320B、激活 15B 的稀疏 MoE 智能体基础模型，经三阶段训练：稳定高效预训练、细粒度中期训练与多脚手架多版本后训练，并结合模型合并整合不同专家与检查点。该模型在编码与通用任务上均展现能力，已作为开源模型发布以支持社区研究。