IQuest-Q1 开源 320B MoE 智能体基础模型,激活 15B
原文标题:IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。
论文发布 IQuest-Q1,一个总参数 320B、激活 15B 的稀疏 MoE 智能体基础模型,经三阶段训练:稳定高效预训练、细粒度中期训练与多脚手架多版本后训练,并结合模型合并整合不同专家与检查点。该模型在编码与通用任务上均展现能力,已作为开源模型发布以支持社区研究。
深读 · 结论先行AI 生成展开看要点与影响 ↓
IQuest-Q1 开源 320B 总参数、15B 激活的稀疏 MoE 智能体基础模型,三阶段训练并做模型合并
- •总参数 320B、激活 15B,属高稀疏度 MoE 智能体基础模型
- •预训练结合 Stable SplitNorm、Muon、muP 与两阶段课程,第二阶段提高编码数据配比,保持安全与最优学习率之间的稳定裕度
- •中期训练跨领域与格式扩展数据混合并逐步延长上下文
- •后训练采用多脚手架、多版本方案,结合 SFT、领域专用 RL 与 MOPD,并用模型合并整合不同专家与检查点、缓解参数更新冲突
- •已作为开源模型发布,官方称在编码与通用任务上均展现能力
为什么重要:320B 总参、15B 激活的开源智能体模型为自建 agent 的团队提供了低激活成本的基座选项;但摘要未给具体基准分数,选型前需自行验证编码与通用能力。
以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构,据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施,可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重,主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重,主打网络安全场景,称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4(Le Chonk)权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4,代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论,标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型,KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型,通过将KV Cache压缩99%,实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。