arXiv cs.LG·2 天前★ 3

单人研究者发布 Metis-1.6 双模型技术报告

原文标题:Think Twice: The Metis-1.6 Technical Report

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

独立研究者从零训练出 Praxis(2.94B 参数,每步激活 0.46B)与 Logos(10.23B 参数,激活 1.18B)两个模型,采用 与堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93,接近 ,但训练数据量约为可比模型中位数的十二分之一,数学表现突出、代码与长较弱。报告详述了优化器未生效、长度奖励符号反转等失败经验。

深读 · 结论先行AI 生成展开看要点与影响 ↓

单人研究者从零训出 Praxis 与 Logos 两模型,Logos 用约十二分之一中位训练数据在 40 项基准平均 52.93

  • •Praxis 2.94B 参数、每步激活 0.46B;Logos 10.23B 参数、激活 1.18B
  • •架构为 Mamba-2 与注意力混合专家堆叠,每个 跑两遍
  • •各训练 1.02T token:804.76B 预训练、18B 上下文扩展到 131072、200B
  • •Logos 在 40 项后训练基准平均 52.93,17 个模型中排第七,与 Qwen3-4B 相差不到 1 分
  • •训练数据约为披露数据的可比模型中位数的十二分之一,每 token 激活参数少于所有胜过它的模型

为什么重要:单人低成本训练接近 的平均分,且公开失败细节,对想复现小规模预训练与后训练的团队参考价值高于分数本身。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Think Twice: The Metis-1.6 Technical Report
AI 中文标题:单人研究者发布 Metis-1.6 双模型技术报告
来源:arXiv cs.LG · 发布于 2 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:混合专家 / Mamba / 预训练 / 技术报告
关键词:Metis-1.6 / 混合专家 / Mamba / 模型训练 / 技术报告
AI 处理:2026/10/30 18:30:15 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
单人研究者发布 Metis-1.6 双模型技术报告 - 智讯 AI News