★ 3
单人研究者发布 Metis-1.6 双模型技术报告
独立研究者从零训练出 Praxis(2.94B 参数,每步激活 0.46B)与 Logos(10.23B 参数,激活 1.18B)两个模型,采用 Mamba-2 与注意力混合专家堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93,接近 Qwen3-4B,但训练数据量约为可比模型中位…
arXiv cs.LG3 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
独立研究者从零训练出 Praxis(2.94B 参数,每步激活 0.46B)与 Logos(10.23B 参数,激活 1.18B)两个模型,采用 Mamba-2 与注意力混合专家堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93,接近 Qwen3-4B,但训练数据量约为可比模型中位…
论文发布 LLM-jp-4 系列日本主权大模型,包含 8B 稠密模型与 32B-A3B 混合专家模型,均从零训练约 12 万亿 token。项目强调透明度、可复现性与实用性,公开数据与软件选择标准及开发流程,性能较前代显著提升,与同规模开源模型具竞争力。