Dory1.0-4B 开源：循环深度语言模型，性能超 Qwen3.5-9B
原文标题：Dory1.0-4B: A Looped Normalized-GPT
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
研究团队发布 4B 参数循环（潜在递归）语言模型 Dory1.0-4B，基于 nGPT 骨干，单份权重可通过调整循环次数适配不同推理算力。预训练 6 万亿 token、上下文扩至 256K，两轮以上循环即在 12 项基准上平均超过 Qwen3.5-9B、Gemma 4 12B 与 Gemma 4 26B-A4B。已开源 BF16、MXFP8、NVFP4 与 GGUF 量化权重。
深读 · 结论先行AI 生成展开看要点与影响 ↓
4B循环深度模型Dory1.0-4B开源，两轮以上循环在12项基准平均超Qwen3.5-9B等更大模型。
- •基于nGPT骨干，含输入块、共享循环块、输出块，单份权重可按循环次数适配算力。
- •预训练6万亿token，前4.5万亿用NVFP4，后扩上下文至256K。
- •两轮以上循环即在12项基准平均超过Qwen3.5-9B、Gemma 4 12B与Gemma 4 26B-A4B。
- •四轮循环在agentic基准上比单轮少生成1.3-2.5倍token，算力花在潜空间而非更长输出。
- •仅缓存最后一轮KV以降低循环显存；已开源BF16、MXFP8、NVFP4与GGUF权重。
为什么重要：对关注小模型与弹性推理算力的团队：4B权重可按需换深度，是「一份checkpoint多档算力」的实用开源样本。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
Meta 开源 GSLM2：多流语音表示学习缩小语音与文本模型差距
AI 摘要Meta 研究团队发布 GSLM2，其 SpidR 2.0 编码器用自监督学习在多个抽象层级生成离散语音单元，多流语音语言模型联合建模这些单元。训练规模达 600 万小时、65 亿参数，在 sWuggy、sBLIMP、tSC 上把语音与文本模型差距缩小约两个数量级。训练代码与模型权重已在 GitHub 开源。
阿里蔡崇信：千问开源模型全球累计下载超 40 亿次
AI 摘要在世界互联网大会乌镇峰会开幕式上，阿里巴巴董事会主席蔡崇信表示 AI 只有开源开放才能普惠普及。他透露阿里千问已开源超 470 款模型，全球累计下载量突破 40 亿次，衍生模型超 33 万个，位列全球第一。
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构，据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施，可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重，主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重，主打网络安全场景，称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。