★ 4
Zyphra 提出 ZHA 层次树索引注意力，实现亚二次方扩展
论文提出 Zyphra Hierarchical Attention（ZHA），基于层次化树结构索引器在 KV 缓存上构建递归压缩的键摘要树，查询自顶向下遍历检索稀疏键子集，使含路由与最终注意力的总成本随序列长度亚线性增长。方法只需少量 token 的 KL 蒸馏即可用于现有预训练模型，并在长上下…
arXiv NLP2 小时前
#模型架构
共 27 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Safin-1.5：面向递归安全改进的安全原生架构
论文提出 Safin-1.5，基于安全架构并以递归安全改进训练，配合推理期形式化推理框架。方法包含持久安全状态与危险知识解耦、发现-评估-修复循环，以及证明义务引导的语义桥接，使符号求解器可构造可检验证明。实验称其在安全与推理性能上超过前沿模型。
arXiv NLP2 小时前
★ 3
扩散模型迈向 35B 参数，开始挑战 Agent 编程
文章探讨扩散模型不再逐个生成 Token 的新范式，参数规模已推进至 35B，并开始切入 Agent 编程场景，对传统自回归生成路线构成挑战。
InfoQ AI4 天前
★ 3
MemT 1.0 发布：从模型层为 Transformer 原生加入记忆
MemT 1.0 从模型层补上「记忆」能力，将记忆机制原生集成进 Transformer 架构。该工作被视为 RSI 方向的关键拼图之一，指向模型持续学习与长期记忆能力。
量子位12 天前
★ 3
TurboMamba 架构发布：训练推理更快、预测更准
研究者提出 TurboMamba 语言模型架构，由全局 Mamba-3 模型与小型 Transformer 组合，并加入三项轻量改进提升局部预测。在 FineWeb-Edu 上对比十二个模型，其平均 NLL 比 Mamba-3 低 9.4%，端到端训练吞吐量达 Mamba-3 的 2.60 倍，批…
arXiv cs.LG17 天前
★ 3
LatentMoE：专家几何形状与逐层容量分配研究
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…
arXiv cs.AI19 天前
★ 3
研究：Priming 技术免重训改造 AI 模型架构
一项名为 Priming 的新方法可复用预训练 Transformer 权重，在不从头重训的前提下构建更高效的模型架构。其成本不到原始训练的 1%，吞吐量最高可达两倍，为模型架构改造提供了低成本路径。
Amazon Science Blog20 天前
★ 3
研究：用专家选择偏置缓解 MoE 数据不均衡
论文提出按类别条件设置专家选择偏置，将不同类别 token 优先路由到专门专家池，从而为数据稀缺的类别过度分配专家容量。在最高 106 亿参数模型上，该方法在多模态、低资源语言与代码任务上均取得提升，且保持标准 MoE 推理。
arXiv NLP21 天前
★ 3
ELR 提出无税循环语言模型，产出 Koi-4B
arXiv 论文提出 Elastic Latent Recurrence（ELR）训练方法，让循环（latent recurrent）语言模型在单次循环时不再落后于同规模非循环模型，从而消除「单循环税」。通过门控状态更新、混合循环深度与循环索引条件化三项设计，模型可随推理算力增加循环次数换取精度。…
arXiv NLP21 天前
★ 3
研究者改造语言模型以字节序列直接运行
一项新研究提出对语言模型进行改造，使其能够直接在字节序列上操作，而非依赖传统的分词器。该方法有望提升模型对多语言和罕见字符的处理能力，减少分词带来的信息损失。
Hacker News25 天前
★ 3
★ 3
首个循环语言模型思维链可监控性系统评估
研究首次系统评估循环语言模型（LoopLM）的思维链可监控性。通过变化同一LoopLM家族的循环深度，以及与非循环模型在参数规模、层数或有效深度上匹配比较，发现压力测试下特定逻辑/科学/工程任务的可监控性存在任务依赖性下降。诊断表明这些下降不能完全由任务难度、验证通过率或生成长度解释，但没有证据表…
arXiv cs.AI28 天前
★ 3
流递归模型 SRM：面向可解释性的架构
论文提出流递归模型（SRM），对分层推理模型（HRM）进行改造，将计算组织为多个相互作用的潜在流并通过递归精炼更新，从而直接分析流动态、因果贡献与路由行为。SRM 在每参数性能上与 GPT-2 相当，并展现出结构化的流专业化与交互，为可扩展的机制可解释性提供架构基础。
arXiv cs.LG38 天前
★ 3
IntBMoE：块级条件化的全参与混合专家
研究提出IntBMoE，通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度，并引入双路径残差门控。该模型已部署于高德生成式推荐系统，服务数亿用户，在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
arXiv cs.LG42 天前
★ 3
普林斯顿研究者提出循环环状Transformer RLT
Yifan Zhang发布循环环状Transformer（RLT）技术报告，提出因果编码器搭配循环解码器，将最终隐藏状态与逐层滑动窗口注意力缓存跨每个提示与回复token传递，服务边界处不重置。参考配置为48层编码器加48层解码器，每token执行96个逻辑块，状态路径随token数增长。设计还包…
MarkTechPost49 天前
★ 2
研究对比连续扩散语言模型与投机草稿模型的生成差距
论文在无验证条件下对比连续扩散语言模型 LangFlow 与投机草稿架构 DSpark 的马尔可夫头、循环头变体，全部从零训练做 OpenWebText 无条件生成。在去噪步数等于序列长度的默认设置下，LangFlow 在长度 128 与 1024 上两项指标均优于 DSpark 变体，DSpar…
arXiv NLP2 小时前
★ 2
MOSAIC 架构用模态分区梯度路由提升多任务
论文提出 MOSAIC 架构，保留单模态表示并通过模态专属损失将梯度路由到对应分区。在日语日常会话语料四任务上平均 macro-F1 提升 7.4 点，骨干参数减少 72%。
arXiv cs.LG2 小时前
★ 2
研究：循环语言模型深度复用靠训练与推理循环一致而非归一化
一篇 arXiv 论文研究循环语言模型（如 Ouro 系列）为何能在超出训练预算的循环步数下保持可用。作者发现移除循环边界归一化后，Ouro-1.4B 与 Ouro-2.6B 在平衡二分类任务上准确率归零，但原因并非状态范数增长；从头训练的 19M 参数模型则显示不归一化反而更好。结论是训练循环与…
arXiv cs.LG7 天前
★ 2
刘铁岩、诺奖与图灵奖得主共议 AI 下一个十年
一场汇集刘铁岩、诺贝尔奖得主与图灵奖得主的对话，围绕 Transformer 统一架构之后 AI 的下一张王牌展开讨论。嘉宾从模型架构、算力与产业落地等角度展望未来十年走向。
InfoQ AI9 天前
★ 2
arXiv 论文：长上下文问答证据位置偏差因架构而异
论文通过将一份金标文档在九个干扰项中移动，比较 Transformer、状态空间模型与混合 Mamba 架构的位置偏差。Transformer 表现出状态空间模型缺乏的「开头优势」，但两类模型都偏好靠近结尾的证据。作者强调有效上下文利用取决于架构族、能力、任务与提示词，不能单独归因于序列混合器。
arXiv NLP10 天前
★ 2
baseVultra：重分配容量的紧凑非线性循环单元
论文提出紧凑循环单元 baseVultra，将稠密循环预算集中于单个候选生成矩阵，用 O(H) 对角交互替代循环门矩阵，并引入低秩辅助分支与 EMA 缓存。在 TinyShakespeare 上验证损失 1.594，优于参数匹配的 LSTM 与 GRU，稠密矩阵向量计算量约为 GRU 的 54%。…
arXiv NLP10 天前
★ 2
FlexUMM 提出统一多模态模型灵活表征学习框架并开源代码
论文指出统一多模态模型中理解与生成能力会产生表征冲突，现有模型结构过于固定。作者提出 FlexUMM，动态决定何时保留共享计算、何时路由专用容量、何时停止处理，可作为模型无关插件接入现有 UMM。该框架同时提升准确率与推理效率，代码已在 GitHub 开源。
arXiv cs.AI13 天前
★ 2
分块共形注入：循环 Transformer 的残差旋转方法
论文研究循环 Transformer 中跨循环步残差线性映射的几何形式，提出分块共形注入（blockwise conformal injections），将残差拆分为坐标对齐分组并在组内旋转，使每组拥有独立时间尺度且几何保持精确。实验显示该方法在状态追踪与语言建模任务上性能提升。
arXiv cs.LG19 天前
★ 2
芬兰语语音SSL研究：210万小时广播音频与置信度过滤
研究者基于210万小时无约束广播音频开展大规模芬兰语语音自监督学习研究，提出以ASR置信度作为预训练数据质量代理，相比基于语种识别的过滤在更小训练集上取得3-7%相对词错率改善。研究还在相同参数预算下对比Transformer、Macaron-Net、Conformer与E-Branchforme…
arXiv NLP21 天前
★ 2
实验室AI进步究竟来自哪里
Hacker News用户发问：各大AI实验室的能力提升中，有多少来自更多训练数据、更多参数与后训练，又有多少来自MoE、激活函数替换等架构与设计创新。目前缺乏公开信息来量化这两类贡献的比例。
Hacker News – AI49 天前
★ 1
不与你对话的AI模型：AI工作流的缺失拼图？
一篇技术随笔探讨了“不与人对话”的AI模型在自动化工作流中的价值，即模型无需交互界面，直接作为后台组件执行任务。作者认为这类静默模型可能是构建可靠AI流水线的关键环节。观点偏向架构思考，属于小众技术讨论。
Hacker News – AI43 天前
★ 1
逆向工程类Jev模型
一篇技术文章介绍了对类Jev模型的逆向工程工作，在Hacker News获得18分与4条评论。该内容属于较窄众的模型机制研究，对理解特定模型架构与行为有一定参考价值。
Hacker News46 天前