★ 3
固定优先训练：自适应深度只是收尾阶段
论文提出 fixed-first training，仅在训练末期短暂阶段变化循环 Transformer 的深度，而非全程自适应深度训练。在 2 亿参数模型上可减少约 45% 训练算力，10 亿参数模型减少 31%–37% 算力与约三成墙钟时间，性能损失极小。结果表明全深度范围训练可压缩到收尾阶段。
arXiv cs.LG19 天前
#循环Transformer
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
循环Transformer共享记忆的意外有效性
循环Transformer通过重复使用同一组层增加算力而不增加参数，但每次递归都写入独立KV缓存，导致显存随算力增长。论文提出让循环语言模型共享记忆：仅首次递归写入缓存，后续递归读取并保留短窗口。在1.5亿至10亿参数规模下，混合变体在五次递归时相对同规模标准Transformer将FineWeb…
arXiv cs.LG28 天前
★ 3
雅可比透镜下的循环Transformer：全局工作区在循环中存活吗？
研究通过虚拟展开适配器将雅可比透镜扩展到循环架构，测试Ouro-2.6B和Huginn-0125。发现每个架构的循环部分形成工作区，但循环改变访问方式：Ouro在每个循环重建内容，线性传输无法跨边界；Huginn跨所有循环携带内容，但读写仅作用于约两个循环的滑动窗口。
arXiv cs.AI60 天前
这个主题的相关资产
相关公司阿里巴巴1