★ 3
循环语言模型实现动态计算：FLOPs 与 KV 内存降 30%
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
arXiv cs.AI25 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
该论文从「部分计算 vs 完整计算」的统一视角研究神经网络计算削减，涵盖静态的一次性幅度剪枝与自适应的早退机制。作者在渐近单神经元模型中证明了剪枝的集中定理并给出显式收敛速率，并提出条件感知机刻画早退的泛化误差随计算差距幂律衰减。研究进一步扩展到深度网络，刻画剪枝失真随深度的累积，并在神经网路高斯…