★ 3
循环语言模型实现动态计算：FLOPs 与 KV 内存降 30%
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
arXiv cs.AI25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。