★ 3
arXiv 提出循环因果编码器解码器 Looped CED，KV 缓存降 36.8 倍
论文设计循环因果编码器-解码器 Looped CED，将递归深度放在编码器以迭代精炼全局 KV，实现轮次间 KV 零增长。在 552B 参数 DeepSeek-V4.1-Flash 上循环 8 轮测试，单 token KV 减少 36.8 倍，单节点可容纳 38 个 128K 请求，8K 提示吞吐…
arXiv cs.LG2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文设计循环因果编码器-解码器 Looped CED，将递归深度放在编码器以迭代精炼全局 KV，实现轮次间 KV 零增长。在 552B 参数 DeepSeek-V4.1-Flash 上循环 8 轮测试，单 token KV 减少 36.8 倍，单节点可容纳 38 个 128K 请求，8K 提示吞吐…