★ 3
RaReCache：跨模型 KV 缓存复用选择性重算
论文提出 RaReCache 框架，通过基于秩不一致度的选择性重算，让大模型能准确解码由小模型预填充的 KV 缓存。在 Qwen3-0.6B 到 14B 的 23 倍参数差下，仅重算 30% 位置即可保留 95-99% 精度，并实现最高 3.04 倍预填充加速与显著降低首 token 延迟。
arXiv cs.AI24 天前
#预填充优化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
RAMP：循环深度语言模型高效预填充的自适应混合精度方法
该论文提出 RAMP（循环自适应混合精度）方法，针对循环深度语言模型在长上下文预填充阶段因重复计算导致的推理开销问题。研究发现量化误差在循环深度中会随后续步骤衰减，因此将低精度计算放在早期循环阶段、高精度保留在末端精炼阶段，可在 4K 上下文下保持接近全精度的预填充质量，并在 NVIDIA H10…
arXiv NLP21 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1