★ 4
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。
量子位6 天前
#长上下文推理
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
KV缓存压缩下关键词拒答率骤降但分类器仍稳定
研究发现在KV缓存压缩场景下，关键词启发式检测的拒答率从98.0%降至80.5%，而HarmBench分类器拒答率仍维持在99%以上，MMLU准确率不变。人类标注更倾向与分类器一致，表明存在「软拒答」现象。作者建议在压缩部署环境下进行安全审计时，应依赖多种与推理上下文匹配的判定器，而非仅凭关键词拒…
arXiv cs.LG33 天前