#岩山科技

港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍

香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。