★ 4
DeepSeek 开源推理框架：单集群日吞吐 155 万亿 Token
DeepSeek 开源最新推理框架，单集群日吞吐量达 155 万亿 Token，KVCache 可保存 7 天。该框架面向大规模推理场景优化，有望降低长上下文与高并发服务的成本。
InfoQ AI12 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
DeepSeek 开源最新推理框架，单集群日吞吐量达 155 万亿 Token，KVCache 可保存 7 天。该框架面向大规模推理场景优化，有望降低长上下文与高并发服务的成本。