★ 4
DeepSeek 开源推理框架：单集群日吞吐 155 万亿 Token
DeepSeek 开源最新推理框架，单集群日吞吐量达 155 万亿 Token，KVCache 可保存 7 天。该框架面向大规模推理场景优化，有望降低长上下文与高并发服务的成本。
InfoQ AI12 天前
#吞吐优化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
DCOCO：投机解码并行草稿的上下文校正方法
论文提出 DCOCO（DFlash 上下文校正器），一种轻量机制，在保持并行草稿的同时恢复草稿块内 token 的依赖关系。它保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性，实现低成本的上下文感知 token 选择。在四个验证器骨干与十个基准上，DCOCO 平均吞吐最高，较普通解码…
arXiv NLP21 天前
这个主题的相关资产
相关公司深度求索（DeepSeek）1