#LLM 推理加速

arXiv 论文提出 DISCO 通信高效分布式投机解码框架

DISCO 针对端-云协同 LLM 推理中投机解码的词汇表级通信开销问题，在服务端部署草稿小模型副本，使拒绝采样所需的草稿分布本地可得，仅传输草稿 token 索引与标量概率。在带宽受限场景下解码加速显著优于现有分布式投机解码方法。