#蒙特卡洛仿真

GAUSS 提出 LLM 推理服务负载感知仿真器

论文提出 GAUSS，一种负载感知的分析与蒙特卡洛仿真器，可预测首 token 时延（TTFT）、token 间时延（TBT）的完整分布及可持续请求率。它结合预填充与解码的分阶段延迟曲面与排队模型，通过集成蒙特卡洛采样捕捉尾延迟。可支持未部署工作负载、路由策略与硬件配置的容量规划。