★ 2
GAUSS 提出 LLM 推理服务负载感知仿真器
论文提出 GAUSS，一种负载感知的分析与蒙特卡洛仿真器，可预测首 token 时延（TTFT）、token 间时延（TBT）的完整分布及可持续请求率。它结合预填充与解码的分阶段延迟曲面与排队模型，通过集成蒙特卡洛采样捕捉尾延迟。可支持未部署工作负载、路由策略与硬件配置的容量规划。
arXiv cs.AI3 天前
#SLO
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Narwhal 开源：秒级切换 GPU 预填充与解码角色
Narwhal 是一个自适应解耦推理框架，可根据需求变化自动热切换预填充与解码角色，无需重新加载模型权重，支持从单 GPU 到多节点部署。其角色控制器基于实测引擎画像、需求与驻留工作对角色分配打分，并依据 TTFT、TPOT 与解码排队的最差 SLO 比率决策。
Hacker News – LLM23 天前
这个主题的相关资产
相关术语AI Slop（AI垃圾内容）