#解耦架构

Narwhal 开源：秒级切换 GPU 预填充与解码角色

Narwhal 是一个自适应解耦推理框架，可根据需求变化自动热切换预填充与解码角色，无需重新加载模型权重，支持从单 GPU 到多节点部署。其角色控制器基于实测引擎画像、需求与驻留工作对角色分配打分，并依据 TTFT、TPOT 与解码排队的最差 SLO 比率决策。