各方报道 1 篇
arXiv cs.LG·09-28 12:00★ 3
HybridInfer：热感知强化学习分层 LLM 推理路由
原文 论文指出旗舰骁龙设备上持续端侧生成会导致 GPU 推理运行时崩溃或静默卡死，问题源于 OpenCL 内核编译与长提示预填充。作者提出 HybridInfer，用手机热余量与查询复杂度作为状态，通过离线 Q-learning 策略在端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 与云端 GPT-4o 三层间路由。在 210 条提示的真实 Android 基准上，学习型路由器质量显著优于手工启发式且成本最低，是首个在真实硬件上利用端侧热余量选择推理层级的方案。