HybridInfer：热感知强化学习分层 LLM 推理路由
原文标题：HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文指出旗舰骁龙设备上持续端侧生成会导致 GPU 推理运行时崩溃或静默卡死，问题源于 OpenCL 内核编译与长提示预填充。作者提出 HybridInfer，用手机热余量与查询复杂度作为状态，通过离线 Q-learning 策略在端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 与云端 GPT-4o 三层间路由。在 210 条提示的真实 Android 基准上，学习型路由器质量显著优于手工启发式且成本最低，是首个在真实硬件上利用端侧热余量选择推理层级的方案。
深读 · 结论先行AI 生成展开看要点与影响 ↓
HybridInfer用手机热余量做RL路由，端侧持续生成会致GPU运行时崩溃。
- •旗舰骁龙设备上持续端侧生成会使GPU推理运行时崩溃或静默卡死，问题源于OpenCL内核编译与长提示预填充
- •用手机热余量与查询复杂度作为状态，离线Q-learning在三层间路由
- •三层为端侧Llama 3.2 3B、边缘Llama 3.1 8B（带检索）与云端GPT-4o
- •奖励权衡质量、延迟、成本与热惩罚，并含本地性奖励；无该奖励时最优策略会卸载所有查询
- •在210条提示的真实Android基准上，学习型路由器质量显著优于手工启发式且成本最低
为什么重要：首次在真实硬件上利用端侧热余量选择推理层级，为端云协同推理的路由设计提供实证依据。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
亚马逊计划在 AWS 之外销售 Trainium AI 芯片
AI 摘要亚马逊计划将自研的 Trainium AI 芯片对外销售，不再仅限于 AWS 云服务内部使用。此举意味着亚马逊将直接与英伟达等芯片厂商在 AI 加速器市场展开竞争，拓展其芯片业务的商业化路径。