★ 3
AI 秒级完成数据中心热感知容量规划
针对 LLM 训练与推理带来的 GPU 局部热点与热负载尖峰,论文提出 AI 驱动的热感知容量规划框架。内嵌模型学习机架功率、服务器布局、HVAC 设置等关键参数,可在毫秒级完成温度预测,相比高保真 CFD 仿真实现 10000 倍加速且保持高精度。该框架可帮助数据中心设计者与运营者即时优化工作负…
arXiv cs.LG27 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
针对 LLM 训练与推理带来的 GPU 局部热点与热负载尖峰,论文提出 AI 驱动的热感知容量规划框架。内嵌模型学习机架功率、服务器布局、HVAC 设置等关键参数,可在毫秒级完成温度预测,相比高保真 CFD 仿真实现 10000 倍加速且保持高精度。该框架可帮助数据中心设计者与运营者即时优化工作负…
论文指出旗舰骁龙设备上持续端侧生成会导致 GPU 推理运行时崩溃或静默卡死,问题源于 OpenCL 内核编译与长提示预填充。作者提出 HybridInfer,用手机热余量与查询复杂度作为状态,通过离线 Q-learning 策略在端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 与云…