★ 3
PELM：结合推测解码与DVFS的端侧LLM低功耗推理
论文提出PELM，在传统DVFS调频基础上引入推测解码和可变验证深度两个工作负载维度，扩展优化空间以实现更节能的端侧LLM推理。在多种硬件和数据集上，PELM相比最先进功耗管理方法最高提速23.1%、能耗降低52.4%，同时保持任务性能。
arXiv cs.LG53 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出PELM，在传统DVFS调频基础上引入推测解码和可变验证深度两个工作负载维度，扩展优化空间以实现更节能的端侧LLM推理。在多种硬件和数据集上，PELM相比最先进功耗管理方法最高提速23.1%、能耗降低52.4%，同时保持任务性能。