★ 3
研究实测 86 个开源 LLM 推理能耗效率差异
论文直接测量 86 个开源权重模型在七项基准与六类硬件上的推理能耗，发现能力相近的模型能耗差异巨大，多数配置远离分数-能耗帕累托前沿，能耗差距中位数达 2.6-4.8 倍，最高 27 倍。开启推理平均增加约 3.7 倍能耗，FP8 可降低约四分之一能耗，作者主张基准分数应同时报告实测能耗。
arXiv cs.AI19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文直接测量 86 个开源权重模型在七项基准与六类硬件上的推理能耗，发现能力相近的模型能耗差异巨大，多数配置远离分数-能耗帕累托前沿，能耗差距中位数达 2.6-4.8 倍，最高 27 倍。开启推理平均增加约 3.7 倍能耗，FP8 可降低约四分之一能耗，作者主张基准分数应同时报告实测能耗。