技术
Tokens Per Watt(每瓦 Token 数)
Tokens Per Watt是衡量AI芯片能效的指标,表示每瓦功耗能生成的token数量,解决AI计算能耗评估问题,常用于对比不同硬件推理效率。
详细解释
AI推理的能耗日益受关注,尤其在大规模部署中。Tokens Per Watt综合了吞吐量和功耗,反映硬件在单位能耗下的产出。该指标受模型结构、批大小和精度影响,是选择推理芯片和优化数据中心PUE的关键参考。
别名与相关写法
tokens per watt
相关术语
Token共现 1 篇
相关公司
相关资讯
AI Infra峰会:英伟达Vera Rubin与DSX平台提升能效2026/9/16