★ 3
边缘-云LLM函数调用的碳感知路由
论文提出碳感知路由框架，将函数调用查询在三层边缘-云架构上分发，结合边缘与云端异构硬件上的 LLM。核心是轻量 k-NN 预测器在统一语义-词汇嵌入空间中估计各层准确率、延迟与功耗，再结合实时电网碳强度将查询路由至最低排放且能成功执行的层级。在主流函数调用基准上，该框架在保持云端级准确率的同时平均…
arXiv cs.AI48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出碳感知路由框架，将函数调用查询在三层边缘-云架构上分发，结合边缘与云端异构硬件上的 LLM。核心是轻量 k-NN 预测器在统一语义-词汇嵌入空间中估计各层准确率、延迟与功耗，再结合实时电网碳强度将查询路由至最低排放且能成功执行的层级。在主流函数调用基准上，该框架在保持云端级准确率的同时平均…