★ 3
边缘-云LLM函数调用的碳感知路由
论文提出碳感知路由框架，将函数调用查询在三层边缘-云架构上分发，结合边缘与云端异构硬件上的 LLM。核心是轻量 k-NN 预测器在统一语义-词汇嵌入空间中估计各层准确率、延迟与功耗，再结合实时电网碳强度将查询路由至最低排放且能成功执行的层级。在主流函数调用基准上，该框架在保持云端级准确率的同时平均…
arXiv cs.AI48 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出碳感知路由框架，将函数调用查询在三层边缘-云架构上分发，结合边缘与云端异构硬件上的 LLM。核心是轻量 k-NN 预测器在统一语义-词汇嵌入空间中估计各层准确率、延迟与功耗，再结合实时电网碳强度将查询路由至最低排放且能成功执行的层级。在主流函数调用基准上，该框架在保持云端级准确率的同时平均…
论文在贝叶斯优化框架中引入量化计算能耗足迹的指标，引导模型参数配置在性能与节俭之间取得平衡。计算机实验揭示了最优收敛与能耗之间的权衡，有时甚至同时获得更好的最优解和更低的能耗。该工作为多学科设计优化等计算密集问题提供了节能思路。