★ 3
AI智能体资源与性能动态差异研究
研究针对检索增强问答、网页搜索与软件编程三类任务,刻画LLM智能体在并发请求下的延迟与资源动态。测量发现不同任务行为差异巨大,同一工具的资源动态也显著不同,并发会暴露CPU、磁盘I/O与内存等任务相关瓶颈,且更快的LLM响应或更多CPU核心并不总能加速智能体。基于此提出CPU感知工具准入与任务感知…
arXiv cs.AI45 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究针对检索增强问答、网页搜索与软件编程三类任务,刻画LLM智能体在并发请求下的延迟与资源动态。测量发现不同任务行为差异巨大,同一工具的资源动态也显著不同,并发会暴露CPU、磁盘I/O与内存等任务相关瓶颈,且更快的LLM响应或更多CPU核心并不总能加速智能体。基于此提出CPU感知工具准入与任务感知…