★ 3
#延迟优化
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AI智能体资源与性能动态差异研究
研究针对检索增强问答、网页搜索与软件编程三类任务，刻画LLM智能体在并发请求下的延迟与资源动态。测量发现不同任务行为差异巨大，同一工具的资源动态也显著不同，并发会暴露CPU、磁盘I/O与内存等任务相关瓶颈，且更快的LLM响应或更多CPU核心并不总能加速智能体。基于此提出CPU感知工具准入与任务感知…
arXiv cs.AI45 天前
★ 3
Speculative Macro Commit 加速工具调用型 LLM 智能体
本文提出推测宏提交（SMC），一种双智能体系统运行时机制，由快速推测模型预执行动作链，当主模型匹配时提交结果。在多个基准上，SMC在保持准确率的同时显著降低延迟，提供实用的多步推测执行方法。
arXiv cs.AI59 天前
★ 2
消费级 AI 应用的延迟优化
Hacker News 上讨论如何在不损失保真度的前提下加速图像编辑，以降低消费级 AI 应用的等待时间。用户指出若工作流需 10 次编辑，每次 15-20 秒的等待难以接受。
Hacker News – AI35 天前