#系统优化

共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 4

英伟达AI优势超越GPU,转向数据中心系统

英伟达的AI优势正从GPU扩展到整个数据中心系统,通过更智能的流量控制而非单纯增加处理器周期来提高效率。新一代数据中心系统将优化资源调度,降低能耗,提升整体AI计算性能。这标志着英伟达在AI基础设施领域的战略转型。

TechCrunch AI64 天前
★ 3

AgentZip:面向高扇出智能体沙箱的内存压缩系统

论文指出高扇出智能体工作负载因并发沙箱会话产生内存瓶颈,而沙箱源自共享模板并执行相关轨迹,存在大量模板相对与跨沙箱冗余。作者提出AgentZip,首个专为AI智能体沙箱设计的内存压缩系统,将压缩范围扩展到任何有收益表示的页面,把开销控制从压缩时页面选择转移到恢复时预取,并将压缩对齐到LLM等待期。…

arXiv cs.AI51 天前
★ 2

论文提出 UlaCache:稀疏 LLM 推理的统一逻辑寻址

一篇 arXiv 论文提出 UlaCache,用统一逻辑寻址方式管理稀疏 LLM 推理中的 KV 缓存,目标是提升缓存复用与内存效率。该工作面向大模型服务系统的显存瓶颈问题,属于推理加速方向的系统研究。

Hacker News – LLM1 天前

这个主题的相关资产

相关标签

系统优化 最新资讯与动态(5 篇) - 智讯 AI News