arXiv cs.LG·25 天前★ 3

KITE:面向任务的关键层 KV 通信多智能体协作

原文标题:Task-Oriented Key-Layer KV Communication for Efficient Latent Multi-Agent Collaboration

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文提出 KITE,一个免训练的任务导向关键层 KV 通信框架,用于提升潜在效率。它从接收端任务充分性出发,仅传输关键层的潜在工作记忆,在七个基准上通信量减少 28-36 倍,端到端推理最高提速 3 倍,准确率最高提升 23.3 个百分点。

深读 · 结论先行AI 生成展开看要点与影响 ↓

KITE免训练只传关键层KV,通信量降28-36倍、推理提速3倍、准确率最高涨23.3点。

  • •把潜在通信目标从发送端状态保真改为接收端任务充分性,用接收轨迹失真准则挑出任务有效关键层
  • •只传关键层潜在工作记忆,并以同层作为自回归潜在推理入口,全程免训练
  • •七个基准、两个模型家族、三种模型规模上验证,对比全层KV通信
  • •通信量减少28-36倍,端到端推理最高提速3倍,准确率最高提升23.3个百分点

为什么重要:潜在通信的主要开销来自全层KV传输,若只传关键层即可保精度,将直接降低系统的部署成本。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

所属主题多智能体4
阅读原文 +0
AI 处理过程展开/收起
原始标题:Task-Oriented Key-Layer KV Communication for Efficient Latent Multi-Agent Collaboration
AI 中文标题:KITE:面向任务的关键层 KV 通信多智能体协作
来源:arXiv cs.LG · 发布于 25 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:多智能体 / KV 缓存 / 潜在通信 / 推理加速 / 大模型
关键词:多智能体协作 / KV 通信 / 推理加速 / 大模型智能体 / 潜在通信
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
KITE:面向任务的关键层 KV 通信多智能体协作 - 智讯 AI News