★ 3
面向消费级 GPU 的自适应三指标 RAG 路由框架
研究指出在 NVIDIA T4 等 16GB 显存消费级 GPU 上部署 RAG 存在“压缩悖论”：神经提示压缩会加剧 KV 缓存争用与预处理延迟，不压缩则长上下文易 OOM。作者提出免训练的三指标路由器，依据空间复杂度、句法密度与类符形符比，在原始、神经压缩与词法压缩三条流水线间调度。在分布外测…
arXiv cs.LG46 天前
#提示压缩
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究提出可复现评测框架，用于生产智能体的提示压缩
一篇 arXiv 论文提出面向生产对话智能体的离线可复现评测框架，可在后端数据变化后按需重新生成基准。作者将该框架作为 GEPA 提示优化的适应度函数，并加入正确性门控防止奖励作弊。在商户侧生产智能体上，正确性门控压缩使提示面缩小 3.5%-7.6% 且不损害留出任务正确率。
arXiv cs.AI7 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1