#效率优化

共 12 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

arXiv 提出 SLICE-Mem:轻量 LLM 智能体记忆框架

SLICE-Mem 结合显著性门控准入与谓词中心信息抽取,用小型分类器筛选值得保留的用户轮次,在线流程无需生成式 LLM 调用。在 Memora Weekly 与 LongMemEval-S 上,相比 MemOS 基线保持相近准确率的同时,LLM token 消耗分别降低 92.4% 与 99.5…

arXiv NLP6 天前
★ 3

PORA:让 LLM 智能体学会何时该长推理

针对智能体推理预算有限的问题,研究者提出 PORA,在训练时从同一状态分别用短、长推理各完成一次任务,比较结果质量与开销以学习长推理的下游价值;推理时由控制器结合剩余预算压力决定长短推理。在 BFCL 记忆任务上超过最强方法 17.4–32.9 个百分点,代码与数学任务上以少 50.6% 的 to…

arXiv cs.AI12 天前
★ 3

个性化 LLM 只需 5% 对话文本即可匹配全历史效果

研究显示,在 PersonaMem-v2 基准上,通过句子级检索构建的相关性过滤上下文仅用 5% 文本即可匹配全历史准确率,将输入缩减约 20 倍。检索方法只需小型嵌入模型,而 LLM 摘要需读取全部历史,表明更好的上下文选择有望超越全历史。

arXiv NLP19 天前
★ 3

MemFit:高效长期智能体记忆系统

针对现有LLM长期记忆系统依赖昂贵LLM调用进行记忆整理的问题,研究者提出MemFit,采用仅追加存储逐字保存每轮对话,实现近乎即时、无需LLM的插入,并用片段摘要索引而非替换原文。其无LLM多路径检索结合词汇与语义信号及交叉编码器重排。在LoCoMo、MemGallery和LongMemEval…

arXiv cs.AI31 天前
★ 3

接收方条件化潜通信压缩KV缓存

论文提出接收方条件化通信,让接收智能体向发送方传递信息需求描述,用以过滤压缩发送方的KV缓存。CacheBack是其免训练实现,基于发送方注意力权重。在FanOutQA上配合Qwen 3可移除75%的状态,准确率提升14.7个百分点,中位延迟降低3.2倍,并在多种模型架构上表现一致。

arXiv cs.AI34 天前
★ 3

CounterRoute:分层反事实信用分配的自路由推理

推理模型在直接作答即可时仍生成冗长思维链,浪费推理算力。论文提出CounterRoute,一种在线强化学习框架,从原生双模式检查点出发在同一策略中联合学习路由与模式条件响应,无需特定SFT预热。成对当前策略反事实rollout仅将跨模式信用分配给路由token,模式内用GRPO训练响应token。…

arXiv cs.AI38 天前
★ 3

When2Think:难度感知的推理长度控制

论文针对大推理模型「易题过度思考、难题思考不足」的问题,提出后训练框架When2Think,通过实例级难度感知控制(IDAC)动态分配计算量,学习何时用System 1直答、何时用System 2长推理。在AIME24上Pass@3提升10.0%同时token用量减少27.9%,AIME25达40…

arXiv cs.AI45 天前
★ 3

AERA:自适应证据残差分配实现高效测试时推理

AERA 是一种顺序控制器,学习从检查点可观察证据判断额外计算是否可能恢复更好答案。在 GSM8K 上,AERA 以 92.61% 的准确率接近 128 响应的 93.01%,同时减少 95.99% 的完成 token。

arXiv cs.AI63 天前
★ 2

SPEM:面向 LLM 智能体的结构感知程序性记忆框架

论文提出 SPEM,用原子技能记忆与技能 DAG 记忆组织可复用技能,新任务优先复用高置信度技能 DAG 模板,否则检索原子技能并调用 Skill-GNN 做状态与结构感知的选择,成功执行会写回为新 DAG。在 ALFWorld 上成功率达 87.1%、SkillsBench 奖励 38.38%,…

arXiv cs.AI12 天前
★ 2

TopicMerge:分治式主题建模降低 LLM 调用 92%

论文提出 TopicMerge,一种多阶段主题建模流水线,先用高效聚类将语料过度切分为语义纯净的微簇并打初始标签,再由 LLM 结合局部邻域上下文迭代合并与重标注。在 Bills 与 Wiki 数据集上达到最优聚类性能,同时相比文档级方法减少逾 92% 的 LLM 调用。

arXiv NLP18 天前
★ 2

SHarP:基于显著性的智能体框架剪枝

论文将神经网络剪枝思想引入智能体框架,提出SHarP(基于显著性的框架剪枝),通过逐个禁用工具、指令与支撑机制模块,评估其对任务性能与token成本的影响,剪除贡献最小或开销最大的模块。在多个框架的留出验证集上发现,多数框架高度冗余,剪除相当比例模块后仍能维持相近的性能与效率,为智能体框架设计提供…

arXiv cs.AI27 天前
★ 2

文本到图像模型训练提速3.6倍

一项技术分享介绍了将文本到图像模型训练速度提升3.6倍的方法,在Hacker News获得14分与1条评论。该优化对降低扩散模型训练成本、加速生成式AI研发具有实用价值。

Hacker News46 天前

这个主题的相关资产

相关标签

效率优化 最新资讯与动态(12 篇) - 智讯 AI News