★ 3
研究提出测试时记忆演化 TTME,科学发现任务超越测试时训练且省 82% 算力
论文提出即插即用的测试时自适应方法 TTME,通过持续更新外部记忆蒸馏经验来引导后续发现,无需更新模型权重。在相同发现框架下,TTME 在全部五个数学任务上优于测试时训练 TTT,同时减少 82.8%-84.6% 的 FLOPs 与 47.7%-58.4% 的运行时间。
arXiv cs.AI7 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出即插即用的测试时自适应方法 TTME,通过持续更新外部记忆蒸馏经验来引导后续发现,无需更新模型权重。在相同发现框架下,TTME 在全部五个数学任务上优于测试时训练 TTT,同时减少 82.8%-84.6% 的 FLOPs 与 47.7%-58.4% 的运行时间。
论文提出受海马体选择性编码与回放启发的记忆框架 Hippo,让 LLM 智能体在不更新参数的情况下通过外部记忆自我改进。它对比同一任务的多次尝试以提炼可复用决策,并通过适用条件合并冲突、修订旧经验。在 SWE-bench Verified、WebArena、Mind2Web 上均有提升,且保留的经…
论文提出自键控参数内记忆(SKIM),让模型为每轮对话自生成多个问题并写入参数作为检索键,后续用户提问可直接从参数中召回答案。在五个语言模型上测试,多数存储对话轮次可被正确召回,无需任何外部存储。该工作探索了把对话记忆内化到模型权重的可行性。
论文指出复杂推理问题需要更大上下文与记忆,而无缓存的上下文管理可能丢弃有用信息。作者提出 RCMEM,用外部记忆保存额外信息而不增加推理模型的上下文负担,在需重复计算中间步骤的问题上显著降低计算时间并提升复杂问题表现,在数学题与 GPT-2 等模型上验证。