★ 4
扩散模型进军 Agent，350 亿参数速度超 Jev 一倍
研究团队将扩散模型用于 Agent 任务，推出 350 亿参数模型，速度比 Jev 快一倍。该工作挑战主流自回归路线在智能体场景的主导地位，为 Agent 推理效率提供新思路。
量子位4 天前
#推理效率
共 29 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
谷歌发布 Gemma-4-26B-A4B，同等准确率下思考量减少 39-69%
谷歌推出 Gemma-4-26B-A4B 模型，在保持同等准确率的前提下将推理思考量降低 39% 至 69%。该模型采用 MoE 架构（26B 总参数、4B 激活参数），主打高效推理。消息在 Hacker News 引发讨论，被视为小激活参数模型效率优化的重要进展。
Hacker News9 天前
★ 3
SWE-Verifier：选择性验证降低编码智能体成本
论文提出轻量生成模型 SWE-Verifier，对编码智能体提出的动作打分，仅在必要时触发候选采样与排序，从而降低推理开销。基于 Qwen3.5-4B 训练，在 MiniMax-M2.7 上把解决率从 75.47% 提升至 77.20%（1.09 倍成本），并零训练泛化到 DeepSeek-V4-…
arXiv cs.LG9 天前
★ 3
SGUR 框架：结构化推理让小模型追平 10 倍大模型
论文提出免训练框架 SGUR，把不完整观测表示为查询图，通过先验加权部分图匹配与主动信息增益策略逐步缩小候选假设空间。在 PrimeKG 医疗诊断基准上，仅凭两个症状即达 92.5% Hit@3，比最强 Graph-RAG 基线高 9.4 个百分点且 token 用量约为其五分之一。小骨干模型可追…
arXiv cs.AI9 天前
★ 3
Rouge 框架用 KL 正则路由实现 LLM 按需推理
论文提出 Route-and-Generate（Rouge）分层训练框架，让 LLM 按输入自适应决定推理量。路由策略在多种推理格式间分配固定采样预算，基础模型用 GRPO 与逐样本奖励优化，并以基于排名的奖励偏好更短的正确答案。路由策略通过闭式 KL 正则策略改进步骤蒸馏进神经路由器，在多个推理…
arXiv cs.AI9 天前
★ 3
论文提出 Jev 式类型化决策：单次前向传播替代前沿 LLM 评审
arXiv 新论文复现 Jev 的 System 1 类型化决策接口，用冻结骨干加 rank-16 LoRA 适配器与指针头，在一次前向传播中回答三个类型化问题。内部评审系统处理约 14.8 万条智能体编程会话记录，成本约为前沿 LLM 评审的 1%，且数据不出组织。第二部分在 1B/2B/35B…
arXiv NLP10 天前
★ 3
WAQS 框架用二次探针实现无额外开销的激活引导
论文提出 WAQS，通过二次探针建模概念，其梯度给出随激活变化的仿射引导方向，并可离线折叠进相邻线性层，从而在推理时不增加计算。作者证明二次函数是梯度干预为仿射且可精确吸收的最大光滑概念分数类。在真实性、拒答与谄媚引导任务上，二次引导达到或优于固定线性引导，同时保持模型效用。
arXiv cs.AI12 天前
★ 3
UAA 框架为 LLM 树搜索按不确定性分配预算，省 90% token
研究指出树搜索中同一中间状态的续写高度重复，兄弟动作的语义分散度可预测下游冗余。作者提出免训练的不确定性感知分配（UAA），用分散度决定哪些候选值得扩展。在数学、逻辑与规划基准上，UAA 在精度相当的情况下最多减少 90% token 用量、延迟降低至多 9 倍，并适用于四种树搜索算法与开源/闭源…
arXiv NLP13 天前
★ 3
TRACER：面向 LLM 智能体的轨迹感知工具检索
论文提出 TRACER 检索前端，用 trie 索引历史工具调用序列并排序后续候选。在零售与电信混合环境中，它将 GPT-5.4 工具选择准确率提升 4.7 个百分点，每步输入 token 减少 80%，仅暴露 128 个工具中的 5 个。
arXiv NLP16 天前
★ 3
Titan-Llama：为预训练LLM加外部神经记忆模块
研究者提出 Titan-Llama，一种后训练方法，通过分层记忆架构为基于注意力的语言模型加装可在测试时更新参数的神经记忆模块（NMM）。在 Llama-3.2-1B-Instruct 上，QuALITY 准确率从 23.87% 提升至 40.51%，LongHealth 从 14.50% 提升至…
arXiv NLP17 天前
★ 3
Multi-Ratio ConceptMoE 支持多计算预算灵活分配
论文提出 Multi-Ratio ConceptMoE，在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线，混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。
arXiv cs.LG18 天前
★ 3
Kronecker 乘积注意力：结构化分解压缩 KV 缓存
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…
arXiv cs.LG20 天前
★ 3
Liquid AI 开源决策模型 d1，单次前向传播出答案
Liquid AI 在 Hugging Face 发布开源决策模型 d1，主打单次前向传播即可给出决策答案，无需链式推理或多步生成。该模型面向智能体与自动化决策场景，强调低延迟与可部署性。
Hacker News – AI23 天前
★ 3
Plan-and-Patch：扩散语言模型用于智能体规划与修复
论文提出 Plan-and-Patch 框架，用扩散语言模型生成结构化程序式计划，并通过填补局部区域修复计划而保持前后步骤不变。对比 DreamReasoner-8B 与 Qwen3-8B，扩散模型在计划修复成功率上达 53.7%，约为自回归模型 27.0% 的两倍，且计划生成延迟降低 39-46…
arXiv cs.AI23 天前
★ 3
SpikingVLA 发布：异步脉冲视觉语言动作模型
论文提出 SpikingVLA，一个 ANN-to-SNN 转换框架，通过树突整合发放（DIF）神经元与异步执行机制，实现低延迟脉冲 VLA 推理。相比现有脉冲 VLA 方法，成功率与 SPL 分别提升 11.9% 和 12.6%，首动作延迟降低 11.2 倍。
arXiv NLP24 天前
★ 3
循环语言模型实现动态计算：FLOPs 与 KV 内存降 30%
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
arXiv cs.AI24 天前
★ 3
ALoDLM：自适应循环扩散语言模型
研究者提出 ALoDLM，用 token 自适应潜在循环替代扩散语言模型（DLM）中均匀的计算深度分配，让难预测的 token 获得更多迭代精修。该方法将 token 级计算调度建模为隐变量并推导条件 NELBO 进行联合训练，在 1.7B 与 8B 两个规模上训练。在 11 项基准上，ALoDL…
arXiv cs.AI26 天前
★ 3
RAZOR：剪枝大模型中的可替换专家
论文提出 RAZOR，一种免训练的 MoE 专家剪枝方法，通过共识残差评估专家的功能可替换性，而非仅看使用频率或贡献幅度。在 GLM-4.7-Flash、Qwen3.6-35B-A3B、DeepSeek-V4-Flash-0731 与 Hy3 上，25% 与 50% 剪枝率下均取得九任务宏平均最优…
arXiv cs.LG34 天前
★ 3
Policy as Code：协程桥接提升智能体可靠性
论文提出协程桥接执行框架，让模型唯一动作是输出可阻塞与恢复的 Python 程序，从而将模型调用与工具往返解耦。在 CAR-bench 公开测试集上，每任务中位仅 2 次模型调用、7 个智能体回合，Cerebras gpt-oss-120b 上中位延迟 1.8 秒；官方隐藏评测中以 60.0% P…
arXiv cs.AI37 天前
★ 3
L0 正则化混合专家加速稠密大模型
论文提出 L0-MoE，一种利用 L0 正则化的轻量级混合专家方法，可在几乎不损失性能的前提下加速稠密 LLM。方法引入聚类混淆矩阵进行领域感知数据筛选，并采用动态批处理提升训练效率。实验显示相比稠密模型最高提速 2.5 倍，优于现有加速基线。
arXiv cs.AI41 天前
★ 3
候选生成策略影响 LLM 测试时扩展的能耗与性能
论文指出测试时扩展中候选数量 N 无法描述候选如何被执行，相同预算可来自一次批处理或多次串行调用。在固定 N=8 下比较 1x8、2x4、4x2、8x1 四种调度，A100 上八次串行调用的 GPU 能耗为单次批处理的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。结论是评估应同…
arXiv cs.LG44 天前
★ 3
SABER：基于对抗分支探测的稳定性感知早停
SABER 是一种无需训练的框架，通过构造语义扰动分支并探测结果一致性，实现大推理模型的稳定性感知早停。在多个基准上平均减少 30.2%-39.8% 的推理 token，同时保持与全长度推理相当的准确率。
arXiv cs.AI62 天前
★ 2
Sep-Latent：用分隔符锚点实现隐式推理压缩
论文提出Sep-Latent自适应隐式推理框架，以分隔符token作为结构语义锚点，通过注意力衰减机制压缩推理逻辑，并用多层蒸馏对齐显式与隐式路径。在GSM8k-Aug上以平均5.4个token达到56.8%准确率，优于固定长度隐式方法。
arXiv cs.AI12 天前
★ 2
CADENCE 提出自适应解码：一次预测多 token 提速 1.3 倍
论文提出 CADENCE（上下文自适应解码）方法，用高斯预测头把未来片段表示为连续隐向量，并由学习到的路由器根据模型隐状态决定一次预测多长。在 Llama-3.1-8B-Instruct 上，Alpaca、GSM8K、HumanEval 实验显示生成吞吐比标准贪心解码最高提升 1.3 倍。
arXiv cs.LG13 天前
★ 2
AI长期记忆研究：5000万Token窗口更快更省
一篇 arXiv 论文提出面向 AI 长期记忆的 5000 万 Token 上下文窗口方案，声称在速度与成本上优于重新计算（recompute）方式。该工作聚焦长上下文推理中的记忆与效率权衡，若成立可降低长文档、长对话场景的推理开销。目前仅为论文预印本，尚无同行评审或产品化验证。
Hacker News – AI24 天前
★ 2
大模型跨语言Token与推理效率配对研究方案
一篇arXiv论文提出前瞻性配对研究方案，旨在分离输入语言、可观测推理轨迹语言与答案实现三个接口对LLM推理成本的影响。设计涵盖240个精确评分项、8种语言、3个开源权重检查点与22种语言条件，共47,520次核心运行。研究将tokenizer扩展、可观测轨迹成本与答案实现成本区分开，为跨语言效率…
arXiv cs.AI26 天前
★ 2
神经算子虚拟传感的节能运行
论文研究虚拟传感中共享空间计算如何降低重复更新的能耗，同时保留检查点与预测结果。在换热器服务中，编译器冻结与显式主干复用相对图重放可降低约 1% 至 20% 的运行能耗，具体取决于请求频率。研究还通过 DeepONet 与傅里叶神经算子对比，区分可复用算术与启动开销的影响。
arXiv cs.LG34 天前
★ 2
LW2S：多智能体 LLM 工作流的反事实信用分配
论文将多智能体 LLM 工作流中的组件省略问题形式化为反事实信用分配，提出 Learning What to Skip（LW2S）。该方法通过受控跳过干预学习动作级安全模型，结合留出校准与领域守卫选择跳过时机。在数学推理、选择题问答与代码生成任务上，LW2S 在保持或提升整体准确率的同时降低了 t…
arXiv cs.AI34 天前
★ 1
Jev-Mem：系统一控制的智能体记忆机制
一篇学术论文提出 Jev-Mem，用「系统一」式的快速直觉控制来管理智能体记忆，以降低长任务中的推理开销。目标是让 AI 智能体在保持效率的同时拥有更可靠的长期记忆。
Hacker News – AI37 天前