★ 4
Kimi K3.1 Pro 与 K3.1 Pro Highspeed 发布
月之暗面 Kimi 推出 K3.1 Pro 及 K3.1 Pro Highspeed 两个版本，在 Hacker News 获得 338 分、171 条评论的高热度。Highspeed 版本主打更快的推理速度。
Hacker News9 天前
#推理加速
共 107 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
MiniMax M3.1 Flash 发布：速度提升 3 倍、价格降 70%
MiniMax 正式发布新一代 Flash 模型 M3.1 Flash，此前匿名处理超 200T Token 的 Space Bunny 即其早期版本。新模型在 Agentic 任务、编程、Computer Use 与网络安全能力上实现代际提升，线上推理速度提升近 3 倍、成本降低 70%。官方预…
36氪13 天前
★ 4
英伟达详解BioNeMo推理运行时BioIR
英伟达公布BioNeMo推理运行时BioIR，这是一个在纯PyTorch环境下加速生物分子结构预测模型的Python库。在8张H100的匹配基准测试中，加速后的Boltz-2折叠吞吐量达每GPU小时58.5K残基，较torch编译开源实现提升2.90倍。BioIR已支持AlphaFold数据库扩展…
MarkTechPost52 天前
★ 3
Flide：精确状态分叉加速决策模型推理
针对 Jev 等决策模型在现有生成式推理引擎上前缀重算开销大、输出概率失真的问题，论文提出 Flide 推理引擎，用 ForkAttention 在 GPU 常驻索引上跨标准注意力与 Gated DeltaNet 层导航请求依赖。在公开混合与决策模型上比 vLLM、SGLang 快至多 9.5 倍…
arXiv NLP6 小时前
★ 3
aFMLM 提出异步流映射语言模型，实现单步并行生成
论文提出异步流映射语言模型（aFMLM），通过逐 token 时间调度将预测顺序编码进一步式建模，使模型在单次前向传播中生成全部 token。作者形式化了一类支持预设与学习式自适应调度的异步流，并给出流映射蒸馏方法。在数独求解与 GSM8K 代码生成任务上取得新的单步最优性能。
arXiv NLP6 小时前
★ 3
TraceSpec：为 LLM 智能体改进投机解码的轨迹自适应框架
论文指出聚合式投机解码指标掩盖了智能体不同决策点的差异，提出 TraceSpec 框架，将轨迹评估与自适应草稿训练结合，并发布含 1 万训练状态、2500 测试状态的 TraceSpec-Traj 语料。方法按状态条件分配预测预算，在三种目标规模与两种温度下将重放吞吐提升 12.5%–22.6%。…
arXiv NLP6 小时前
★ 3
斯坦福 Hazy Research 提出非自回归 NC LLM，出词速度超文本扩散 21 倍
斯坦福 Hazy Research 团队发布博客，介绍一种非自回归的 NC LLM 方法，其 token 生成速度达到文本扩散模型的 21 倍。该工作探索绕开逐 token 自回归解码的并行生成路径，有望显著提升大模型推理效率。相关内容在 Hacker News 上引发讨论。
Hacker News – LLM2 天前
★ 3
GAAC 无损 KV 缓存压缩加速个人设备长上下文推理
论文提出 Group-Adaptive Additive Codec（GAAC），利用指数冗余实现 BF16 KV 缓存的无损压缩，压缩比约 1.41 倍，并配合融合注意力核在线重建。在 NVIDIA DGX Spark 上 64K 上下文解码注意力加速 1.19-1.27 倍，常驻 KV 内存降…
arXiv cs.AI3 天前
★ 3
SkillMem 提出潜空间多智能体技能记忆压缩方案
论文提出 SkillMem，将可复用技能表示为小型外部潜记忆，供潜空间多智能体推理直接调用，通过角色条件交叉注意力读取器按角色引导不同智能体。在六个基准与 Qwen3 4B–14B 模型上，100 个技能库存储降低逾 38 倍，端到端推理最高加速 4.23 倍。
arXiv cs.AI3 天前
★ 3
LinkedIn 将 LLM 标注器改为语义打分，吞吐提升 1.9 倍
LinkedIn 提出端到端方案，将 LLM 标注器从生成式 YES/NO 列表改为语义打分，在单候选提示上微调，用一次 prefill 的答案 token 分数给出决策。作者改造多项打分（MIS）以在一条序列中为数百候选打分并屏蔽相互注意力。上线于个人资料资格标注后，候选重排仅改变至多 0.01…
arXiv cs.LG5 天前
★ 3
GateRQ：按门控精度量化 DeepSeek 条件记忆表
论文针对 DeepSeek Engram 类条件记忆层提出 GateRQ，利用门控值加权量化误差，将每行存为 1-bit 残差码阶梯，仅对门控排名高的查表读取更深层级。在 DeepSeek-V4.1-Flash 上无需重训即把 GPU 表内存压缩 7.8 倍，vLLM 吞吐较 FP8 提升 11%…
arXiv cs.LG5 天前
★ 3
WAKMan：按负载自适应选择 KV 缓存淘汰策略
论文提出 WAKMan，一种负载感知的 KV 缓存管理器，可在不读取请求类型与提示内容的情况下，依据实时流量动态切换淘汰策略。作者发现智能体类请求偏好近因、长对话与热门提示偏好频率，20 种混合负载下没有单一最优策略。WAKMan 相比 vLLM 默认 LRU 平均提升 5 个百分点命中率，且平均…
arXiv cs.AI5 天前
★ 3
Carmen 开源：用 Claude 生成并验证苹果芯片 Metal 内核
开发者发布 Carmen，一个让 Claude 编写 Apple Silicon GPU Metal 内核并自动测试验证的框架。它不只检查内核正确性，还实测真实模型在 Mac 上是否真正加速。结果显示在 MLX 已高度优化的矩阵乘与注意力上难有提升，但在小模型与投机解码场景仍有收益。
Hacker News – AI5 天前
★ 3
arXiv 论文提出 Boa Compressor，基于 Mamba 的线性时间上下文压缩
论文提出 Boa Compressor，基于 Mamba 状态空间模型的即插即用在线上下文压缩器，单次线性时间编码任意长度上下文，并通过蒸馏训练对齐完整上下文下的 token 分布。同等压缩率下性能持平或超过现有离线压缩基线，速度提升一个数量级，可支持 16 倍激进压缩。
arXiv NLP6 天前
★ 3
S-SALAAD：结构化稀疏让大模型单检查点弹性压缩并加速推理
论文提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持多种硬件友好的结构化稀疏模式，并配套预算感知压缩与专用 CPU/GPU 内核。在 Llama2 与 Qwen3 上的预训练与蒸馏实验显示，该方法在困惑度、内存与推理延迟的帕累托前沿上优于基线，使大模型可在边缘…
arXiv cs.LG7 天前
★ 3
HyScale 长上下文训练系统：GLM-5.1 百万 token 训练提速 2.07 倍
论文提出面向学习型稀疏注意力的长上下文训练系统 HyScale，核心洞察是选择输出是指标集合而非激活，据此设计 HyTopK 与选择重放，避免物化完整分数表并复用前向选择。在 512 张 H20 上使 GLM-5.1 的百万 token 序列训练较 Megatron-LM 提速 2.07 倍，并加…
arXiv cs.AI7 天前
★ 3
arXiv 提出 RIFT：草稿模型 KV 缓存压缩，Qwen3.5 保留 98% 接受长度
论文针对投机解码中草稿模型的 KV 缓存压缩问题，提出「解码陈旧性」现象并给出 RIFT 系列基于选择策略的压缩方法，平衡预填充信息与近期生成 token。配合基于稀疏注意力掩码的可压缩性训练，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K 输入、8K 缓存预算下保留超 9…
arXiv NLP10 天前
★ 3
研究：将 LLM 控制编译为策略精确并行推理，层级 RAG 延迟降 47%
论文指出层级 RAG 中 LLM 控制器仍靠自回归串行解码，作者把有界视野控制编译为浅层动作前缀树，用一次根预填充加一次树因果探针即可并行评估所有前缀条件动作分布。在 MetaX 与 H800 设备上，编译控制与串行策略在 84%–89% 问题上一致，控制延迟相比逐 token 串行解码降低 35…
arXiv NLP10 天前
★ 3
研究：长思维链下投机解码接受率并不随位置衰减
论文在 MATH-500 全部 500 题上，用同族与跨族两个独立草稿模型对 DeepSeek-R1-Distill-Qwen-7B 做约 178 万轮验证，首次系统测量接受率随生成位置的变化。排除贪心解码重复问题后，四种配置下接受率均不随位置衰减，后半段甚至略高。拒绝集中在「wait」「howe…
arXiv cs.AI10 天前
★ 3
研究对比 2:4 稀疏与量化：大模型推理该选哪一步
论文在等比特与等张量核档位下比较 2:4 半结构化稀疏与量化，覆盖三代 GPU 与 Transformer 层全部六个 GEMM 操作数。结论是只要还有更低精度可选，加 2:4 都是更差的一步；量化到底后 2:4 仍可提速线性层 1.3–1.7 倍，H100 上 FP8 稀疏模型预填充吞吐提升 2…
arXiv cs.LG11 天前
★ 3
DiffResearch 开源扩散语言模型深度研究框架，端到端提速 6 倍
论文提出 DiffResearch，一个开源多智能体深度研究框架，把扩散语言模型（dLLM）置于规划、检索、写作各阶段核心。在 100 项 Deep Research Bench 任务上，扩散骨干比同规模自回归模型端到端快约 6 倍，规划与写作环节提速达数量级。作者还提出 dFast 分解模式，利…
arXiv cs.AI11 天前
★ 3
九章云极 Alaya-DFlash2 助 GLM-5.3 解码提速 3.41 倍
九章云极推出 Alaya-DFlash2，针对长文本推理瓶颈优化解码效率，使 GLM-5.3 的解码速度提升 3.41 倍。该方案面向长上下文场景下的推理加速，旨在降低大模型长文本处理的时延与成本。
InfoQ AI12 天前
★ 3
PV-Decoding：扩散模型渐进验证推测解码提速
论文提出 PV-Decoding，一种面向块扩散推理的置信度驱动推测解码框架，用两个置信阈值把掩码位置分为直接解码、推测与未解决三类，并采用渐进式验证策略。在三个扩散语言模型与 GSM8K、MBPP、HumanEval 上，顺序前向次数减少 8%–37%，最大精度下降仅 1.3%。
arXiv NLP13 天前
★ 3
FlashMap：流映射投机解码在 Qwen3-8B 实现 6.1 倍加速
论文提出 FlashMap，一种连续流草稿模型，以目标模型隐藏状态为条件，一次前向生成整块 token 并捕捉 token 间依赖。相比 DFlash 等块扩散草稿器，其在 Qwen3-8B 上所有基准均更快，平均加速提升 7%，最高实现 6.1 倍无损加速。
arXiv NLP13 天前
★ 3
arXiv 提出 DScout，优化扩散草稿模型投机解码吞吐
论文提出 DScout，用训练端与推理端两种分解指导扩散草稿模型的投机解码。训练端把逐位置损失分解为包含、加权与预测损失以对齐前缀接受；推理端把吞吐分解为平均接受 token 数与单轮延迟之比来选择配置。在 Qwen3-4B 与 Qwen3-8B 上分别取得 3.84 倍与 4.14 倍平均加速，…
arXiv cs.LG13 天前
★ 3
FlashRT-PAI：物理 AI 推理快内核不等于快流水线
论文指出视觉-语言-动作、视频-动作与世界动作模型的实时单批推理瓶颈在系统级开销而非单个内核计算。作者提出 FlashRT-PAI 推理引擎，结合深度内核融合与启动重叠、执行契约、执行状态胶囊三种机制。在 RTX 5090 与 Jetson AGX Thor 上比官方编译路径快 1.3-3.7 倍…
arXiv cs.AI13 天前
★ 3
8点1氪丨被指品质暴跌，山姆回应；宇树科技市值重回2000亿，人形机器人股批量涨停；马斯克承诺给“美国每个孩子”1股SpaceX股份
MiniMax 正式发布新一代 Flash 模型 M3.1 Flash，此前匿名处理超 200T Token 的 Space Bunny 即其早期版本。新模型在 Agentic 任务、编程、Computer Use 与网络安全能力上实现代际提升，线上推理速度提升近 3 倍，使用成本降低 70%。M…
36氪13 天前
★ 3
SPOT：预测提交顺序加速扩散语言模型推测解码
论文指出扩散语言模型推测解码的关键缺口是「下一个填哪个位置」，而非 token 本身。作者提出 SPOT，用仅 0.62M 参数的模型读取目标输出分布并预测提交顺序，配合耦合噪声匹配验证支持任意温度下的树式推测。实验将目标前向次数最多减少 6.8 倍、吞吐提升至 3.2 倍，且草稿器可跨六个扩散语…
arXiv cs.LG14 天前
★ 3
CoSTA：压缩语音 token 适配提升口语对话模型效率
论文提出 CoSTA，一种保持兼容性的后处理框架，解耦生成与合成的 token 空间，同时保留原始语音 tokenizer 与解码器。通过均值初始化词表扩展、发音与对话适配，CoSTA 实现约 1.7 倍语音 token 生成加速，降低完整响应延迟并提升吞吐，同时保持响应质量。
arXiv NLP17 天前
★ 3
arXiv 论文：AbridgeKV 将长推理压缩进 KV 缓存
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。
arXiv NLP17 天前