★ 4
国产团队用单张 5090 跑 34B 实时世界模型，获英伟达大奖
国内团队在单张 RTX 5090 上实现 34B 参数实时世界模型运行，可实时生成房间变草原、抬手下雪等交互场景。该成果获得英伟达相关奖项，展示了大模型在消费级显卡上的实时推理能力。
快公司7 天前
#推理优化
共 48 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布在已开源大模型、TileLang 编译工具及推理算子库的基础上，进一步将内部推理框架 DeepInfer 全面开源。基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。未来新模型的推理代码与优化也将持续在该框架更新，有助于…
36氪12 天前
★ 4
TabPFN-3.5：新一代表格基础模型技术报告
论文发布旗舰表格基础模型TabPFN-3.5，在TabArena标准表格预测上刷新最优，并扩展至非独立同分布数据、含文本图像表格、高基数类别特征与宽表场景。同时推出快3倍的Fast变体、增强多模态的Plus版本，以及推理时计算扩展、快12倍的Thinking模式。
arXiv cs.LG46 天前
★ 4
研究发布推理工程帕累托图谱，测54种Qwen2.5-7B配置
LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速，难以比较或组合。论文构建成本、质量与延迟的帕累托图谱，实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿；AWQ 4bit …
arXiv cs.AI46 天前
★ 4
DeepSeek V4.1-Flash重构KV Cache
DeepSeek V4.1-Flash参数几乎翻倍，但推理反而更省，核心在于对KV Cache的重构。该优化有望降低大模型推理成本，提升长上下文场景效率。原文内容缺失，仅提供跳转链接。
InfoQ AI52 天前
★ 3
SelfMorph：让冻结大模型按输入自变形计算结构
论文提出 SelfMorph，将计算拓扑变为依赖输入的推理时决策，统一原始前向、层段串行复用与隐状态局部分支合并三种形态，并用轻量选择器在生成前挑选形态。在 4B–27B 三个模型上，分布内基准平均相对提升 8.06%，未见基准提升 4.45%，27 项设置中 24 项最优。
arXiv cs.AI3 天前
★ 3
面向 Qwen 系列模型线性注意力的高性能优化实践
文章分享针对 Qwen 系列模型线性注意力机制的高性能优化实践，涵盖算子实现与推理加速思路。对关注长上下文推理效率与国产模型工程落地的开发者有参考价值。
InfoQ AI10 天前
★ 3
是石科技发布 TokenFleet 调度框架，首 Token 延迟降低 32.4%
是石科技发布 TokenFleet 集群调度框架，针对国产推理场景优化，使首 Token 延迟降低 32.4%。该框架旨在提升推理集群的调度效率与整体吞吐表现。
量子位13 天前
★ 3
ECHO：把多 token 预测并入自回归目标
论文提出 Efficient Causal Self-Recursion（ECHO），让主干最后一层直接预测所有时间跨度，使监督落在生成下一 token 的参数上，并用动态深度采样降低深层训练成本。预训练阶段在推理与代码任务上以一半 MTP 开销取得增益，推理时模型可自任草稿模型，在开放式高熵生成…
arXiv NLP13 天前
★ 3
研究揭示 DRY 采样器重复循环盲区，提出 DRY-C
论文分析语言模型重复循环何时能被打破，指出 top-p 阈值超过 0.5 时会锁死位置，并发现广泛部署的 DRY 采样器存在盲区：序列断点使惩罚上限受限。在 11 个开源模型上，g=6 的锁定单元有 66% 在 DRY 下仍锁死。作者提出 DRY-C，在 720 次结构化输出生成中无一循环到长度上…
arXiv NLP13 天前
★ 3
DS-Net 提出边云协同推理动态切分网络
现有边云协同推理需为不同切分点加载不同模型，切换慢且存储开销大。研究提出 DS-Net，在单一模型内支持多切分点动态切换，并设计分层补偿机制缓解特征分布偏移与信息损失。实验显示内存开销降低 74.6%，切换达毫秒级，在 10 Mbps 带宽下精度提升 1.2%、延迟降低 42.5%、吞吐提升 1.…
arXiv cs.LG13 天前
★ 3
PeekKV 用单 token 探测实现按注意力头分配 KV 缓存
KV 缓存随上下文线性增长成为 LLM 推理内存瓶颈。研究观察到 decode 阶段活跃注意力头在内容 token 间保持稳定，据此提出 PeekKV：在 prefill 后观察单个内容 token，联合获取头组得分与 token 重要性得分，按比例分配缓存预算。无需离线分析或训练，在 Llama…
arXiv cs.LG13 天前
★ 3
自适应专家分配实现 CPU-GPU 协同 MoE 推理，预填充提速 51.9%
研究提出一种 CPU-GPU 协同的 MoE 推理系统，将 GPU 未命中的专家按 token 负载自适应分配到 CPU 或 GPU 执行，并动态平衡两条执行路径的完成时间。在三个代表性 MoE 大模型上，预填充速度最高提升 51.9%，解码吞吐提升 39.5%。
arXiv cs.AI13 天前
★ 3
研究定位 MoE 预填充专家削减损伤：少数提示词 token 决定短答 F1 损失
论文通过 token、层与注意力路径干预，定位 MoE 模型预填充阶段减少路由专家的性能损伤来源。在 Qwen3-30B-A3B 与 DeepSeek-V2-Lite 等四个模型族中，损失主要来自答案前的聊天模板 token 或指令所在的首批提示 token。将约 4% 敏感位置保留全专家可将 F…
arXiv NLP14 天前
★ 3
综述：大模型长上下文的选择性记忆压缩
该综述将长上下文压缩重新定义为推理时的内存管理问题，区分参与计算的活跃内存与可存储检索的非活跃内存。文章把写入、卸载、召回、淘汰、遗忘等操作建模为信息生命周期中的状态转换，并提出统一成本模型。作者认为核心挑战在于决定哪些信息、何时、以何种形式参与昂贵推理。
arXiv NLP17 天前
★ 3
RoPERelay：稀疏 KV 缓存的选择后位置几何优化
论文研究稀疏 KV 压缩中选择后位置几何对保留信息利用的影响，提出 RoPERelay，通过分配紧凑保序的 RoPE 坐标并重定位缓存键相位来改善答案质量。在 36 组对比中 32 组提升，Llama-3.1-8B-Instruct 在 LongMemEval-S 上准确率从 23.6% 升至 3…
arXiv NLP17 天前
★ 3
arXiv 论文提出 Spectral-MoE：逐层异构专家利用率
论文提出 Spectral-MoE，在稠密到 MoE 转换中按层异构分配专家利用率预算，而非各层固定相同激活专家数。方法包含静态（每层标量）与动态（每 token 调度）两种分配器。在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上，动态分配在 25% FFN 利用率下显著降…
arXiv cs.LG18 天前
★ 3
FidelityQ：超低位宽语言模型量化保持预测保真度
研究者提出 FidelityQ 标量量化框架，可在低至 2 比特权重精度下保持预测保真度，引入信息对齐解析编码（IAC）和知识密集校准（KIC）。在 LLaMA-2-7B 上，W2A16 下 WikiText2 困惑度为 6.62，W2A4KV4 结果从 8.31 改进至 6.96，线性层权重内存…
arXiv NLP19 天前
★ 3
研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…
arXiv cs.AI24 天前
★ 3
PersonTTS 框架实现个性化测试时扩展
研究将个性化测试时扩展（TTS）形式化为发现能最大化用户多维需求联合满足率的可执行控制器，提出摊销式智能体策略发现框架 PersonTTS，通过需求匹配的控制器初始化与源蒸馏过程指导复用历史搜索经验。在 AIME 与 HMMT 上，PersonTTS 在未见用户画像与留出题目上的联合需求满足率显著…
arXiv NLP25 天前
★ 3
KVFetch 提出 KV 缓存时序预取压缩框架
论文指出当前 KV 缓存压缩方法只实现按内容关联查找，忽略按位置顺序遍历，导致逐字复制在压缩中途断裂的「顺序遗忘」问题。作者提出免训练即插即用框架 KVFetch，为任意基于评分的压缩器开辟时序召回通道。在 RULER-16K 上逐字复制从 0.8 恢复至 78.4，13 项任务平均提升 8.4。
arXiv cs.LG25 天前
★ 3
Flux：将LLM编译到硬件再提供服务
Flux 是一个面向 LLM 推理的实测执行规划器与运行时，会测量 GPU、CPU 与存储性能，搜索模型层与 MoE 权重的放置方案，并在真实提示上计时选出最快方案。它基于定制版 llama.cpp，支持 148 种架构，并可通过 OpenAI 兼容 API 提供服务。
Hacker News – LLM25 天前
★ 3
AttSVD：注意力引导的低秩KV缓存压缩
论文提出AttSVD，一种基于每个提示自身注意力几何的可解释低秩KV缓存压缩方法，通过在线逐提示截断SVD仅保留注意力实际读取的方向。方法提出累积与流式两种解码缓存策略，以及能量规则与注意力感知基截断两项自适应改进。在多个模型、智能体基准与LongBench上，AttSVD在保持与稠密缓存相当性能…
arXiv cs.LG26 天前
★ 3
一个 Token 值多少算力？MoA 测量充分计算量
论文指出大模型对每个 token 花费相同算力，而投机解码与模型路由的前提是大量算力冗余，但单个 token 实际所需算力从未被测量。作者通过 Mixture-of-Agents 视角，用十五个不同容量模型逐 token 复现参考序列，将最小成功智能体的推理成本定义为该 token 的充分算力。结…
arXiv cs.AI28 天前
★ 3
DeepSeek 推理吞吐提升近7倍
通过内核补齐与通信重构，DeepSeek 推理吞吐量提升近7倍，PCIe 显卡性能被重新评估。报道称1.5台6000D即可跑赢1台B300，显示优化后中低端硬件在推理场景的性价比优势。
量子位38 天前
★ 3
★ 3
StepKV：面向 LLM 智能体的步骤感知 KV 缓存压缩
针对多步 LLM 智能体，现有 KV 缓存剪枝把缓存当作扁平 token 流，与以推理步骤为单位的推理过程不匹配，导致早期关键观察被误删，作者称之为推理连续性中断。StepKV 将推理步骤作为一等保留单元，结合轨迹信号估计步骤效用并与 token 级显著性融合排序。在多跳问答与长程网页推理任务中，…
arXiv cs.LG41 天前
★ 3
PAGE：分区感知门控 KV 缓存淘汰
研究指出 KV 缓存淘汰方法只决定保留哪些 token，却不判断是否该淘汰，导致基准均值掩盖了压缩使准确率从 99% 崩至 0% 的输入类别。PAGE 用预填充注意力中 top-k 头一致性的早期到晚期下降这一无标签标量，在解码前预测输入类别并决定是否启用淘汰。作为保护机制，PAGE 将容量受限场…
arXiv cs.LG41 天前
★ 3
MaaS场景下AI推理自动优化闭环
QCon上海分享介绍了从算子调优到推理自治的完整链路，构建面向MaaS（模型即服务）场景的AI推理自动优化闭环。该方案旨在降低推理成本并提升服务稳定性，对推理平台工程实践有参考价值。
InfoQ AI43 天前
★ 3
Edge0：从 SSD 流式服务 35B MoE 模型
论文指出消费级硬件上 MoE 推理受权重内存限制，朴素 SSD 卸载无法提前预读专家。作者提出 Edge0 流式推理引擎，用 prerouter 提前一个 token 预测下一层路由并直接作为路由使用，配合恢复 LoRA 弥补量化损失。单台 24GB 机器可在 3GiB 峰值内存下以 20tok/…
arXiv cs.AI46 天前