★ 5
谷歌发布 Gemini 4 Argon 前沿模型
谷歌 DeepMind 发布新一代前沿模型 Gemini 4 Argon，面向可信网络安全防御者通过 Fairwind 计划逐步开放。该模型在长周期软件工程、法律金融等企业知识工作及网络安全防御上表现领先，输出上限提升至 100 万 token，定价为每百万输入 2 美元、输出 10 美元。
Google DeepMind32 天前
#长上下文
共 80 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
Zyphra 提出 ZHA 层次树索引注意力，实现亚二次方扩展
论文提出 Zyphra Hierarchical Attention（ZHA），基于层次化树结构索引器在 KV 缓存上构建递归压缩的键摘要树，查询自顶向下遍历检索稀疏键子集，使含路由与最终注意力的总成本随序列长度亚线性增长。方法只需少量 token 的 KL 蒸馏即可用于现有预训练模型，并在长上下…
arXiv NLP2 小时前
★ 4
Universal Attention：KV 缓存 25 倍压缩
arXiv 论文提出 Universal Attention 架构，用复合衰减机制统一并扩展基于衰减的 KV 缓存剪枝方法，保留 RoPE 与 Softmax 注意力。该机制充当自适应剪枝准则，在自然语言与合成任务上实现 10 倍压缩并提升下游性能，长上下文 16k 长度下达到 25 倍压缩。
arXiv cs.LG25 天前
★ 4
TierKV：面向端侧长上下文的多级 KV 缓存
针对移动端 LLM 长上下文场景中 KV 缓存成为内存瓶颈的问题，作者提出 TierKV 推理框架及其预测式多级缓存优化 PMCO。该方法在解码前从预填充隐状态预测未来缓存需求，将 token 分配到精确、低秩与闪存卸载三级，保留完整上下文并避免反应式淘汰的循环依赖。在三种移动 SoC 的八种模型…
arXiv cs.LG42 天前
★ 4
阿里Qwen发布Qwen3.8-Omni-Flash全模态模型
阿里Qwen发布Qwen3.8-Omni-Flash，这是一款支持100万上下文的全模态模型，围绕智能体化的音视频理解与工具调用构建。官方称其在OmniVideoBench上减少约45.7%的token消耗，展现出高效的多模态代理能力。
MarkTechPost44 天前
★ 4
ZGCM-1 全开源高效数学与智能体搜索模型
论文发布ZGCM-1，一个从零训练的全开源7B稠密基础模型，强调数据、系统与算法效率。模型采用交错门控滑窗与全注意力、稳定的FP8 Muon优化器，支持256K上下文，并在数学推理与智能体搜索任务上媲美Qwen3-235B-A22B、GLM-5.1等大得多的前沿模型。预训练设计在16K上下文下带来…
arXiv cs.AI48 天前
★ 4
★ 4
DeepSeek发布V4.1-Flash：1M上下文与FP4 KV缓存
DeepSeek 发布 DeepSeek-V4.1-Flash，针对长时程智能体带来的输入密集型负载设计。该多模态 MoE 模型拥有 552B 主干参数、196B Engram 参数与 100 万 token 上下文窗口，并引入 FP4 KV 缓存与跨层注意力复用，以缓解 HBM、SSD 容量与带…
MarkTechPost52 天前
★ 3
GraphNIAH：基于真实引文图的长上下文推理基准
论文提出 GraphNIAH，用模型知识截止后发表的论文真实引用关系自动构建长上下文问答基准，规避合成数据与数据污染问题。评测 GPT-5.6、Gemini-3、Qwen3.5 等八个模型发现，推理路径变长后准确率骤降，深度 16 与 32 时部分模型的是非题表现仅相当于随机猜测。
arXiv NLP2 小时前
★ 3
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍
论文提出 LazyFlash 注意力方法，前向保持稠密、反向按梯度范数做块稀疏，跳过对参数更新贡献极小的 query 块。该方法在 FlashAttention 反向核内实现，长上下文文本与语音 LLM 实验显示注意力反向最高提速 5.7 倍、端到端训练提速 1.7 倍，且下游性能不降。
arXiv NLP7 天前
★ 3
HyScale 长上下文训练系统：GLM-5.1 百万 token 训练提速 2.07 倍
论文提出面向学习型稀疏注意力的长上下文训练系统 HyScale，核心洞察是选择输出是指标集合而非激活，据此设计 HyTopK 与选择重放，避免物化完整分数表并复用前向选择。在 512 张 H20 上使 GLM-5.1 的百万 token 序列训练较 Megatron-LM 提速 2.07 倍，并加…
arXiv cs.AI7 天前
★ 3
上下文语言模型：自主管理上下文以提升性能并降低算力成本
研究提出「上下文语言模型」思路，让模型自主管理并压缩自身上下文，从而在长任务中提升表现、降低计算开销。该方法试图缓解长上下文带来的显存与推理成本压力，对智能体长程任务有潜在价值。
InfoQ AI9 天前
★ 3
arXiv 提出 RIFT：草稿模型 KV 缓存压缩，Qwen3.5 保留 98% 接受长度
论文针对投机解码中草稿模型的 KV 缓存压缩问题，提出「解码陈旧性」现象并给出 RIFT 系列基于选择策略的压缩方法，平衡预填充信息与近期生成 token。配合基于稀疏注意力掩码的可压缩性训练，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K 输入、8K 缓存预算下保留超 9…
arXiv NLP10 天前
★ 3
MoEZip 论文：面向稀疏 MoE 大模型的路由感知 KV 缓存压缩
arXiv 新论文提出 MoEZip，针对稀疏混合专家（MoE）大模型做路由感知的 KV 缓存压缩，解决 KV 驱逐会改变专家选择、损害生成质量的问题。方法基于路由分布的 Fisher 信息矩阵衡量敏感度，在 10% 缓存保留率下于 LongBench 与 RULER 上平均领先 SoTA 基线 …
arXiv cs.LG10 天前
★ 3
面向 Qwen 系列模型线性注意力的高性能优化实践
文章分享针对 Qwen 系列模型线性注意力机制的高性能优化实践，涵盖算子实现与推理加速思路。对关注长上下文推理效率与国产模型工程落地的开发者有参考价值。
InfoQ AI10 天前
★ 3
arXiv 论文提出长上下文持续预训练缩放定律
研究团队建立经验加性幂律，将长上下文性能与模型规模、短上下文预训练与长上下文持续预训练（LCCP）的 token 预算关联起来。在五种模型规模、上百种预算配置上验证该定律可外推，并提出 Constant-Last4 训练观测协议，在 1.22B 模型约 100B LCCP token 上准确预测性…
arXiv NLP11 天前
★ 3
arXiv 研究长上下文数据选择：truncLongPPL 提升 Qwen2.5 长文本能力
论文在 Qwen2.5-3B 128K 上下文、6B token 训练预算下对比长文档选择策略，发现随机采样优于重打包，而按 LongPPL 关键 token 密度选文档可进一步提升。作者提出 truncLongPPL，仅用前半段打分即接近全段效果并提速 2.28 倍。在 HELMET、RULER…
arXiv NLP13 天前
★ 3
FPA：以路径极值替代求和的遗忘门注意力机制
论文提出 First Passage Attention（FPA），将遗忘门注意力的路径求和改为路径极值，按学习标量场在区间内的最深下探成比例降低键的 logit，从而选择性擦除中间上下文而保留更早的结构相关 token。FPA 将 Forgetting Transformer 作为特例，理论上常…
arXiv NLP14 天前
★ 3
综述：大模型长上下文的选择性记忆压缩
该综述将长上下文压缩重新定义为推理时的内存管理问题，区分参与计算的活跃内存与可存储检索的非活跃内存。文章把写入、卸载、召回、淘汰、遗忘等操作建模为信息生命周期中的状态转换，并提出统一成本模型。作者认为核心挑战在于决定哪些信息、何时、以何种形式参与昂贵推理。
arXiv NLP17 天前
★ 3
RoPERelay：稀疏 KV 缓存的选择后位置几何优化
论文研究稀疏 KV 压缩中选择后位置几何对保留信息利用的影响，提出 RoPERelay，通过分配紧凑保序的 RoPE 坐标并重定位缓存键相位来改善答案质量。在 36 组对比中 32 组提升，Llama-3.1-8B-Instruct 在 LongMemEval-S 上准确率从 23.6% 升至 3…
arXiv NLP17 天前
★ 3
研究：长上下文草稿生成无需长上下文草稿模型
论文指出推测解码在超长上下文下失效，因为草稿模型继承目标模型的上下文相关成本。作者冻结已发布的短上下文草稿模型，通过限制注意力缓存与重设旋转位置索引两种推理时机制，使其在 4k 到 200 万 token 范围内保持加速效果，无需训练长上下文草稿模型。
arXiv cs.LG17 天前
★ 3
RoLaQ：多头潜在注意力 2 比特 KV 缓存联合校准
论文提出 RoLaQ 离线方法，针对多头潜在注意力（MLA）的 2 比特 KV 缓存进行旋转与量化范围联合校准，在冻结的键值投影子空间内优化共享旋转并学习耦合的量化阈值与重建增益。在三个 MLA 模型与六个基准上取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现同等显…
arXiv cs.LG17 天前
★ 3
All-in-One Memory：过程奖励强化学习优化记忆智能体
论文提出 AiO-Mem，将检索、记忆写入与停止决策统一到共享证据状态上的转移过程，并在统一奖励空间中评估每个动作的语义质量。方法用轨迹条件过程奖励模型打分，并通过 Process-Aligned DAPO 优化记忆策略。在长上下文记忆基准上持续提升答案准确率。
arXiv cs.AI17 天前
★ 3
Titan-Llama：为预训练LLM加外部神经记忆模块
研究者提出 Titan-Llama，一种后训练方法，通过分层记忆架构为基于注意力的语言模型加装可在测试时更新参数的神经记忆模块（NMM）。在 Llama-3.2-1B-Instruct 上，QuALITY 准确率从 23.87% 提升至 40.51%，LongHealth 从 14.50% 提升至…
arXiv NLP18 天前
★ 3
JSSA 稀疏注意力提升长上下文解码效率
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间提升 token 级选择质量，并开发无 gather 的索引注意力内核。在 GQA、滑动窗口/全局混合注意力及 MLA 模型上，JSSA 保持接近全 KV 的精度，在 NVIDIA B200 上 128K 上下文解码吞吐最高达…
arXiv NLP18 天前
★ 3
DoSA：无损稀疏注意力加速大模型推理
论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过证书机制让 Top-K 选择只对仍具资格的候选做完整打分，从而在保持精确 token 选择的同时减少计算。GPU 实现使完整 Indexer 相比 SGLang 最高加速 2.74 倍，在 GLM-5.2…
arXiv cs.LG19 天前
★ 3
T²Mem：测试时记忆构建框架提升 LLM 长程问答
论文提出 T²Mem，将记忆构建推迟到推理阶段，离线仅提取轻量级片段元数据作为检索线索，测试时随推理进程逐步构建查询专属记忆。在 LoCoMo 与 LongMemEval 上，该方法在多种基座 LLM 上稳定超越强基线，并显著降低记忆构建开销。
arXiv NLP21 天前
★ 3
论文提出LongHarness：状态化证据管理实现亿级Token语料推理
arXiv论文提出LongHarness，一个模型无关的智能体框架，通过证据-结论协同演化与证据生命周期管理，解决无界探索与证据状态漂移问题。在OfficeQA Pro V1/V2等基准上，GLM-5.3-Flash精确匹配从15.8%提升至60.2%，超越Claude Code与Codex。
arXiv cs.AI21 天前
★ 3
REMORY 提出残差记忆网络，压缩长程智能体上下文
arXiv 论文提出 REMORY，一种神经记忆网络，在文本摘要之外附加有界的软记忆 token，帮助冻结的 LLM 逼近使用完整历史时的续写效果。在 SummHay 上，REMORY 仅用 5.2% 的输入位置就接近全上下文联合得分，并提升来源归因能力。在长程智能体基准上，Qwen3.8-27B…
arXiv NLP24 天前
★ 3
MASA：稀疏注意力应视为矩阵近似
论文指出当前稀疏注意力方法错误地把注意力矩阵当作「一堆数值」挑最大值，而应视为矩阵近似问题。作者提出 MASA，用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减，可作为插件加入现有稀疏注意力框架而不改变其稀疏核与预算，在多种方法与 LLM 骨干上取得一致精度提升。
arXiv NLP24 天前