★ 3
KVFetch 提出 KV 缓存时序预取压缩框架
论文指出当前 KV 缓存压缩方法只实现按内容关联查找，忽略按位置顺序遍历，导致逐字复制在压缩中途断裂的「顺序遗忘」问题。作者提出免训练即插即用框架 KVFetch，为任意基于评分的压缩器开辟时序召回通道。在 RULER-16K 上逐字复制从 0.8 恢复至 78.4，13 项任务平均提升 8.4。
arXiv cs.LG25 天前
#LLM推理
共 18 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Flux：将LLM编译到硬件再提供服务
Flux 是一个面向 LLM 推理的实测执行规划器与运行时，会测量 GPU、CPU 与存储性能，搜索模型层与 MoE 权重的放置方案，并在真实提示上计时选出最快方案。它基于定制版 llama.cpp，支持 148 种架构，并可通过 OpenAI 兼容 API 提供服务。
Hacker News – LLM25 天前
★ 3
外部引导何时助力 LLM 推理：GA-GRPO 偏差方差理论
论文提出统一理论框架 GA-GRPO，将外部引导建模为改写问题分布的随机引导算子，并给出收敛率、偏差界与最优引导权重闭式解。实验表明最优权重 GA-GRPO 在九个数学与 OOD 基准上匹配或超越 TAPO、LUFFY、ExPO 与原始 GRPO，且 GPU 小时数减少 31%。
arXiv cs.LG26 天前
★ 3
RL如何重塑大模型推理：迁移性、覆盖度与缩放律
一篇新 arXiv 论文系统研究强化学习对 LLM 推理能力的影响，试图解释此前看似矛盾的证据：数学训练能提升其他领域表现，但 Pass@1 提升的同时 Pass@N 可能低于基座模型。作者在 Qwen 与 Gemma 系列上验证了跨域增益与遗忘并存、大采样预算下覆盖度有增有减的现象，并提出两阶段…
arXiv cs.LG27 天前
★ 3
本体驱动、推理器验证的科学AI推理基准
研究者提出一条流水线，可从OWL 2本体自动生成有本体依据的多选题基准，正确答案由本体保证，干扰项经OWL推理器蕴含检查形式化验证。在Pizza、PMDco、DOID三个本体上分别生成112、2491、15216道题。六个LLM零样本准确率为41.1%-76.8%，显著高于25%随机基线，表明基准…
arXiv cs.AI31 天前
★ 3
Hill采样：测试时扩展的简单高效替代方案
论文提出Hill采样，一种简单程序：从冻结LLM反复采样候选程序编辑，保留当前最优程序并以其为条件继续采样。在圆填充、集合和差及Erdos最小重叠问题上，Hill采样在圆填充上创下已发表方法新纪录，超越AlphaEvolve参考结果。研究还发现直接学习LLM权重的进化策略不如将学习率设为零，表明重…
arXiv cs.LG40 天前
★ 3
候选生成策略影响 LLM 测试时扩展的能耗与性能
论文指出测试时扩展中候选数量 N 无法描述候选如何被执行，相同预算可来自一次批处理或多次串行调用。在固定 N=8 下比较 1x8、2x4、4x2、8x1 四种调度，A100 上八次串行调用的 GPU 能耗为单次批处理的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。结论是评估应同…
arXiv cs.LG45 天前
★ 3
银行级语义用户画像流水线：从逐用户到逐交易模式推理
研究将属性推断从逐用户改为逐交易模式，流水线分Resolve、Profile、Tag三阶段，每个模式仅一次LLM调用，使推理预算随模式数而非用户数增长。在公开电商语料上，所得数据库与直接读取用户原始历史的LLM在各属性AUC上统计无差异。该流水线已部署于一家日本大型银行，覆盖数千万用户，推理目标数…
arXiv cs.AI45 天前
★ 3
ASPIRE：面向长上下文LLM推理的异步批处理自推测解码
论文提出ASPIRE，一种非同步批处理自推测解码框架，解决现有批处理方法中所有请求共享统一草稿-验证调度的问题。其三大组件包括统一混合前向、在线推测调度器与草稿内刷新层。在三个模型、五个推理与长上下文基准上，解码吞吐较自回归基线提速1.70至4.58倍，较最强先前自推测基线平均提速约27%。
arXiv cs.LG46 天前
★ 3
闪存内计算实现LLM推理
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。
arXiv cs.LG47 天前
★ 3
TASCO：稳定性感知的LLM推理测试时适应
研究指出高置信度并不代表正确，但若置信度在局部扰动下保持稳定则更可能正确。据此提出TASCO框架，在保持LLM冻结的前提下，通过优化轻量级任务前缀将局部稳定性纳入置信度驱动的测试时适应，采用随机扰动与锐度感知扰动两种策略。实验显示TASCO在多种LLM与推理基准上提升准确率与token效率，且不使…
arXiv cs.AI51 天前
★ 3
解耦就绪与释放：智能体LLM工作流尾延迟调度
智能体LLM工作流由模型轮次与工具交互交织而成，现有运行时在轮次就绪后立即释放，拥塞时导致尾延迟升高。论文提出尾风险感知的轮次释放调度方法，采用均值-CVaR目标并动态调整已释放未完成工作预算。在真实软件工程执行轨迹上，拥塞场景下P95流时间最高提速3.50倍。
arXiv cs.AI51 天前
★ 3
GrowPage：按需KV预算提升LLM推理效率
GrowPage是一个按需KV缓存预算框架，将KV容量视为运行时资源，通过双时间尺度查询摘要估计需求变化，并在容量边界压缩或获取额外物理页。与PagedAttention集成，保持连续批处理和前缀缓存。实验显示，在推理基准上实现了更优的性能-吞吐量权衡。
arXiv cs.AI59 天前
★ 2
TBRM-RLOO：贝尔曼一致轨迹强化学习提升LLM算术推理
论文提出贝尔曼一致的轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将稀疏终端奖励转化为密集的token级信号，并结合RLOO组策略降低梯度方差。在Countdown任务上，TBRM-RLOO将Pass@1提升至0.55-0.64，Pass@16达到76.0-84.0%的最优水平，优于SFT…
arXiv cs.LG17 天前
★ 2
PRM剪枝片段嫁接在推理时无效的证据
论文隔离并检验了PRM剪枝片段嫁接（PPFG）机制，即在过程奖励模型剪枝后把高PRM前缀作为上下文示例嫁接给仍在解码的兄弟链。在Qwen2.5-7B-Instruct与Math-Shepherd上，PPFG与独立并行思维链基线在各指标上统计无差异。作者通过等价性检验证明该机制在测试操作点上是惰性的…
arXiv cs.AI31 天前
★ 2
SambaGraph：足球战术响应的动作-反应时空图基准
论文基于2022年世界杯全部64场比赛的追踪与事件数据，构建SambaGraph动作-反应时空图数据集与基准，包含4070个动作中心片段和26270个攻防配对。研究评估响应分类、防守检索及LLM推理三项任务，紧凑签名MLP取得0.796宏F1，融合图-签名双编码器达到0.471 Hit@5。本地L…
arXiv cs.LG40 天前
★ 2
行程中断下旅行智能体修订策略评测
论文针对航班取消、酒店无房等导致行程失效的场景，基于TREK构建500个单一中断与200个复合中断案例，比较LLM-Z3全量重规划、IPyHOPPER分层修复与iTIMO局部修订。结果显示分层与局部修复编辑更少、保留更多已接受承诺，且IPyHOPPER无需LLM推理，成本更低。
arXiv cs.AI45 天前
★ 1
Tessaract 推出统一LLM推理的轻量级层
Tessaract 发布了一个轻量级层，旨在统一不同大语言模型的推理流程。该工具希望简化多模型推理的接入与管理，降低开发者的集成成本。目前该项目在 Hacker News 上热度较低。
Hacker News – LLM18 天前