★ 4
Decision-Flow采样：免训练提取大模型潜在推理路径
论文基于分布锐化假说，探讨能否在不做昂贵 RL 微调的情况下解锁基础模型中已潜藏的高奖励推理路径。作者提出免训练、免数据的推理时框架 DF-Sample，构建分层推理树、对终端节点评分并将效用反向传播以指导分支决策。在 GPQA 上达到 45.6% 准确率，超过 power sampling 的 …
arXiv cs.LG49 天前
#大模型推理
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
自适应专家分配实现 CPU-GPU 协同 MoE 推理，预填充提速 51.9%
研究提出一种 CPU-GPU 协同的 MoE 推理系统，将 GPU 未命中的专家按 token 负载自适应分配到 CPU 或 GPU 执行，并动态平衡两条执行路径的完成时间。在三个代表性 MoE 大模型上，预填充速度最高提升 51.9%，解码吞吐提升 39.5%。
arXiv cs.AI13 天前
★ 3
Nature 研究：AI 能否抢先提出光量子假说
Nature 刊发研究，让 AI 回到 1900 年的知识背景，测试其能否独立提出光量子假说。该实验旨在检验大模型是否具备提出颠覆性科学假设的能力，而非仅做知识检索与复述。结果引发对 AI 原创科学发现潜力的讨论。
量子位43 天前
★ 3
把记忆交给CPU，大模型推理会变快
文章探讨将大模型的记忆存储交由CPU处理，从而让GPU专注于Token生成，以提升推理速度。这一思路旨在优化异构计算资源分配，缓解GPU显存瓶颈，提升大模型推理效率。
量子位47 天前
★ 2
REWIND：熵引导的推理轨迹修复方法发布
研究者提出 REWIND，一种无需训练的控制器，利用 token 熵动态定位推理错误并针对性重生成后缀。在 MATH500 上发现错误回答的平均 token 熵比正确回答高约 112%。跨三个模型家族、五个基准测试中，REWIND 比最强基线提升 0.51-10.00 个百分点。
arXiv NLP18 天前
★ 2
DCOCO：投机解码并行草稿的上下文校正方法
论文提出 DCOCO（DFlash 上下文校正器），一种轻量机制，在保持并行草稿的同时恢复草稿块内 token 的依赖关系。它保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性，实现低成本的上下文感知 token 选择。在四个验证器骨干与十个基准上，DCOCO 平均吞吐最高，较普通解码…
arXiv NLP21 天前
★ 2
Qwen3.8 27B 文字加法实验复现
Simon Willison 复现 Colin Frasier 两年前用 GPT-4o 做的「用文字输出加法结果」实验，在 DGX Spark 本地硬件上以 Qwen3.8-27B-Q4_K_M 模型运行。实验在完全可控环境下探索大数加法在文字输出格式下的准确率衰减规律。
Simon Willison Blog28 天前
★ 2
ArgGYM：可验证的结构化可废止推理基准
论文提出 ArgGYM，一个程序化生成、兼容 RLVR 训练的结构化可废止推理基准与环境，将推理拆解为 12 类任务，并以符号论证引擎计算形式状态进行评分。冻结基准含 1440 个验证实例，前沿与开源权重模型表现出明显不同的推理特征，且随课程配置依赖变长性能下降。
arXiv cs.AI32 天前
★ 1
本地AI获取32GB显存全攻略
一篇视频教程汇总了在本地运行AI模型时获得32GB显存并支持完整上下文的多种方案。内容面向希望在消费级硬件上跑大模型的开发者，属于实用向经验分享。
Hacker News – AI27 天前
这个主题的相关资产
相关公司阿里巴巴2