★ 3
开源课程 tiny-llm 教你从零实现 Apple Silicon 上的 LLM 推理
tiny-llm 是一门面向系统工程师的实战课程，基于 MLX 数组与扩展运行时，从矩阵运算、内核到 KV 缓存、批处理与请求调度，完整实现 Qwen3-4B 的推理路径。课程不调用高层神经网络层，要求学员用 Python、C++ 或 Metal 自行实现算子，四周学习路径已在 GitHub 与在…
Hacker News – LLM2 天前
#LLM 推理
共 26 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究提出方法在智能体内核生成中强制批次不变性
论文指出 LLM 服务系统动态批处理会使缺乏批次不变性的 GPU 内核在相同输入下产生不同数值输出，在 83 个可批处理发布产物中发现 19 个确认违规。作者提出结合契约引导静态依赖分析与跨批次位级一致性动态验证的插件，将批次不变性通过率从 67.6% 提升到 91.9%，同时保留 91.8% 的…
arXiv cs.AI4 天前
★ 3
Resin 开源：面向 LLM 推理引擎的原生调度器
开发者 ekzhang 发布 Resin，一个用 Rust 编写的高性能 LLM 推理调度库，包含无头引擎、KV 缓存与指标服务，前向计算由模型专用内核实现。团队称 12 小时内用其为 DeepSeek-V4.1-Flash 与 GLM-5.3-Flash 构建独立引擎，性能比肩 vLLM 与 S…
Hacker News – LLM6 天前
★ 3
开源项目 gpu-unlock 解锁英伟达 RTX 30 系 FP/BF16 指令发射速率
开发者发布 Linux 内核模块 gpu-unlock，通过写入速度选择器在英伟达驱动加载前解锁 GA102/103/104/106 显卡的 FP/BF16 指令发射速率，使 FP32 累加的 FMA 吞吐翻倍。用户实测 LLM 预填充提速 14%–36%，扩散模型与 FlashAttention…
Hacker News8 天前
★ 3
Gandalf：延长 SSD 寿命的 KV Cache 卸载系统
论文指出生产级 LLM 负载下 KV Cache 写入量远超 SSD 容量，会大幅缩短闪存寿命。作者提出 Gandalf，首个具备 SSD 寿命感知的 KV Cache 卸载系统，优先将全注意力 KV Cache 写入 SSD，平均延长 SSD 寿命 7.3 倍且几乎不影响命中率。
arXiv cs.LG9 天前
★ 3
arXiv 论文提出 KVLearn：分离式 LLM 服务中的 KV 缓存保留学习框架
针对分离式 LLM 推理中缓存未命中需跨节点传输的问题，论文提出 KVLearn 框架，包含前缀复用预测器 PRP、成本感知保留评分 CARS 与自适应阈值控制器 ATC。在文本与多模态负载上，首 Token 时延相比无缓存降低最多 56%、相比 LRU-Pool 降低 38%，跨节点 KV 传输…
arXiv cs.LG10 天前
★ 3
英伟达发布 Blackwell 架构 LLM 推理方案 Flare
英伟达推出名为 Flare 的 LLM 推理产品/方案，基于 Blackwell 架构，面向大模型推理场景优化。此举延续英伟达在推理侧软硬件协同的布局，意在巩固其在 AI 算力市场的主导地位。
Hacker News – LLM11 天前
★ 3
FlashMap：流映射投机解码在 Qwen3-8B 实现 6.1 倍加速
论文提出 FlashMap，一种连续流草稿模型，以目标模型隐藏状态为条件，一次前向生成整块 token 并捕捉 token 间依赖。相比 DFlash 等块扩散草稿器，其在 Qwen3-8B 上所有基准均更快，平均加速提升 7%，最高实现 6.1 倍无损加速。
arXiv NLP12 天前
★ 3
IneqAgent：结合符号计算在 Lean4 中证明不等式
论文提出 IneqAgent，将 LLM 推理与符号计算结合用于 Lean4 不等式证明，通过引理级蒙特卡洛树搜索协调引理构造、目标改写与符号后端选择。使用 DeepSeek-V4-Flash 时在四个基准上解决 186 题中的 175 题（94.09%），并在四维和五维上获得 Dittert 猜…
arXiv cs.AI16 天前
★ 3
论文提出代数整数量化 AIQ，用于 LLM 推理压缩
arXiv 论文提出代数整数数格式（AINF）与代数整数量化（AIQ），可将 LLM 推理压缩为纯整数运算，实现无误差乘加。实验显示在同等比特预算下，AIQ 精度可与业界 MX 格式竞争。
arXiv cs.LG20 天前
★ 3
激活引导补偿与正交残差解析 LLM 量化
论文将局部权重-激活量化误差精确分解为激活引导的权重补偿项与正交残差，并用持续通道离群量与常规激活量给出残差上界。该分解厘清了权重补偿与变换设计各自能解决的误差成分，并据此推导随机 Hadamard 旋转、符号选择与通道缩放的实用准则。在八个 Llama 与 Mistral 模型上以无反向传播配置…
arXiv cs.LG41 天前
★ 2
论文提出 UlaCache：稀疏 LLM 推理的统一逻辑寻址
一篇 arXiv 论文提出 UlaCache，用统一逻辑寻址方式管理稀疏 LLM 推理中的 KV 缓存，目标是提升缓存复用与内存效率。该工作面向大模型服务系统的显存瓶颈问题，属于推理加速方向的系统研究。
Hacker News – LLM1 天前
★ 2
开发者发布可视化讲解：追踪一次 LLM API 请求到 GPU 再返回
一个开源可视化项目以视频与 3D 动画形式，完整追踪一次 LLM API 请求从代码发出、到达 GPU 计算再返回的全过程，展示各环节耗时分布。项目代码与渲染脚本开源，并附带面向编码智能体的协作规范。
Hacker News – LLM5 天前
★ 2
论文提出投机扩散双权衡，联合调参扩展速度-质量帕累托前沿
arXiv 论文研究投机扩散（speculative diffusion）中扩散努力程度与投机解码接受宽松度两个参数。实验表明联合调节二者，可在单步扩散起草之外进一步扩展速度与质量的帕累托前沿。该工作为扩散大模型作为草稿模型加速推理提供了新的调优视角。
arXiv cs.LG6 天前
★ 2
DIVA 提出基于决策价值的信息获取方法，降低 LLM 决策遗憾
论文指出 LLM 在信息不完整决策中易陷入「信息陷阱」，会为无法改变决策或成本过高的检查付费。提出的 DIVA 让模型通过简短数值问题构建小型决策模型，并按净收益评估每次检查的价值，无需训练即可用于任意 LLM。在四个领域 20 个模型上，DIVA-U 遗憾值低于所有基线，DIVA 在合成场景中将…
arXiv cs.AI6 天前
★ 2
VLDB 论文：基于同态加密的私有 LLM 推理
VLDB 期刊发表论文，探讨利用同态加密实现大语言模型的隐私保护推理，使模型在密文上完成计算而无需暴露用户输入。该方向对隐私敏感场景下的云端 LLM 部署具有意义。
Hacker News – LLM9 天前
★ 2
开源代理 Pith 上线：压缩 LLM 输出 token，不达标即拒绝
开发者发布开源代理 Pith，通过回放样本、用裁判模型对比基线，仅在候选配置不劣于基线时才固定使用，从而削减 LLM 输出 token 开销。作者在 Anthropic API 上做了十组实测，并强调改写不触碰系统提示与工具，保证提示缓存命中。
Hacker News – LLM10 天前
★ 2
研究：确定性 LLM 推理未能让流水线变确定性
ctgt.ai 发布研究文章，指出即使采用确定性 LLM 推理（deterministic inference），整个数据处理流水线仍无法保证确定性输出。文章分析了推理层之外的系统因素如何引入不确定性，对构建可靠 AI 系统具有参考意义。
Hacker News – LLM11 天前
★ 2
Strot 开源：用 LLM 编译一次意图，本地零成本执行决策
开源项目 Strot 提出「编译期用 LLM、运行期不用」的思路：先用大模型把意图与样本编译成冻结的本地决策模型，之后每条记录在自有硬件上以约 60ms 输出带置信度的类型化 JSON 决策。低置信度记录会弃权而非猜测，项目采用 MIT 许可。
Hacker News – LLM13 天前
★ 2
开发者开源 Vramkit：MacBook 上实现 LLM 推理无损显存压缩
开发者发布开源项目 Vramkit，针对 LLM 推理中占用显存的模型权重与 KV-cache 做压缩。权重压缩为无损且逐位校验，在 Qwen2.5-0.5B 上较原始 4-bit 减少约 33%，优于 zstd-19。KV-cache 方面发现键与值需采用不同量化轴，按通道 int8 量化键可让…
Hacker News – LLM15 天前
★ 2
Llmspeed：本地 LLM 硬件选购前测速工具
开发者发布 Llmspeed 工具，可在购买硬件前测试本地大模型的运行速度，帮助用户评估不同配置下的推理性能。该工具在 Hacker News 上获得关注，适合计划本地部署 LLM 的用户参考。
Hacker News15 天前
★ 2
PreSTO：预测式子树叶预取加速 LLM 幂采样
论文提出 PreSTO，通过预取未来 Metropolis-Hastings 提议，在不改变转移核的前提下加速 PowerMH 采样器。在七个数据集、五个基座 LLM 上，对 PowerMH、EntropyCut、MultiTryMH 分别取得 1.71×、1.91×、2.33× 中位加速，模型调…
arXiv NLP20 天前
★ 2
Liquid Inference 推出 LLM 推理竞价市场与自动路由
Liquid Inference 将交易系统与交易所经验应用于 LLM 推理，让模型提供商在开放市场上竞价，并配以智能自动路由器，按预设质量等级实时选择最低成本。目前对 Kimi、GPT、GLM 更便宜，支持区域、零数据保留、提供商白名单等自定义路由设置。
Hacker News – LLM23 天前
★ 2
Narwhal 开源：秒级切换 GPU 预填充与解码角色
Narwhal 是一个自适应解耦推理框架，可根据需求变化自动热切换预填充与解码角色，无需重新加载模型权重，支持从单 GPU 到多节点部署。其角色控制器基于实测引擎画像、需求与驻留工作对角色分配打分，并依据 TTFT、TPOT 与解码排队的最差 SLO 比率决策。
Hacker News – LLM23 天前
★ 2
TokenRouter：面向 token 级 LLM 路由的推理引擎
TokenRouter 是一个针对大模型推理的服务引擎，支持在 token 粒度上进行请求路由。该方案旨在提升多模型部署下的推理效率与资源利用率。
Hacker News – LLM23 天前
★ 1
Show HN 上线 Mac 运行 LLM 速度计算器
开发者发布 macyou.co 上的 Mac LLM 计算器，可查询不同型号 Mac 能运行哪些大语言模型以及推理速度。该工具面向本地部署 LLM 的用户，帮助评估硬件与模型的匹配度。目前在 Hacker News 关注度较低。
快公司15 天前