Hacker News – LLM·1 小时前★ 2
TokiRecur 发布 llama.cpp 启动器，支持 KV 缓存复用
原文标题：TokiRecur – llama.cpp LLM launcher with KV-cache recycling
重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
AI 智能摘要
开源项目 TokiRecur 在 llama-server 前加入精确前缀匹配，复用 KV 缓存跳过重复 prefill。官方称在四个 Qwen3.5/3.6 模型、九类负载上首 token 延迟改善 62–96%，prefill 吞吐提升 410–1280%。采用 MIT 协议，支持 CUDA、ROCm、Metal 等多后端。
所属主题开源18
阅读原文 +0
AI 处理过程展开/收起
原始标题：TokiRecur – llama.cpp LLM launcher with KV-cache recycling
AI 中文标题：TokiRecur 发布 llama.cpp 启动器，支持 KV 缓存复用
来源：Hacker News – LLM · 发布于 1 小时前
分类：开源 · AI 重要度：★ 2（2）
标签：KV 缓存 / llama.cpp / 本地推理 / 开源
关键词：KV 缓存复用 / llama.cpp / 本地大模型推理 / TokiRecur
AI 处理：2026/11/8 03:00:55 · 模型 deepseek-chat · 规则版本 2026-10-21.1
相关推荐
InfoQ AI·1 天前★ 4
2026 PyTorch 大会：谷歌与 Meta 开源 TorchTPU，原生支持 TPU 运行 PyTorch
AI 摘要在 2026 年 PyTorch 大会上，谷歌与 Meta 宣布开源 TorchTPU，使 PyTorch 能在 TPU 上获得原生支持。此举有望降低开发者在谷歌 TPU 上训练与部署模型的迁移成本，强化 PyTorch 生态与 TPU 硬件的结合。
#开源
Hacker News·1 天前★ 4
腾讯发布开源模型 Hy4，跻身领先开源行列
AI 摘要腾讯推出开源 AI 模型 Hy4，被评价为当前领先的开源模型之一。该发布进一步加剧中国厂商在开源大模型领域的竞争。
#开源
量子位·2 天前★ 4
百度开源文心 5.5 Flash Base，多基准刷新同尺寸 SOTA
AI 摘要11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base，并在多项基准测试中刷新同尺寸模型的 SOTA 成绩。开源基座模型有助于开发者在其上做微调与行业落地，也加剧国内开源大模型竞争。
#开源
Hacker News·3 天前★ 4
Kimi K3.1 Pro 模型权重开源发布
AI 摘要月之暗面 Kimi K3.1 Pro 的模型权重已公开释出，在 Hacker News 上获得 188 分热度与 49 条讨论。权重开放意味着开发者可本地部署与二次微调，对开源大模型生态与国产模型竞争力有直接影响。
#开源