★ 3
#提示缓存
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
开源代理 Pith 上线：压缩 LLM 输出 token，不达标即拒绝
开发者发布开源代理 Pith，通过回放样本、用裁判模型对比基线，仅在候选配置不劣于基线时才固定使用，从而削减 LLM 输出 token 开销。作者在 Anthropic API 上做了十组实测，并强调改写不触碰系统提示与工具，保证提示缓存命中。
Hacker News – LLM10 天前
★ 2
Replay：审计 AI 智能体日志中的静默提示缓存失效
开发者推出 Replay，一个零遥测、零依赖的本地 Go 命令行工具，用于审计 AI 智能体对话记录中静默发生的提示缓存失效。当缓存断裂时，服务商会悄悄按冷写入价格重新计费整段对话历史，导致账单飙升却无任何日志告警。Replay 通过逆向工程的服务商缓存状态机重放本地日志，定位缓存断裂的具体轮次、…
Hacker News – AI49 天前
★ 1
HN 求助：物理教研该选哪家 AI 服务商
一位用户在欧洲 Hacker News 发帖，为物理教学与学术研究寻求 AI 服务商推荐，需求包括数学与物理推理、论文解析与 PDF 综合生成讲义、试卷和习题集。日均约 100 次交互加 2-3 个多页文档处理，希望具备原生联网搜索、提示缓存、严格零数据保留，预算约每月 20 欧元。发帖人倾向 G…
Hacker News – AI31 天前