★ 4
OpenAI 与 Anthropic 数月内将大模型价格最高下调 80%
报道指出 OpenAI 与 Anthropic 在短短数月内将 LLM 调用价格最高削减 80%，引发对降价动因的讨论。分析认为推理成本下降、开源模型竞争与市场份额争夺是主要推手，价格战正重塑大模型商业格局。
Hacker News7 天前
#推理成本
共 35 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
DeepSeek 开源新工具，帮助降低 AI 运营成本
据彭博社报道，DeepSeek 发布一款开源工具，旨在降低 AI 模型的运营与推理成本。该工具延续 DeepSeek 以低成本高效推理为核心的路线，可能对开源模型部署生态产生影响。
Hacker News – AI11 天前
★ 4
8点1氪丨iPhone Duo溢价暴跌至3000元；多家A股科技龙头公司宣布计划回购；王自如称想与罗永浩和解
DeepSeek 推出大模型新版本 V4.1 Flash-1017，维持原有 API 价格，但通过任务感知压缩、动态上下文裁剪与自适应解码重构 Token 效率，多数场景用量下降逾 50%。同篇早报还提及 Anthropic 就 AI 智能体谈判规范寻求法律建议、微软退出英国 Nscale 数据中…
36氪14 天前
★ 4
DeepSeek 发布 V4.1 Flash-1017，Token 消耗降超五成
DeepSeek 正式推出大模型新版本 V4.1 Flash-1017，首次自主发布帕累托前沿曲线，展示效率与成本表现。该版本维持原有 API 价格，但通过任务感知型压缩、动态上下文裁剪与自适应解码重构 Token 使用效率，多数场景下 Token 用量较前版下降逾 50%，单位任务综合成本仅为同…
36氪14 天前
★ 4
法律 AI 公司 Harvey 毛利率半年由正转负
法律 AI 公司 Harvey 的毛利率在六个月内从 +50% 骤降至 -50%，主因是使用前沿大模型的推理成本过高。该案例揭示了 AI 应用层公司在依赖昂贵前沿模型时面临的盈利困境，引发业界对 AI 商业模式可持续性的讨论。
Hacker News – AI37 天前
★ 4
KITE：面向高效智能体 LLM 扩展的 KV 不变 Transformer 扩展
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
arXiv cs.LG38 天前
★ 3
论文提出按查询选择模态的全模态大模型高效推理方法
研究观察到不同查询从额外模态中获益程度不同，提出按查询自适应选择模态的精度-成本优化方法。在 Qwen2.5-Omni 与 Qwen3-Omni 上，该方法仅用约 41% 输入 token、39% 延迟即可达到或超过全模态精度。
arXiv cs.LG6 天前
★ 3
上下文语言模型：自主管理上下文以提升性能并降低算力成本
研究提出「上下文语言模型」思路，让模型自主管理并压缩自身上下文，从而在长任务中提升表现、降低计算开销。该方法试图缓解长上下文带来的显存与推理成本压力，对智能体长程任务有潜在价值。
InfoQ AI9 天前
★ 3
西部数据：AI 推理隐藏的存储成本被低估
西部数据援引 IDC 白皮书指出，AI 推理产生的日志、缓存、备份等后端数据远超用户可见输出，一段 8 秒视频背后可留下 500MB 以上数据。麦肯锡预计推理需求到 2030 年以 35% 年复合增速增长，存储成本正成为 AI 基础设施规划中被忽视的一环。
MIT Technology Review – AI10 天前
★ 3
D-Skill 提出自然语言技能蒸馏，小模型零权重更新追平教师 75%-95%
论文提出 D-Skill 框架，把前沿智能体教师视为黑盒，通过分析成对轨迹中的行为分歧与一致，将其行为优势蒸馏为可解释的自然语言技能文档，在推理时提供给小模型。该方法完全离线构建，无需标签、额外环境交互或权重更新。在 SpreadsheetBench-Verified、ALFWorld 与棋类谜题…
arXiv cs.AI10 天前
★ 3
研究对比智能体计算与 REST、SOAP、MCP 架构适用性
论文以 1000 条算术表达式为受控任务，比较原生函数调用、REST、SOAP、MCP 微服务、直接调用 LLM 及智能体调用 MCP 工具七种方案。确定性方法准确率 100% 且延迟极低，而最佳智能体虽达 99.9% 准确率，延迟却接近基线的百万倍。作者据此提出按任务类型选择架构的决策框架。
arXiv cs.AI12 天前
★ 3
OpenRouter 数据显示 token 用量见顶，「Token-maxxing」时代终结
Hacker News 讨论指出，OpenRouter 的 token 使用量已趋于平台期，被视为「Token-maxxing」（无节制堆 token）策略失效的信号。这可能反映模型效率提升与推理成本优化，也意味着单纯以 token 消耗衡量 AI 使用规模的叙事正在退潮。
Hacker News13 天前
★ 3
新方法：用大模型迭代、用小模型部署，蒸馏生产行为至 SLM
论文提出先在 GPT-5.4-nano 等前沿大模型上通过提示词开发行为并接受实时流量反馈，收敛后将真实生产行为蒸馏进小模型。以居家护理排班智能体为例，LoRA 微调的 Qwen3-8B 在 1.16 万条生产决策上达到 0.913 一致率，高于教师模型自洽的 72.7%，延迟降低约 2.5 倍且…
arXiv cs.AI18 天前
★ 3
GPT-6.1 Sol 极速版上线，社区吐槽 500 美元套餐撑不过一天
GPT-6.1 Sol 极速版上线，定价比 Astra 更高，社区用户吐槽 500 美元套餐都撑不过一天。该消息反映高端模型推理成本高企，引发对定价与使用成本的讨论。
InfoQ AI22 天前
★ 3
TAP：轨迹锚定恢复的长程智能体剪枝
论文提出 TAP，首个面向强化学习训练智能体的结构化剪枝框架，结合结构剪枝与高效在线策略恢复。它用冻结稠密教师监督学生响应前缀，并迭代重评通道，在移除 60% FFN 通道后仍保留 ALFWorld 99.2%、WebShop 88.0% 的任务成功率。
arXiv cs.LG24 天前
★ 3
AI token价格通缩是怎么回事？
金融时报撰文探讨AI token价格持续下跌的现象。文章分析推理成本下降背后的技术、竞争与市场因素。token价格通缩对AI商业模式和算力投资回报具有深远影响。
Hacker News – AI27 天前
★ 3
动态LLM路由器常被误导
研究分析六种商业LLM路由器在14种设置下的表现，发现没有一种能超越在匹配成本下随机选择两个精选模型的基线，部分路由器落后超过10个百分点。研究将差距归因于四种模式：难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法，并设计了一个避免全部四种问题的简单双模型路由器，但其…
arXiv cs.AI27 天前
★ 3
openJiuwen发布X-Router自演进模型路由技术
openJiuwen首发X-Router自演进模型路由技术，针对昇腾平台优化，可让Agent在运行中动态选择最优模型。实测可减少50%以上Token消耗，实现越跑越省。该技术面向多模型调度场景，降低推理成本。
量子位30 天前
★ 3
AI 利润率崩塌正在加速
一篇分析文章指出，AI 行业的利润率下滑正在加快，模型推理成本、价格战与算力投入之间的剪刀差持续扩大。文章认为这一趋势将重塑 AI 厂商的商业模式与估值逻辑。属于行业观察类评论，引发一定讨论。
Hacker News – AI33 天前
★ 3
LLM 还是朴素贝叶斯：旧法与新法之争
论文将 Complement Naive Bayes 与零样本、少样本 LLM 在文本分类任务上对比，覆盖四个模型家族、27B 至 1T 参数规模。结果显示 LLM 仅在零数据场景占优，一旦有标注数据，NB 在 AG News 上达到 89.1%，与零样本 27B LLM 持平并超过 397B 前…
arXiv cs.LG47 天前
★ 3
CFRC：有状态智能体交接的承诺约束残差补全方法
论文针对路由与级联中跨模型转移控制时的有状态交接问题，提出承诺约束的残差补全框架CFRC。CFRC通过目标先于提议、整体提议先于授权、实时证据先于成功三条规则，冻结残差契约并构建证据链接图。在五个环境和两组同厂商模型对上，以22%-34.6%的推理成本达到接近全任务智能体的准确率。
arXiv cs.AI47 天前
★ 2
博客观点：AI 推理成本每年约下降 10 倍
Steve Krouse 在博客中提出，同等能力水平的 AI 使用成本大约每年下降 10 倍，并据此讨论这一趋势对产品定价、创业机会与算力需求的长期影响。属个人观点类技术随笔。
Hacker News – AI9 天前
★ 2
ArcFlow 提出面向多求解器预算的流策略训练方法
论文指出固定求解器预算下的强化学习会掩盖低预算部署退化，提出 ArcFlow，通过动作对齐监督、预算暴露与最差预算检查点选择，训练单一流策略服务多个推理成本。在 DM Control、操作与运动任务中，ArcFlow 在 30 个任务中的 25 个取得最高平均单步回报，且不改变架构与部署成本。
arXiv cs.LG10 天前
★ 2
研究：微调 RoBERTa 与 GPT-3.5 集成兼顾成本与性能
该论文在 16 类问卷文本分类任务上对比了微调 RoBERTa 与现成 GPT-3.5 的性能、成本与耗时。RoBERTa 的 F1 达 96%，远高于 GPT-3.5 的 83%，且推理耗时仅 12 分钟对 6 小时。GPT-3.5 采用批处理提示可降低约 70% 推理成本，两者集成后 F1 达…
arXiv NLP12 天前
★ 2
研究：LLM 模拟用户行为时，对比式摘要预测转化率最优
论文在电商场景研究如何用 LLM 从浏览会话预测商品转化率，比较「先摘要再推理」与「逐会话预测后平均」两种策略。结果显示商品合并评估时摘要更优，对比式摘要在 15 个设定中 12 个取得最高 Spearman 相关，且推理成本远低于逐会话方法。
arXiv cs.LG12 天前
★ 2
研究提出带在线偏好学习的个性化 LLM 路由方法
论文将个性化 LLM 路由建模为带约束的上下文多臂老虎机问题，在用户偏好未知、需从部署反馈中学习的情况下，兼顾推理成本与响应质量。在逻辑偏好模型与严格可行条件下，给出次线性成本遗憾与累计满意度的高概率保证。
arXiv cs.LG13 天前
★ 2
Seldon 从两条 AI 流水线中撤下前沿模型并公布实测数据
Seldon AI 发布博客，讲述其将前沿大模型从两条生产级 AI 流水线中移除的实践，并公开了成本与性能对比数据。文章认为在特定任务上，更小的专用模型或传统方案比前沿模型更具性价比。该案例为企业在推理成本与效果之间做取舍提供了参考。
Hacker News – AI17 天前
★ 2
Mercury 2.5 发布：廉价扩散 LLM 存在性能上限
Mercury 2.5 是一款基于扩散架构的廉价大语言模型，主打低成本推理。评测指出其在编码代理等任务上存在明显性能天花板，难以胜任复杂场景。该文章探讨了扩散 LLM 在成本与能力之间的权衡。
Hacker News – LLM19 天前
★ 2
AI 驾驶教练模拟器开发者每月花 1000 美元维持演示
一款 AI 驱动的驾驶教学模拟器开发者透露，仅维持公开演示运行每月就要花费约 1000 美元。这反映出 AI 应用在推理与算力成本上的现实压力，即便小型演示也难以低成本维持。
Hacker News – AI21 天前
★ 2
AI 驾驶游戏 Demo 成本过高，开发者被迫贷款维持运营
一款 AI 驾驶游戏 Demo 因运行成本高昂，开发者不得不申请银行贷款以维持服务。该事件反映生成式 AI 应用在推理算力上的持续成本压力，以及小型团队的商业化困境。
Hacker News – AI22 天前
这个主题的相关资产
相关术语推理成本