★ 4
GPT-5.6 Sol超快模式预览
OpenAI预览Ultrafast API服务层，运行GPT-5.6 Sol速度提升14倍，由Cerebras提供支持，每秒输出高达750个token。
OpenAI80 天前
#推理速度
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Flint 40B 发布：可在 MacBook 本地运行，速度达 125 Tps
Richard Socher 在社交平台介绍 Flint 40B，一款面向本地部署的前沿大模型，在 MacBook 上可达每秒 125 token 的生成速度。该模型主打本地化与高吞吐推理。
Hacker News – LLM11 天前
★ 3
★ 3
如果AI每秒能处理100万token会怎样？
EchoHive 发表文章，设想 AI 推理速度达到每秒 100 万 token 时的场景与影响。这一极端速度将彻底改变实时交互、长上下文处理与智能体架构的可能性。
Hacker News – AI30 天前
★ 2
Run LLM Locally 上线：按 GPU 或 Mac 匹配开源模型
网站 runllmlocally.com 提供工具，帮助用户根据自身 GPU 或 Mac 硬件条件筛选可本地运行的开源大模型，并给出推理速度参考。该工具降低了本地部署开源模型的选择门槛。
Hacker News – LLM13 天前