★ 2
Strot 开源:用 LLM 编译一次意图,本地零成本执行决策
开源项目 Strot 提出「编译期用 LLM、运行期不用」的思路:先用大模型把意图与样本编译成冻结的本地决策模型,之后每条记录在自有硬件上以约 60ms 输出带置信度的类型化 JSON 决策。低置信度记录会弃权而非猜测,项目采用 MIT 许可。
Hacker News – LLM14 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
开源项目 Strot 提出「编译期用 LLM、运行期不用」的思路:先用大模型把意图与样本编译成冻结的本地决策模型,之后每条记录在自有硬件上以约 60ms 输出带置信度的类型化 JSON 决策。低置信度记录会弃权而非猜测,项目采用 MIT 许可。