#离线推理

共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 2

arXiv 论文:ISO 11783 农机总线传输操作手册,支持离线多语言 LLM 助手

一篇 arXiv 论文研究在 ISO 11783 农机 CAN 总线上同步操作手册,让拖拉机端助手能离线调用本地知识库。实测完整手册传输耗时 31 至 89 秒,Markdown 文件最小;配合 RAG 时本地开源模型对英文手册问答表现良好,7B/8B 模型不逊于更大模型,但其他五种语言版本表现较…

arXiv NLP7 天前
★ 2

Anvil:iPhone 上离线运行 LLM 与 SDXL 图像生成

开发者发布Anvil,一款可在iPhone上离线运行大语言模型对话与SDXL图像生成的应用。该产品主打本地化、无网络依赖的端侧AI体验,体现移动端推理能力的提升。

Hacker News – LLM24 天前
★ 2

Laya在Mac M4上通过CoreML离线运行,每秒45次决策

Laya(OS Jev)展示了在Mac M4芯片上通过CoreML实现离线运行,达到每秒45次决策的性能。该案例体现了端侧AI在苹果芯片上的推理能力,对本地化、低延迟AI应用具有参考价值。

Hacker News42 天前

这个主题的相关资产

相关公司苹果(Apple)1

相关标签

离线推理 最新资讯与动态(3 篇) - 智讯 AI News