#端侧部署

共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

小语言模型实现车载智能体函数调用

论文比较车载助手中两种函数呈现方式:专用功能令牌(FT)与提示内模式(SIP),并构建含 79 个 Android Automotive 车辆函数、9822 条单轮样本的基准。在训练中见过的函数上,270M 模型可匹敌 1.7B 模型,最佳整体性能出现在 0.6B;在留出函数上 FT 准确率为零,…

arXiv cs.LG53 天前
★ 2

EdgeLLM-Nano:33.6MB 端侧模型的 KV 缓存压缩审计

研究以 8.39M 参数(33.6MB)的端侧解码器模型为测试台,系统审计 KV 缓存压缩方法。结果对极坐标引导键缓存量化与一致性锚定渐进剪枝给出负面结论,并提出 Long-Context Decode Fidelity 评估,比困惑度更能区分不同压缩后端。

arXiv NLP19 天前

相关标签

端侧部署 最新资讯与动态(2 篇) - 智讯 AI News