arXiv NLP·19 天前★ 2

EdgeLLM-Nano：33.6MB 端侧模型的 KV 缓存压缩审计

原文标题：EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究以 8.39M 参数（33.6MB）的端侧解码器模型为测试台，系统审计 KV 缓存压缩方法。结果对极坐标引导键缓存量化与一致性锚定渐进剪枝给出负面结论，并提出 Long-Context Decode Fidelity 评估，比困惑度更能区分不同压缩后端。

AI 处理过程展开/收起

原始标题：EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model

AI 中文标题：EdgeLLM-Nano：33.6MB 端侧模型的 KV 缓存压缩审计

来源：arXiv NLP · 发布于 19 天前

分类：算力芯片 · AI 重要度：★ 2（2）

标签：端侧部署 / KV 缓存压缩 / 模型量化 / 模型剪枝 / 推理优化

关键词：端侧部署 / KV 缓存压缩 / 模型量化 / 推理优化 / 模型剪枝

AI 处理：2026/10/14 15:02:02 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐