★ 3
S-SALAAD：结构化稀疏让大模型单检查点弹性压缩并加速推理
论文提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持多种硬件友好的结构化稀疏模式，并配套预算感知压缩与专用 CPU/GPU 内核。在 Llama2 与 Qwen3 上的预训练与蒸馏实验显示，该方法在困惑度、内存与推理延迟的帕累托前沿上优于基线，使大模型可在边缘…
arXiv cs.LG7 天前
#边缘部署
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
KDFP：大模型通用知识蒸馏新方法
论文提出 KDFP，一种面向大语言模型的白盒通用知识蒸馏方法，弥补以往只蒸馏指令跟随、思维链等后训练能力的空白。在 9 个基准上比现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率最高提升 99.1%，有助于边缘设备上的高效私有部署。
arXiv cs.LG24 天前
★ 3
研究：量化对临床基准的影响——五款7-8B模型准确性与安全性评估
研究评估五个 7-8B 模型在 FP16、GPTQ-INT8 与 INT4 精度下于五个临床基准上的表现。结果显示 INT8 普遍安全，而 INT4 退化显著且依赖模型：临床微调的 BioMistral-7B 在 MedMCQA 上损失 19.7%，Qwen2.5-7B 在急诊风险子组退化 26.…
arXiv cs.LG41 天前
★ 3
Edge0：从 SSD 流式服务 35B MoE 模型
论文指出消费级硬件上 MoE 推理受权重内存限制，朴素 SSD 卸载无法提前预读专家。作者提出 Edge0 流式推理引擎，用 prerouter 提前一个 token 预测下一层路由并直接作为路由使用，配合恢复 LoRA 弥补量化损失。单台 24GB 机器可在 3GiB 峰值内存下以 20tok/…
arXiv cs.AI46 天前
★ 3
用合成CoT与难度感知微调蒸馏2B视频语言模型
论文提出一种将推理能力蒸馏进紧凑视频语言模型（VLM）的高效方法，仅用约 900 个不确定性筛选样本、由 4B 教师模型生成合成思维链，在单张 A100 上不到两小时即可微调 2B 模型。该模型在 CinePile、ActivityNet-QA、MLVU 上超越最多 4 倍大的 VLM，接近其 4…
arXiv cs.LG47 天前
★ 2
MedPAO-Assist：笔记本 CPU 可跑的放射报告结构化智能体
研究团队发布 MedPAO-Assist，一个可边缘部署的多智能体框架，直接从放射科医生口述与语音指令生成结构化报告。系统采用 0.6B 参数级小模型，峰值内存约 3.3GB，普通笔记本 CPU 上端到端延迟约 31 秒，支持胸片、胸部 CT、腹部 CT 与脑 MRI 四种模态。全流程无需键盘、外…
arXiv cs.AI12 天前
★ 2
轻量 EMG 基础模型实现可穿戴部署
论文提出 LiteEMG-FM，一种高效混合 CNN-Transformer 基础模型，在 16 个上下肢 EMG 数据集上预训练，学习跨用户与跨数据集泛化表示。为适配资源受限设备，作者设计分层唤醒架构，由常开 1D-CNN 过滤静息与非目标活动，仅在有效手势时激活主模型。实验表明其在零校准跨被试…
arXiv cs.LG28 天前
★ 2
PrismML 寄望小模型改变 AI 使用方式
AI 实验室 PrismML 希望其小型 LLM 能改变大众使用 AI 的方式。报道认为该实验室值得关注。小模型路线在成本与部署灵活性上具备潜在优势。
TechCrunch AI45 天前
★ 2
量化分析工具助力高效AI模型部署
论文提出 Quantization Analysis Tool，基于 ONNX 框架构建，用于简化量化工作流并支持高效模型部署。工具提供逐层敏感度分析、权重与激活分布可视化，帮助开发者选择合适精度。实验表明该工具能有效提升量化后精度，在边缘与低功耗设备部署场景中具有实用价值。
arXiv cs.LG49 天前
★ 1
Open-Ryze 项目：小模型本地部署是否有用引讨论
开发者发布 Open-Ryze 项目页面，探讨小型本地 AI 模型是否真能被证明有用，引发 Hacker News 社区讨论。话题聚焦本地小模型在隐私、成本与实用性之间的取舍。
Hacker News – AI23 天前