★ 4
Meta 与苹果合作，让 Muse Spark Open 在 Mac 上高效运行
Meta 发布开源权重模型 Muse Spark Open，称其为美国迄今最强开放权重模型，并首次可在两台搭载 M5 Ultra 芯片的 Mac Studio 上通过 MLX 框架本地运行。Meta 与苹果这对竞争对手罕见公开互挺，扎克伯格与苹果新任 CEO 特努斯在 X 上互动。该模型为原生多模…
The Verge AI17 天前
#端侧推理
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
TierKV：面向端侧长上下文的多级 KV 缓存
针对移动端 LLM 长上下文场景中 KV 缓存成为内存瓶颈的问题，作者提出 TierKV 推理框架及其预测式多级缓存优化 PMCO。该方法在解码前从预填充隐状态预测未来缓存需求，将 token 分配到精确、低秩与闪存卸载三级，保留完整上下文并避免反应式淘汰的循环依赖。在三种移动 SoC 的八种模型…
arXiv cs.LG42 天前
★ 3
GAAC 无损 KV 缓存压缩加速个人设备长上下文推理
论文提出 Group-Adaptive Additive Codec（GAAC），利用指数冗余实现 BF16 KV 缓存的无损压缩，压缩比约 1.41 倍，并配合融合注意力核在线重建。在 NVIDIA DGX Spark 上 64K 上下文解码注意力加速 1.19-1.27 倍，常驻 KV 内存降…
arXiv cs.AI3 天前
★ 3
Qwen3.8-27B 在 iPhone 18 神经引擎跑出 15–70 tok/s
开发者展示在 iPhone 18 神经引擎上以 1.5 bpw 量化运行 Qwen3.8-27B，速度达每秒 15 至 70 个 token。该实验说明大模型端侧本地推理在手机芯片上已具备可用性。
Hacker News15 天前
★ 3
★ 3
PastForward：端侧 GUI 智能体加速方案
针对 GUI 智能体在边缘设备上推理成本高的问题，研究提出 PastForward，通过复用普通任务执行中积累的计算经验来加速。它在解码阶段检索历史输出序列作为多 token 提议并单次前向验证，同时跨动作步复用 KV 状态。在 AndroidWorld 上实现 1.63 至 2.36 倍延迟加速…
arXiv cs.AI34 天前
★ 3
HybridInfer：热感知强化学习分层 LLM 推理路由
论文指出旗舰骁龙设备上持续端侧生成会导致 GPU 推理运行时崩溃或静默卡死，问题源于 OpenCL 内核编译与长提示预填充。作者提出 HybridInfer，用手机热余量与查询复杂度作为状态，通过离线 Q-learning 策略在端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 与云…
arXiv cs.LG35 天前
★ 3
无问芯穹开源具身端侧推理引擎
无问芯穹联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf，其Pi 0.5版本性能达到SOTA水平。该引擎瞄准具身智能规模化落地的最后一公里，有望降低端侧部署门槛，推动机器人等具身应用加速落地。
量子位47 天前
★ 3
Affective Agent：可穿戴设备端个性化干预推理架构
论文提出Affective Agent，一种面向可穿戴级硬件的三层参考架构，结合亚十亿参数小型语言模型与生理证据、情境及用户历史，在无云端依赖、无需逐用户重训练的情况下决定是否、何时及如何干预。通过宿主管理的结构化记忆演化实现个性化，在室内环境质量控制场景的仿真评估中验证了记忆驱动个性化与两遍结构…
arXiv cs.AI49 天前
★ 3
PELM：结合推测解码与DVFS的端侧LLM低功耗推理
论文提出PELM，在传统DVFS调频基础上引入推测解码和可变验证深度两个工作负载维度，扩展优化空间以实现更节能的端侧LLM推理。在多种硬件和数据集上，PELM相比最先进功耗管理方法最高提速23.1%、能耗降低52.4%，同时保持任务性能。
arXiv cs.LG53 天前
★ 2
SuperDuck.AI 推出 Mac 本地个人 AI 应用，招募 beta 测试者
SuperDuck.AI 发布在 Mac 本地运行模型的个人 AI 应用，对话、文件与笔记均不出本机，无需账号或云端。iPhone/iPad 应用通过端到端加密链路连接 Mac，底层集成 antirez 的 ds4 等推理引擎，本地模型下载约 80 GB，也支持 Apple Intelligenc…
Hacker News – AI13 天前
★ 2
iPad 上运行未修改的 Linux amdgpu 驱动
LemonSeed Studio 发布一款 iPad 应用，可在 AMD GPU 上运行未修改的 Linux amdgpu 驱动，并支持设备端 LLM 推理，集成了 GPU 驱动、推理引擎和 GPU 监控模块。
快公司21 天前