★ 3
动态稀疏MoE的分布一致性推理方法
论文指出，推理时减少激活专家数量会系统性增大 SMoE 输出的 RMS 尺度与方差，造成表示不匹配并拖累下游性能。为此提出逐层分布对齐（LDA），利用逐层校准统计量将降路由表示对齐到默认配置。在多个 SMoE 大模型与基准上，LDA 能在几乎无额外开销的情况下挽回大部分因分布偏移而损失的性能。
arXiv cs.LG53 天前
#稀疏推理
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文提出 UlaCache：稀疏 LLM 推理的统一逻辑寻址
一篇 arXiv 论文提出 UlaCache，用统一逻辑寻址方式管理稀疏 LLM 推理中的 KV 缓存，目标是提升缓存复用与内存效率。该工作面向大模型服务系统的显存瓶颈问题，属于推理加速方向的系统研究。
Hacker News – LLM1 天前
★ 2
墨芯人工智能亮相外滩大会
墨芯人工智能在2026 Inclusion·外滩大会上展示其专用稀疏推理芯片，强调以稀疏计算提升算力效能。该活动主题为“共创AI新经济”，凸显国产AI芯片在推理效率方向的探索。
量子位51 天前