★ 3
LFM2.5-24B-A2B 发布：面向端侧智能体快速推理
Liquid AI 推出 LFM2.5-24B-A2B 模型，主打端侧智能体场景下的快速推理能力。该模型采用稀疏激活设计，在本地设备上兼顾性能与效率，适用于低延迟的智能体应用。
Hacker News18 天前
#稀疏激活
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
模型铸造与低参数门控：实现更稀疏激活的前馈网络
论文提出「模型铸造」（model casting）这一中期训练方法，通过大幅稀疏化前馈网络（FFN）激活，在推理时先计算门控矩阵输出，利用其高稀疏性跳过另外两个矩阵的计算，最多减少 3 倍 FLOP。作者进一步提出 LoPA Gating，一种低 FLOP 的门控矩阵参数化设计，突破 3 倍加速上…
arXiv cs.LG34 天前