★ 3
伯克利提出 Nestor 嵌套稀疏架构，预训练与持续学习优于 MoE
arXiv 论文提出 Nestor，用类似 MoE 的条件计算机制泛化注意力算子，使稀疏性可与 MoE 稀疏性层级嵌套。在同等算力与稀疏度下，Nestor 的语言模型预训练效果优于传统 MoE，且在长上下文适配与新领域持续预训练中遗忘更少。代码与检查点已在 GitHub 开源。
arXiv cs.LG7 天前
#稀疏计算
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
共形认证实现自适应稀疏计算加速
arXiv 论文提出带风险保证的共形自适应方法，面向医学与天文等超大规模科学成像数据。方法用分层模型在低分辨率预测，通过共形风险控制认证信号，再细化认证预测，在 3D 医学分割、2D 星系通量预测等任务上实现 2.5 至 72 倍加速，包括在普通 CPU 上运行。
arXiv cs.LG18 天前
★ 2
FlashSinkhorn 2：块稀疏熵最优传输
论文提出 FlashSinkhorn 2（FS2），针对低维点云上的平方欧氏代价，在单张 GPU 上求解大规模离散熵最优传输问题。方法采用粗粒度质心求解加块稀疏精修两阶段，配合 Morton 排序块与张量核融合执行。在单张 A100 上，FS2 于 2.5 小时内求解了 1.34 亿粒子宇宙学 N…
arXiv cs.AI28 天前