★ 2
压缩活跃子空间实现可扩展贝叶斯推断
活跃子空间方法通过沿对输出影响最大的参数方向做推断来量化高维模型不确定性,但需存储大量全维梯度,随模型增大而不可行。论文提出压缩活跃子空间 CAS,先用结构化等距嵌入将参数映射到压缩空间,再在其中构建活跃子空间。方法大幅降低内存需求,使大模型贝叶斯推断可行,并在规模递增的神经网络上保持预测性能与稳…
arXiv cs.LG45 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
活跃子空间方法通过沿对输出影响最大的参数方向做推断来量化高维模型不确定性,但需存储大量全维梯度,随模型增大而不可行。论文提出压缩活跃子空间 CAS,先用结构化等距嵌入将参数映射到压缩空间,再在其中构建活跃子空间。方法大幅降低内存需求,使大模型贝叶斯推断可行,并在规模递增的神经网络上保持预测性能与稳…
论文针对词-文档矩阵的归一化谱共聚类中 SVD 计算代价高的问题,提出两种随机近似方法:随机投影 SVD 与部分 SVD 结合逐元素随机采样。实验表明两者均能降低运行时间,但效果依赖矩阵稀疏性:随机投影法更稳定可靠,采样法在稠密矩阵上更有用,对稀疏文本数据收益有限。研究建议根据数据结构选择近似方法。
论文对核化线性主成分判别分析(KLPCDA)框架进行系统性跨域研究,刻画其方差保持、类间可分与类内紧凑三大目标的交互机制。作者在超光谱分类、机械故障诊断、医学诊断与人脸识别等小样本任务上分析七种变体,考察噪声、类不平衡与高维条件下的表现。研究给出不同数据特征下选择合适变体的实用指南,并保持低计算复…