★ 3
研究提出语义可恢复性衡量自监督学习任务保留度
论文通过语义可恢复性研究同实例自监督学习保留哪些下游任务信息，证明可恢复性精确决定方向性CDNV并控制少样本最近质心分类。对典型双视图自监督目标的分析给出语义可恢复性的闭式谱刻画，并在合成与真实数据集上验证了预测关系。
arXiv cs.LG32 天前
#谱分析
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
MuLoRA：谱平衡低秩适配用于持续学习
论文指出 LoRA 在持续学习中会出现「谱可塑性崩塌」：更新能量集中在少数奇异模态，低秩空间利用率低。作者提出 MuLoRA，通过历史白化选取任务自适应基，并对动量更新做近似极正交化以降低谱集中。在五个类增量基准、八种设置中，16 项指标有 15 项取得最高平均准确率。
arXiv cs.LG28 天前
★ 2
安全算子：通过谱优化调控安全指令表达
论文发现 transformer 语言模型中的上下文 token 可作为乘性算子被吸收进权重，其主特征值决定安全指令对生成的影响强度。作者提出带抑制权重的对比安全损失，通过调节抑制权重在攻击成功率与过度拒答率之间形成连续权衡，从而得到帕累托改进的安全指令。
arXiv cs.AI33 天前
★ 2
海森矩阵与梯度协方差矩阵的子空间稳定机制
该论文研究神经网络训练中二阶信息的关键现象——海森矩阵顶部子空间的稳定性。作者提出新的子空间演化不稳定度指标，发现梯度协方差矩阵的顶部子空间具有类似性质，并通过类间/类内分解给出对顶部 (C-1) 子空间的近乎完美近似。在梯度流框架下，作者将这种缓慢演化归因于海森矩阵离群特征值与主体特征值之间的分…
arXiv cs.LG34 天前
★ 2
LoRA秩并非容量控制而是可达性约束
论文挑战了LoRA中秩r作为容量控制的普遍认知。在硬性逐因子范数预算下，LoRA可达的更新恰是核范数球内秩不超过r的矩阵，而所有复杂度泛函都由秩一更新取到最大值，秩上限从不生效。研究重新将秩定位为决定哪些更新可达、以及抵消主奇异方向的代价，而非模型容量。
arXiv cs.AI34 天前
★ 1
arXiv 论文：二次网络的谱不可区分性与学习曲线可辨识性
论文研究谱摘要与标量学习曲线能揭示中心二次网络的哪些信息。作者构造具有完全相同高斯一维与二维边缘的解析正输入密度，证明其锚定谱测度一致，但因子化损失曲线因映射不保持矩阵乘法而不同。
arXiv cs.LG17 天前
★ 1
无定向算子的拓扑信号处理框架
论文研究无定向拓扑信号处理（UTSP），用无定向关联矩阵替代有定向边界算子，证明其关联与拉普拉斯矩阵具备类图谱性质。由于放弃定向会失去Hodge分解，作者提出「交互阶分解」作为替代，并据此推导按交互阶分别惩罚的重构正则项。真实数据实验显示阶感知正则项优于有定向基线。
arXiv cs.LG40 天前