★ 3
CoLU：置信度加权的大模型分层遗忘方法
论文提出 CoLU（置信度加权分层遗忘），结合置信度加权的遗忘与保留正则，仅更新单个选定的 Transformer 层而非全模型。配套的 Brief Layer Screening（BLS）用归一化遗忘-保留分数快速筛选候选层，将运行时间降低 60.2%-79.7% 且性能几乎不变。在 TOFU …
arXiv NLP14 天前
#正则化
共 20 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
从最小范数插值视角理解 Grokking
论文发展统计理论，刻画正则化几何与信号稀疏性如何支配插值附近的泛化，解释 Grokking 现象。在强过参数化无噪声问题中证明零一泛化律，并构造一族凸范数使插值器从全零预测跃迁至精确恢复。研究还揭示最小范数插值的统计不稳定性：正则强度微小扰动即可导致泛化剧变。
arXiv cs.LG32 天前
★ 3
基于 lp 正则的 LoRA 自动秩分配方法
论文针对 LoRA 微调中秩分配依赖人工重要性分数的问题，提出 ℓp-LoRA，基于 0<p<1 的 ℓp 正则实现有原则的秩分配。方法对每个秩一分量能量正则化，使冗余分量消失，并推导出隐式阈值判据。在自然语言理解与问答任务上取得与现有 LoRA 基线相当的性能。
arXiv cs.LG38 天前
★ 2
LEAN 正则化重塑权重敏感度分布提升网络容错
论文提出 LEAN 方法，通过对梯度与翻转步长施加复合正则项，系统性地改变训练后模型的权重敏感度分布。在 9 个视觉模型上敏感尾部缩小 5-13 倍且精度损失小于 0.5 点，配合 BCH 码可抵御 300-500 次比特翻转攻击，并将 ImageNet ResNet-50 压缩至 3.29 比特…
arXiv cs.LG11 天前
★ 2
MSCR：多模态学习平衡利用与协同信息发现
论文提出多模态协同竞争正则器 MSCR，在缓解模态失衡的同时促进融合阶段的协同信息形成。方法包含抑制单模态主导的反支配目标、鼓励融合预测超越单模态参照的协同目标，以及自适应门控。在五个基准上优于 MCR，并提升单模态误判样本上的条件恢复率。
arXiv cs.AI13 天前
★ 2
人工神经网络需要树突纳米管吗：持续学习中重要性估计收缩
论文从树突纳米管启发的机制出发，发现随机横向连接扩散重要性标签可提升 20 任务 Permuted MNIST 准确率 1.5–2.6 个百分点，并证明其本质是对重要性做向层均值的线性收缩。研究进一步区分 EWC 的方差效应与 MAS 的偏差效应，指出标准异方差经验贝叶斯规则会过度收缩最大 Fis…
arXiv cs.LG19 天前
★ 2
邻域平滑用于神经网络校准
论文提出图平滑作为训练时校准的通用原则，鼓励表示空间中相邻样本具有相似的预测分布，并推导了邻域预测散度与局部置信度变化及校准误差传播之间的界限。所提图正则化器在标准校准基准上提升预测质量，且与温度缩放等事后校准互补。
arXiv cs.LG25 天前
★ 2
LLM辅助正则化提升低数据迁移流预测
论文研究LLM能否通过从新闻中提取迁移相关信号并注入加权Lasso框架来改进迁移流预测。采用分层LLM推理流水线分类推拉信号，在墨西哥-美国、乌克兰-波兰、叙利亚-土耳其等走廊上评估。结果显示性能因走廊与策略而异，无单一正则化方法始终占优，但特定条件下上下文特征与LLM引导正则化可提升预测。
arXiv cs.LG26 天前
★ 2
核锚定局部性正则缓解固定目标异常检测收敛崩塌
论文刻画了固定目标异常检测器的「收敛崩塌」：优化越好，检测越差，因为残差信号在异常样本上同样消失。作者指出有效异常检测需要局部性约束，提出核收缩匹配（KCM）与核锚定正则项（KAR），在 ADBench 上缓解崩塌并提升 AUROC。
arXiv cs.LG28 天前
★ 2
平坦度代理并非函数：鲁棒性证书与训练干预
论文指出有效的曲率上界并不足以支撑鲁棒性证书或对内在预测器属性的训练干预。作者以最后一层相对平坦度代理为例，证明经验风险平稳性无法消除逐点一阶损失项，保留的证书表达式会低估损失增幅逾 210 倍，并给出全局有效、规范不变的特征空间修复。研究还表明常见行 softmax 平移会使代理无界，行中心化可…
arXiv cs.LG32 天前
★ 2
SkillEvoReg：智能体技能演化防过拟合正则化框架
论文指出语言模型智能体通过将执行经验转化为可复用外部技能来持续改进，但反复更新技能本身构成一个学习过程，会出现冗余、任务特定化以及新更新破坏旧行为等「技能演化过拟合」问题。作者提出 SkillEvoReg 通用正则化框架，结合训练期技能 dropout、复杂度感知局部正则化与因果反例验证（CCV）…
arXiv cs.AI35 天前
★ 2
基于埃尔米特多项式的谱图神经网络研究
论文系统研究基于埃尔米特多项式的谱图神经网络，提出 HermNet 模型，将节点预测器与归一化埃尔米特传播结合，稀疏递推无需特征分解或学习基。研究分析了不同多项式基在有限训练预算下的优化行为差异，并指出埃尔米特传播的适用边界与局限。
arXiv cs.LG38 天前
★ 2
稀缺数据下的谱连通性先验图学习
论文针对稀缺数据下学习稀疏图的问题，受扩展图兼具局部稀疏与强全局连通特性的启发，提出谱连通性正则化图学习框架 SCoGL。该方法在组合拉普拉斯约束的 GLASSO 目标上加入由拉普拉斯特征值计算的连通性先验，推导了多种先验的梯度并设计带 Armijo 回溯的投影梯度下降算法。实验显示其变体改善了图…
arXiv cs.LG39 天前
★ 2
全连接层结构化稀疏的逐层解耦方法
作者提出一种解耦的逐层结构化稀疏方法，对预训练网络的全连接层依次提取两层子网络、归一化内层权重并对每块外层权重施加结构化组惩罚，从而剪枝神经元、缩减层宽。理论上证明该解耦目标在最优处等价于特定联合惩罚，实验显示其比耦合方法更稳健，可用正则范围更宽、灾难性过度剪枝率更低，并在 OPT-1.3B 前馈…
arXiv cs.LG42 天前
★ 2
带正则的二次神经网络最小二乘训练及系统辨识应用
论文提出一种带正则化的最小二乘方法训练二次神经网络，为正则系数为正时的训练优化问题给出下界，并推导权重及其敏感度的闭式解。该方法避免反向传播陷入局部极小，计算时间显著降低，并建立了下界优化与核范数最小化的联系。
arXiv cs.LG46 天前
★ 2
高阶正则化改进联邦学习
论文指出 FedProx 的二次正则随位移线性增长，难以控制客户端位移差异。作者提出 HiFedProx，用尺度匹配的幂型正则（p≥2）替代二次惩罚，在参考位移处保持相同梯度幅度，但放大差异压缩效果。在 FEMNIST 五种子实验中，p=6 与 p=7 在严重压力下分别较 p=2 提升 23.16…
arXiv cs.LG53 天前
★ 2
f-散度正则与锐度感知最小化的统一解释
论文从二阶展开出发，证明基于 f-散度的正则化与锐度感知最小化（SAM）在参数扰动下局部一致，均产生曲率敏感惩罚。研究进一步将视角扩展到输入空间扰动，给出比标准 SAM 更一般的扰动框架。以 α-skew Jensen-Shannon 散度为试验台，实验显示曲率惩罚最强处精度与负对数似然均最优。
arXiv cs.LG53 天前
★ 1
高维持续线性回归中最优显式与隐式正则化强度研究
论文研究高维持续线性回归，推导出固定步数梯度下降训练的泛化损失闭式表达，证明最优固定步长随任务数近似以 lnT/T 衰减，并与最优 L2 正则化渐近等价。研究还扩展到对角正则化矩阵的广义岭回归，为持续学习系统设计提供理论指导。
arXiv cs.LG17 天前
★ 1
无定向算子的拓扑信号处理框架
论文研究无定向拓扑信号处理（UTSP），用无定向关联矩阵替代有定向边界算子，证明其关联与拉普拉斯矩阵具备类图谱性质。由于放弃定向会失去Hodge分解，作者提出「交互阶分解」作为替代，并据此推导按交互阶分别惩罚的重构正则项。真实数据实验显示阶感知正则项优于有定向基线。
arXiv cs.LG40 天前
★ 1
Sheaf SyncMap：稳定无监督持续分块
论文针对无监督持续分块中准确性与时间稳定性的矛盾，提出用层（sheaf）正则化减少去中心化 SyncMap 的局部不一致。实验在 18 个 CGCP 图中有 12 个（双态记忆）和 17 个（动态记忆）取得最高 NMI，并在分布漂移后保持高 NMI，避免负迁移。
arXiv cs.LG40 天前