★ 2
MGO-SC:动量引导优化器为 Adam 更新加符号一致性门控
论文研究 MGO-SC,一种对 Adam 类优化器的轻量改造,利用符号指数移动平均构造逐坐标一致性门控,抑制梯度符号不稳的坐标。作者提出保均值变体以维持整体步长,在 CIFAR-10/ResNet-18 的对称与非对称标签噪声下稳定优于 AdamW 基线。
arXiv cs.LG3 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文研究 MGO-SC,一种对 Adam 类优化器的轻量改造,利用符号指数移动平均构造逐坐标一致性门控,抑制梯度符号不稳的坐标。作者提出保均值变体以维持整体步长,在 CIFAR-10/ResNet-18 的对称与非对称标签噪声下稳定优于 AdamW 基线。
该论文构建了一个可控的同质图回归基准,将标签噪声与特征分布偏移两种退化因素分离研究。在41种配置、410次运行中,GNN在约50%标签噪声比前性能相对稳定,之后急剧恶化;而极端特征分布偏移下所有模型测试MSE上升48至316倍,相关性下降73%至89%。研究表明GNN对中等标签扰动远比严重分布失配…
论文提出 LWCal,一种仅用 CPU 的事后概率校准方法,针对校准标签本身含噪声这一被忽视的失效模式,通过降低与基模型预测相矛盾的噪声样本权重来校准。其变体 Gated-LWCal 加入保守分歧门控,在九个表格任务上取得最低校准误差,随机森林实验中 ECE 从 0.188 降至 0.122。方法…