★ 3
论文提出抗量化遗忘的LLM反学习框架
论文指出 LLM 量化后遗忘效果会显著减弱，并从损失景观曲率角度定位导致遗忘不鲁棒与效用下降的敏感权重。提出敏感度引导的噪声正则化与遗忘关键层优化，在 MUSE 与 TOFU 基准上实现更强的量化抗遗忘能力，同时保持模型效用。
arXiv cs.LG39 天前
#损失景观
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究：神经网络损失景观临界轨道的拓扑对称指数
论文基于等变度理论建立拓扑对称指数，用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道，并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献，在 softplus MLP、Transformer 与等变网络上给出计算示例。
arXiv cs.LG11 天前
★ 2
教师几何结构决定师生网络可学习性
论文指出师生网络研究中常假设教师参数随机正态分布，忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率，识别出最大化与最小化节点差异的分布，并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。
arXiv cs.LG53 天前
★ 2
f-散度正则与锐度感知最小化的统一解释
论文从二阶展开出发，证明基于 f-散度的正则化与锐度感知最小化（SAM）在参数扰动下局部一致，均产生曲率敏感惩罚。研究进一步将视角扩展到输入空间扰动，给出比标准 SAM 更一般的扰动框架。以 α-skew Jensen-Shannon 散度为试验台，实验显示曲率惩罚最强处精度与负对数似然均最优。
arXiv cs.LG53 天前
★ 1
带偏置浅层 ReLU 网络的总体损失与临界点族
论文给出学生-教师核模型下带偏置浅层 ReLU 网络的总体损失解析公式，扩展了 Choo & Saul 与 Brutzkus & Globerson 的早期工作，核心工具为 Owen's T 函数。研究证明以往文献中的多类伪极小值族在带偏置网络中依然存在，且加入偏置总能严格降低损失，但损失景观几何…
arXiv cs.LG35 天前