★ 3
SAM-on-the-Curve：面向鲁棒权重插值的锐度感知模式连通
论文指出低损失模式连通性只约束一维轨迹而忽略邻域，提出锐度模式连通（SMC），对极小极大泛函应用一阶锐度感知近似，使整条曲线邻域保持平坦。在CIFAR-10-C严重模糊损坏下比标准MC最高提升6.09%绝对精度，并产生负损失壁垒。
arXiv cs.LG46 天前
#模型合并
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CoMerge：冲突驱动的多任务模型合并偏好优化
提出CoMerge框架，将模型合并重构为偏好优化问题，利用朴素合并的缺陷作为负样本，通过偏好优化调整合并系数。在MergeBench上取得最佳性能，并显著改善冲突敏感任务。
arXiv cs.AI60 天前
★ 2
GRAM：基于子空间对齐的分组秩感知模型合并方法
论文指出统一合并不同任务模型会因任务子空间错位产生「子空间干扰」，并证明合并模型的投影误差由任务与共享子空间的主角度对齐决定。据此提出 GRAM，按主角度几何对任务分组后在组内做 SVD 合并，仅需微调权重。在 GLUE、8 任务 CLIP 视觉与医疗指令微调上均优于既有合并方法。
arXiv cs.AI11 天前
★ 2
重心锚定权重搜索：无需梯度训练的模型合并新方法
论文提出 Barycentric Anchored Search，一种后处理权重空间方法，仅用两个微调检查点即可提升视觉模型在分布偏移下的鲁棒性，无需额外梯度训练或增加推理成本。方法受 Nelder-Mead 等无导数优化启发，在 CLIP ViT-B/32 上于 ImageNet-A/R/Ske…
arXiv cs.LG19 天前
★ 2
PRIME：面向 MoE 的频率感知统一剪枝与合并
论文提出 PRIME，一个 MoE 压缩的统一优化框架，将离散的剪枝-合并分配建模为频率加权目标下的全局整数线性规划，联合决策并考虑专家使用频率。在 Qwen3-30B-A3B 与 Qwen3.5-122B-A10B 上，PRIME 在知识、代码、数学与长上下文任务中保持较高精度，并在 vLLM …
arXiv cs.LG19 天前
★ 2
RL教师比SFT教师更适合模型合并蒸馏
研究对比了在策略蒸馏（OPD）中，用强化学习（RL）还是监督微调（SFT）训练领域专家作为教师的效果。在Agentic、推理、感知三类任务上，RL引导的学生分别比SFT引导高出4.27、1.50、0.86个百分点，Agentic任务中甚至超越教师本身。分析认为RL教师在参数空间上更接近共享初始化，…
arXiv cs.AI34 天前
★ 1
研究提出提示合并算子的「继承性」准入测试
论文针对 LLM 智能体提示合并，提出以「继承性」作为合并算子准入测试：只有当子代向供体移动、超过零剂量子代，且移动量下置信界达到请求剂量一半时才准入。在 gemini-3.1-flash-lite 的谈判任务上，策略追加与约束重写被准入，自由重写被拒绝，模板追加结果未定。
arXiv cs.AI11 天前