★ 3
HyperRepair 提出超网络修复微调模型遗忘的通用能力
针对微调提升领域表现却削弱通用能力的问题，论文提出 HyperRepair，用源模型上训练的修复经验学习超网络，通过激活指纹为未见模型生成定制修复侧网。在 12 个 LoRA 适配数据集与 15 个通用基准上，保留基础模型 93.4% 的通用分数与微调模型 99.5% 的领域分数，且仅需推理成本。
arXiv NLP5 小时前
#模型修复
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文提出纤维调控与获取理论，在 Qwen2.5-32B 验证头部修复与 LoRA 更新
研究提出纤维调控理论（FRT）与纤维获取理论（FAT），分别描述已有功能的受保护修复与可训练结构的形成与更新，并刻画二者的联合可行性与响应可达性。作者在 Qwen2.5-32B 上实现受保护头部修复与固定容量 LoRA 更新，协同策略在四次比较中均取得更高教师强制 Exact 准确率。
arXiv cs.LG11 天前
这个主题的相关资产
相关公司阿里巴巴1