★ 4
KuaiRP系列角色扮演模型技术报告
论文介绍KuaiRP系列角色扮演模型的完整技术方案，目标为简化提示工程、稳定输出质量、内置领域世界知识与小参数高效部署。为克服领域知识注入导致的一般智能体能力灾难性遗忘，提出多阶段训练流水线，含标准化角色模板、基于规则复合奖励的RL与两阶段在线策略蒸馏（OPD）配合累积散度衰减（CDD）。结果显示…
arXiv cs.AI50 天前
#灾难性遗忘
共 31 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CAMR：面向大模型持续学习的兼容性感知记忆回放
论文提出兼容性感知记忆回放框架 CAMR，联合控制当前样本监督与历史回放，通过兼容性检查与学习式记忆门控在三种动作间做在线决策。在 Qwen3-8B-Base 上，WikiBigEdit 任务 3K 事实后原始匹配率达 93.66%，并在 TRACE 四项任务上取得最高最终分数，同时保持或提升早期…
arXiv NLP4 天前
★ 3
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。
arXiv cs.LG6 天前
★ 3
SST 框架将新领域知识转译为技能模式缓解灾难性遗忘
论文提出 Skill Schema Transport（SST）后训练框架，把新领域样本抽象为可复用的技能模式，将知识更新从轨迹记忆转为程序复用。在两个 3B 指令微调基座上，流式领域平均性能提升 2.53-5.75 点，Qwen-3B MATH 流上最大遗忘从 42.41 降至 7.10 点。
arXiv cs.LG10 天前
★ 3
ESRL：用进化策略实现持续测试时学习
论文指出测试时自适应依赖单一策略自生成监督，策略漂移会导致学习信号漂移、推理退化与灾难性遗忘。作者提出进化策略强化学习（ESRL），从参数空间扰动形成策略种群，聚合各轨迹答案生成无标签组相对学习信号。在数学推理、通用知识与医疗领域，平均准确率较基座模型最高提升 31.7%，并显著减少遗忘。
arXiv cs.LG12 天前
★ 3
arXiv 论文：SFT-as-Context 缓解监督微调中的遗忘
论文提出免训练方法 SFT-as-Context，让父模型以 SFT 模型的回答为上下文作答，通过上下文学习获取微调能力同时保留通用能力。在 19 对父子模型与 11 个基准上，该方法在微调能力上仅落后 SFT 模型约 2 个百分点，通用能力平均落后父模型 2.2 个百分点，并能解决两者单独均无法…
arXiv NLP23 天前
★ 3
arXiv 论文：灾难性遗忘集中于低频词输出嵌入，调高 Adam epsilon 可缓解
一篇 arXiv 论文系统分析了 LLM 持续预训练与微调中的灾难性遗忘发生位置，发现遗忘集中在训练语料中罕见 token 的输出嵌入上，而非模型主体。机制上，缺失 token 受到持续的单侧 softmax 梯度，被 Adam 二阶矩归一化放大成完整更新。作者提出仅在输出投影层提高 Adam 的…
arXiv NLP24 天前
★ 3
研究：参数高效微调方法差异究竟在哪
论文比较六种 PEFT 方法在语言与扩散模型中的表现，考察其参数化与任务性能、遗忘及预训练权重几何变化的关系。结果显示 LoRA 族方法也近似保持预训练几何，恢复其轻微漂移的奇异值谱基本不影响性能，质疑显式几何保持的必要性。LoRA 最稳定地限制遗忘，DoRA 平均任务分更高，PiSSA 保留成本…
arXiv cs.LG24 天前
★ 3
PaLoRA：面向持续学习的节奏化低秩适配
论文揭示 LoRA 持续学习中固定小学习率启发式的局限，提出最优幅度限制应随历史知识有效秩自适应增长。据此提出 PaLoRA，通过自适应 SVD 截断压缩历史知识、将梯度投影到先验任务零空间，并施加秩感知节奏。在 50 任务 ImageNet-A/R 上准确率提升约 4%。
arXiv cs.LG26 天前
★ 3
选择性反向传播提升小样本类增量学习效率
针对小样本类增量学习（FSCIL）中稳定性、可塑性与算力的权衡，论文提出选择性反向传播（SBP），将梯度更新限制在预分配参数子集上，冻结旧知识并保留未来学习容量。SBP 在标准基准上性能强劲且训练时间接近朴素微调，并在跨域与 80 轮 ImageNet-1K 长流场景中保持优势。
arXiv cs.LG26 天前
★ 3
PAPER2LLM++：从研究论文持续自我进化的大模型
研究提出PAPER2LLM++框架，实现LLM从研究论文中持续自我进化。该框架不将论文仅视为检索知识，而是作为模型改进的证据和监督流：对每篇论文提取有证据支撑的发现，测试当前模型中报告的局限是否仍存在，必要时转化为候选学习信号。通过尝试-评估-提交流程，仅在更新改善目标行为且不显著遗忘或降低通用能…
arXiv cs.AI27 天前
★ 3
新研究：无离线阶段的持续学习回放方法
论文提出一种无需专门离线阶段的持续学习方法，通过隔离规则将重放更新限制在当前输入不可见的隐藏突触上，并配合不应期轮换规则扩大可巩固集合。在类增量 split-MNIST 上达到 91.6% 准确率，无需离线阶段即可媲美甚至超越最佳离线夜间调度方案。该机制不依赖局部学习规则，反向传播网络同样受益。
arXiv cs.LG33 天前
★ 3
零基 LoRA 微调保留后 RL 模型推理能力
论文发现后 RL 模型的推理激活集中在低维子空间，留有大量零空间容量用于适配。作者提出 Null-Basis LoRA（NB-LoRA），从推理激活构造固定近似零基，并通过该基重参数化 LoRA 更新，在微调全程施加保留约束。实验显示 NB-LoRA 适配性能与标准 LoRA 相当，同时将推理准确…
arXiv cs.AI39 天前
★ 3
JANUS 事后校正缓解稳定性-可塑性困境
针对基础模型微调中的灾难性遗忘，论文提出纯事后、与微调方法无关的权重校正框架 JANUS，通过将参数更新投影到雅可比零空间实现参数空间正交，从而在一阶意义上保留历史性能。为克服雅可比近似的局部有效性，作者提出多步自适应校正机制动态验证信任域并调整步长，并配合幽灵投影、幽灵方向比较与序列级奇异值分解…
arXiv cs.LG44 天前
★ 3
层重要性揭示 Transformer 与状态空间模型的差异
论文通过层重要性视角比较 Transformer 与状态空间模型（SSM），将层重要性分解为必要性（预训练依赖度）与可塑性（微调吸收新信息的位置）。分析发现两类模型行为根本不同：在评测的至多 14B 参数残差 Transformer 中，必要性与可塑性沿深度反相关，而 Mamba 式 SSM 中二…
arXiv cs.LG46 天前
★ 2
Sleep 框架：让大模型在持续学习中保留知识的新方法
一项名为 Sleep 的新框架被提出，旨在解决大语言模型在持续学习中的灾难性遗忘问题，帮助模型在学新知识的同时保留旧知识。该工作在 Hacker News 获得较高讨论热度。
Hacker News4 天前
★ 2
REDAR 用强化学习自适应调节类增量学习正则强度
针对类增量学习固定正则系数与持续学习目标脱节的问题，论文提出 REDAR，将正则强度选择建模为序贯决策，由轻量强化学习智能体按阶段输出蒸馏系数。在 CIFAR-100 与 Tiny-ImageNet 上减少遗忘并提升前向迁移。
arXiv cs.LG6 天前
★ 2
arXiv 提出 SAGA 用稀疏自编码器几何锚定缓解灾难性遗忘
SAGA 将每个任务边界训练的稀疏自编码器转化为对表示漂移的局部低秩约束，由回放样本决定约束位置、编码器雅可比的主右奇异方向决定惩罚方向。在三个预训练 ViT-B/16 基准上取得最高平均 Class-IL 准确率与最低遗忘，CIFAR-100、CUB-200、ImageNet-R 分别比最强常规…
arXiv cs.LG13 天前
★ 2
arXiv 研究：Qwen2.5-1.5B 重学习节省揭示持续学习评估缺陷
论文在 Qwen2.5-1.5B 上对比三种匹配的历史条件，发现曾学过正确事实绑定的模型在部分遗忘后重学更快，且该优势在控制实体熟悉度等因素后仍存在。先前学习可使恢复所需优化器更新减少约 18%，说明当前行为准确率会低估既有经验的持久影响。
arXiv cs.LG13 天前
★ 2
人工神经网络需要树突纳米管吗：持续学习中重要性估计收缩
论文从树突纳米管启发的机制出发，发现随机横向连接扩散重要性标签可提升 20 任务 Permuted MNIST 准确率 1.5–2.6 个百分点，并证明其本质是对重要性做向层均值的线性收缩。研究进一步区分 EWC 的方差效应与 MAS 的偏差效应，指出标准异方差经验贝叶斯规则会过度收缩最大 Fis…
arXiv cs.LG18 天前
★ 2
arXiv 论文：语言模型可持续学习中的自我保全机制
一篇 arXiv 新论文研究持续学习中的「自我保全」问题：模型能否帮助选择保护自身能力的保留目标。作者将任务描述与示例组织为 Task Banks，用不同规模 Qwen 模型做持续指令微调，发现生成式回放可减少任务库之外的遗忘，组合部分任务库能进一步提升保留率，且模型可辅助选择回放目标。
arXiv NLP20 天前
★ 2
MIRROR 自蒸馏框架：让 LLM 个性化从模仿走向偏好内化
arXiv 论文提出 MIRROR 自蒸馏框架，将 LLM 个性化从参考文本模仿转向用户偏好内化：用参考条件自蒸馏对齐模型自身生成轨迹的下一 token 分布，并引入 MIRROR-F 插件对信息量高的参考 token 做选择性监督。在三个个性化生成基准、两种模型规模上取得领先的个性化与文本质量表…
arXiv NLP24 天前
★ 2
QCRI 研究儿童语音识别适配与成人性能保持
卡塔尔计算研究所（QCRI）发表论文，研究在阿拉伯语和英语上对成人 ASR 模型进行儿童语音适配时如何保持成人识别性能。研究对比全量微调、LoRA 与事后权重空间合并，发现直接适配常导致成人语音遗忘，而权重空间合并（LERP、TIES）能改善适配-保持权衡。代码与模型已开源。
arXiv NLP24 天前
★ 2
HCPN-GCN：锥几何层次原型网络持续图学习
论文提出 HCPN-GCN，将层次原型网络扩展为图感知模型，用图卷积网络替换线性特征提取器并引入锥形原型与多样性正则。在六个持续图学习基准上，它持续提升平均分类准确率并保持近零遗忘，同时原型数量减少约 30 倍。
arXiv cs.LG24 天前
★ 2
回放该保留什么：可纠正偏差与类别对应
论文提出诊断框架，将缓存预测视为时间异质监督，区分存储时已知类别与后续学习类别。在 CIFAR-100 上发现删除后学类别匹配的大部分代价可通过任务级偏移纠正，而破坏类别对应的较小代价持续存在。
arXiv cs.LG25 天前
★ 2
单步曲率探针无法反映持续学习拟合算子
论文指出单步曲率探针只评估初始方向，而持续学习器应在达到相当新任务拟合后评判。在过参数化线性化下推导终端旧任务二次比分解，提出终端零空间校正。实验显示投影可大幅降低匹配范数曲率却几乎不改变终端遗忘，终端校正使 166/180 组旧任务损失下降。
arXiv cs.LG26 天前
★ 2
CLEAN：概念空间扩展下的心理测量一致增量认知诊断
论文提出 CLEAN 框架，用于智能教育中的增量认知诊断，支持概念空间动态扩展。它通过冻结历史诊断函数与正交列掩码切断梯度干扰，并用可扩展满秩分支学习新概念，实现历史诊断的逐点不变性。在三个大规模教育数据集上表示漂移为零，旧题指标与静态基线一致，新题表现不逊于强持续学习基线。
arXiv cs.LG27 天前
★ 2
循环神经网络可回收单元门控的持续学习
论文研究动力系统重建中的持续学习问题，在可解释的AL-RNN上基准测试参数正则化、回放与参数隔离方法。提出CRUG方法，通过L0惩罚的可微门控选择任务专属单元并回收未用单元，实现零遗忘并保持重建与容量的最佳权衡。
arXiv cs.LG31 天前
★ 2
图小样本增量学习的轻量塑性记忆框架
论文提出面向图小样本增量学习的轻量塑性记忆框架，核心是随时间演化的塑性记忆模块，持续更新扩展以容纳新类并保留旧知识。该模块采用演化微聚类结构动态更新类原型、子原型及其交互权重，并构建记忆驱动的元学习框架。在四个基准数据集上验证了其在稳定性与适应性间的优越平衡。
arXiv cs.LG39 天前
★ 2
随机轮次回放缩小排练间隔偏差
论文研究类平衡回放中的「排练间隔」问题，提出随机轮次回放（RPR），每轮打乱遍历每个常驻类一次。RPR 在保持类边际平衡的同时将每个间隔上界限制为 2*ceil(C/b)-1，且不使用未来类信息、不增加回放样本或前向计算。在 ER-ACE 实验中相对独立类平衡检索提升最终平均准确率 0.72-1.…
arXiv cs.LG39 天前