★ 3
JANUS 事后校正缓解稳定性-可塑性困境
针对基础模型微调中的灾难性遗忘，论文提出纯事后、与微调方法无关的权重校正框架 JANUS，通过将参数更新投影到雅可比零空间实现参数空间正交，从而在一阶意义上保留历史性能。为克服雅可比近似的局部有效性，作者提出多步自适应校正机制动态验证信任域并调整步长，并配合幽灵投影、幽灵方向比较与序列级奇异值分解…
arXiv cs.LG45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对基础模型微调中的灾难性遗忘，论文提出纯事后、与微调方法无关的权重校正框架 JANUS，通过将参数更新投影到雅可比零空间实现参数空间正交，从而在一阶意义上保留历史性能。为克服雅可比近似的局部有效性，作者提出多步自适应校正机制动态验证信任域并调整步长，并配合幽灵投影、幽灵方向比较与序列级奇异值分解…