★ 3
零基 LoRA 微调保留后 RL 模型推理能力
论文发现后 RL 模型的推理激活集中在低维子空间，留有大量零空间容量用于适配。作者提出 Null-Basis LoRA（NB-LoRA），从推理激活构造固定近似零基，并通过该基重参数化 LoRA 更新，在微调全程施加保留约束。实验显示 NB-LoRA 适配性能与标准 LoRA 相当，同时将推理准确…
arXiv cs.AI40 天前
#强化学习后训练
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发现后 RL 模型的推理激活集中在低维子空间，留有大量零空间容量用于适配。作者提出 Null-Basis LoRA（NB-LoRA），从推理激活构造固定近似零基，并通过该基重参数化 LoRA 更新，在微调全程施加保留约束。实验显示 NB-LoRA 适配性能与标准 LoRA 相当，同时将推理准确…