★ 3
Bi-Phase Training：少参数高效预训练方法
论文提出双阶段训练 BPT，用可训练对角矩阵与低秩适配器组合出高秩权重更新并周期性合并进冻结基座，保留全参数优化的高秩学习动态。在 Qwen2.5 100M 至 1.5B 与 OLMo-2-1B 上，1.5B 规模可减少 66% 可训练参数而验证困惑度仅小幅上升。
arXiv cs.LG3 天前
#参数高效微调
共 26 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
DuplexTune：耦合状态重放降低 MoE 微调显存
论文提出 DuplexTune，通过可训练宽度桥连接两条残差流，重放耦合隐藏状态以适配 MoE 模型，并冻结路由权重。在 Qwen1.5-MoE-A2.7B 单卡 H800 上，峰值显存 38.8GB（对比带检查点的监督微调 64.8GB），吞吐 25.1 对 19.9 样本/秒，MMLU 67.…
arXiv cs.LG5 天前
★ 3
NormTune：按权重更新范数引导的参数高效微调
论文发现参数高效微调（PEFT）在推理密集任务上落后于全量微调，与权重更新范数偏小的「欠适配」相关。提出 NormTune，按各层权重更新范数自适应增强更新不足的层。在 S1K-1.1 上训练后，rank-8 LoRA、Bone、MoRA 在 AIME 2024、MATH 500、GPQA、AIM…
arXiv cs.AI11 天前
★ 3
arXiv 提出 SQUELCH：LoRA 秩一专家的噪声门限路由
论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-…
arXiv cs.LG18 天前
★ 3
研究：冻结解码器仅修复编码器可压缩KV缓存
论文指出在共享学习率下比较参数高效微调方案存在混淆偏差。作者在基于SVD的KV缓存压缩场景中发现，冻结解码器、仅修复编码器看似占优，但为每个方案单独调参后优势消失，仅编码器修复达到同等效果，且可训练参数和优化器状态内存均减少3倍。该结论在Qwen2.5-VL-3B-Instruct等模型上验证。
arXiv cs.LG24 天前
★ 3
研究：参数高效微调方法差异究竟在哪
论文比较六种 PEFT 方法在语言与扩散模型中的表现，考察其参数化与任务性能、遗忘及预训练权重几何变化的关系。结果显示 LoRA 族方法也近似保持预训练几何，恢复其轻微漂移的奇异值谱基本不影响性能，质疑显式几何保持的必要性。LoRA 最稳定地限制遗忘，DoRA 平均任务分更高，PiSSA 保留成本…
arXiv cs.LG25 天前
★ 3
每个用户都需要私有 LoRA 吗？解耦个性化与逐用户适配
论文质疑为每个用户维护完整适配状态的范式，发现独立用户适配器存在大量可跨用户复用的结构。作者提出 LINEUP，学习可复用低秩个性化因子库，通过用户条件召回与查询相关校准组合，每个目标用户仅需优化 8 个标量，而私有 LoRA 配置需 419 万参数。在六项任务 12 个指标上全面领先。
arXiv cs.LG28 天前
★ 3
零空间投影净化 LoRA 后门
论文提出一种无需触发器先验、干净参考数据或重训练的 LoRA 后门净化方法，通过在输入输出通道构造正交零空间并投影 LoRA 更新来剔除后门方向。实验将攻击成功率从近 100% 降至 10% 以下，同时保留基座模型通用能力与适配器学到的下游技能。
arXiv cs.AI31 天前
★ 3
基于 lp 正则的 LoRA 自动秩分配方法
论文针对 LoRA 微调中秩分配依赖人工重要性分数的问题，提出 ℓp-LoRA，基于 0<p<1 的 ℓp 正则实现有原则的秩分配。方法对每个秩一分量能量正则化，使冗余分量消失，并推导出隐式阈值判据。在自然语言理解与问答任务上取得与现有 LoRA 基线相当的性能。
arXiv cs.LG38 天前
★ 3
面向 MoE 大模型的子专家级微调方法
研究观察到 MoE 模型中激活专家内部同样稀疏，仅少量中间通道对下游任务强响应，因此专家级适配仍过粗。作者提出 NSFT 框架，将专家沿中间维度分解为结构化通道组，结合路由重要性与专家内激活显著性选择子专家。在 OLMoE 与 Ling-mini-2.0 上，NSFT 以更少可训练参数超越代表性 …
arXiv cs.LG40 天前
★ 3
零基 LoRA 微调保留后 RL 模型推理能力
论文发现后 RL 模型的推理激活集中在低维子空间，留有大量零空间容量用于适配。作者提出 Null-Basis LoRA（NB-LoRA），从推理激活构造固定近似零基，并通过该基重参数化 LoRA 更新，在微调全程施加保留约束。实验显示 NB-LoRA 适配性能与标准 LoRA 相当，同时将推理准确…
arXiv cs.AI40 天前
★ 3
JANUS 事后校正缓解稳定性-可塑性困境
针对基础模型微调中的灾难性遗忘，论文提出纯事后、与微调方法无关的权重校正框架 JANUS，通过将参数更新投影到雅可比零空间实现参数空间正交，从而在一阶意义上保留历史性能。为克服雅可比近似的局部有效性，作者提出多步自适应校正机制动态验证信任域并调整步长，并配合幽灵投影、幽灵方向比较与序列级奇异值分解…
arXiv cs.LG45 天前
★ 3
ISO-LoRA：各向同性曲率下联合切空间优化的秩高效微调
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…
arXiv cs.LG49 天前
★ 3
FrameFT：基于融合框架的高效微调方法
FrameFT利用融合框架的稀疏系数矩阵建模参数更新，大幅减少内存占用并提升计算效率。实验表明其在语言和视觉任务上性能与最先进PEFT方法相当或更优，但可训练参数更少。
arXiv cs.AI66 天前
★ 2
分层低秩重参数化压缩 PEFT 可训练参数近一个数量级
论文发现参数高效微调（PEFT）引入的可训练参数仍存在冗余，提出分层低秩重参数化方法，将可训练参数重组为近似方阵并递归做低秩分解。与 LoRA、DoRA、MoSA、RaSA 结合后在 LLaMA-3.1-8B 与 Qwen2.5-7B 上评测，参数量压缩约一个数量级仍保持竞争力，八项常识推理平均准…
arXiv NLP5 天前
★ 2
LSA-PAST：面向组合式增量学习的层特化适配方法
针对状态与物体组合构成的组合式类增量学习，研究者提出 LSA-PAST：在冻结 ViT 中按状态、物体、组合插入深度特化的 LoRA 适配器，并用原型锚定的仿射变换把旧原型映射到当前适配器空间，实现无回放兼容。实验显示其在准确率—遗忘权衡上达到当前最优。
arXiv cs.AI12 天前
★ 2
论文证明前缀微调可精确控制 Transformer 任意输出
论文回答了前缀微调表达能力的开放问题：只要目标输出位于预训练 Transformer 的值域内，就必然存在可显式计算的前缀使其生成该输出，且该假设是必要的。作者给出构造性证明，并在 GPT-2 与 Qwen3-4B 上实验验证前缀对输出的强控制力。
arXiv NLP13 天前
★ 2
Cache2LoRA：用文档缓存生成 LoRA 提升上下文内化
论文提出 Cache2LoRA，用查询从可复用的冻结文档缓存中聚合证据，再生成 LoRA 参数更新，使模型无需在解码上下文中保留原文即可作答。在 17 项任务上宏 F1 达 0.663，接近全上下文 ICL 的 0.671；32K 文档场景下解码吞吐为全上下文 ICL 的 5.9 倍。研究还系统诊…
arXiv cs.AI13 天前
★ 2
ToPA：分块托普利茨矩阵高效微调方法
论文提出ToPA，用分块托普利茨矩阵乘积替代低秩或稀疏参数化进行参数高效微调，避免显式秩与稀疏约束并缩短乘法链以稳定训练。理论证明其可逼近任意矩阵且表达力更强，在21个NLP与CV数据集、5种模型架构上验证有效。
arXiv cs.AI13 天前
★ 2
AcrossVAM2.0 提出冲突感知点监督，适配视频扩散模型
论文提出 AcrossVAM2.0，在 5.01B 参数文生视频扩散 Transformer 上引入置信度加权轨迹与可见性头、零初始化残差反馈以及非对称 PCGrad，仅移除与主任务冲突的辅助梯度。实验显示对应一致性提升，但 I3D-FVD 从 0.1824 退化到 0.2022，作者称结论有边界。
arXiv cs.AI19 天前
★ 2
参数高效微调范畴图谱：锥、轨道与规范
论文将参数高效微调方法视为从预训练权重空间出发的平滑映射，用范畴论框架统一比较数百种方法。作者证明多项结论，如零初始化 LoRA 从锥顶点出发、LoRA 更新秩不超过自身两倍、正交方法不改变权重奇异值等。研究按七个坐标对 138 篇论文的 382 种方法进行分类。
arXiv cs.LG21 天前
★ 2
Diffu-LoRA：面向个性化扩散模型的门控低秩适配
论文提出 Diffu-LoRA，通过门控低秩适配学习各层适配容量分配，在 Transformer 线性层插入可训练低秩组件并赋予可学习门控。采用双层优化与渐进剪枝满足秩预算，在 Stable Diffusion 与 DreamBooth 数据集上提升主体保真度与提示对齐。
arXiv NLP24 天前
★ 2
Itgan 团队用 LoRA 微调 Whisper 参加 NADI 2026 阿拉伯语 ASR 评测
Itgan 团队在 NADI 2026 三项阿拉伯语语音识别子任务中统一采用消费级 GPU 上的 LoRA 微调 Whisper 方案。国家级鲁棒 ASR 达到 57.1% 平均 WER，混合方言任务 46.7% WER，突尼斯语码切换任务以 14.49% WER 获第二名且 CER 最低（5.3…
arXiv NLP25 天前
★ 2
MaRK：状态空间模型的马尔可夫自适应循环核
论文提出 MaRK，一种动态算子条件化框架，将上下文向量直接映射为冻结 SSM 递归参数（A、B、C、D、Δ）的有界调制，形成上下文索引的马尔可夫参数序列族。在 111M 参数的 Hydra SSM 上实例化 Hypernet、Chebyshev 多项式与 DCT 三种适配器，仅需 6.3–11M…
arXiv cs.LG25 天前
★ 2
MuLoRA：谱平衡低秩适配用于持续学习
论文指出 LoRA 在持续学习中会出现「谱可塑性崩塌」：更新能量集中在少数奇异模态，低秩空间利用率低。作者提出 MuLoRA，通过历史白化选取任务自适应基，并对动量更新做近似极正交化以降低谱集中。在五个类增量基准、八种设置中，16 项指标有 15 项取得最高平均准确率。
arXiv cs.LG28 天前
★ 2
LoRA 增强对比学习用于声呐目标识别
研究将 DINOv3 ViT 适配到合成孔径声呐自动目标识别，采用三阶段参数高效框架：LoRA 微调、难负样本挖掘与监督对比学习。结果显示 LoRA 是主要增益来源，AUPRC 从 0.300 提升至 0.679，仅训练 0.26% 权重；后两阶段相对对照无显著提升，说明单一高效适配阶段已足够。
arXiv cs.AI42 天前