★ 3
Bi-Phase Training：少参数高效预训练方法
论文提出双阶段训练 BPT，用可训练对角矩阵与低秩适配器组合出高秩权重更新并周期性合并进冻结基座，保留全参数优化的高秩学习动态。在 Qwen2.5 100M 至 1.5B 与 OLMo-2-1B 上，1.5B 规模可减少 66% 可训练参数而验证困惑度仅小幅上升。
arXiv cs.LG3 天前
#低秩适配
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Self-Direction 让智能体把错误蒸馏为持久低秩适配器
论文提出 Self-Direction 机制，智能体任务失败后反思轨迹提取经验，并即时蒸馏为轻量低秩适配器，参数量约为基座的 0.02%，存入持久经验库并按需路由。基于 Qwen 系列开放权重模型的实验在 GAIA、Claw-Eval、Terminal-Bench 2.1 上成功率提升 8.9 至…
arXiv cs.AI7 天前
★ 3
PaLoRA：面向持续学习的节奏化低秩适配
论文揭示 LoRA 持续学习中固定小学习率启发式的局限，提出最优幅度限制应随历史知识有效秩自适应增长。据此提出 PaLoRA，通过自适应 SVD 截断压缩历史知识、将梯度投影到先验任务零空间，并施加秩感知节奏。在 50 任务 ImageNet-A/R 上准确率提升约 4%。
arXiv cs.LG27 天前
★ 3
ALOE：语义寻址低秩算子知识编辑
论文提出 ALOE，将知识编辑同时视为写入与寻址问题：从复述与同主体难负例中学习语义地址，经 rollout 精炼与门控校准对齐自回归隐状态，并把门控低秩算子嵌入单个 MLP 层，使部署模型单次前向即可完成编辑，无需外部检索器或路由器。在 CounterFact、ZSRE、KnowEdit 三个 …
arXiv cs.AI38 天前
★ 2
DBCM：面向时间序列预测测试时自适应的双分支校准模块
论文提出双分支校准模块 DBCM，用于时间序列预测中的测试时自适应。作者发现预测残差在通道间存在大量共享结构，因此用共享适配器承载跨通道自适应能力，再用低秩通道适配器保留少量通道特异性，并辅以通道混合与非线性门控调制。实验显示 DBCM 在多种数据集、预测步长和骨干网络上均优于现有方法。
arXiv cs.LG7 天前
★ 2
论文测试 Gemma 4 语音编码器冻结与适配器方案识别沙特与海湾阿拉伯语
研究在不改动 Gemma 4 与 EmbeddingGemma 2 共享的 3.05 亿参数音频编码器权重的前提下，测试沙特与海湾阿拉伯语识别。冻结系统仅训练 2260 万参数 CTC 读取器，适配系统增加 310 万低秩适配器与混合 CTC/注意力读取器。适配系统在公开沙特客服通话 WER 上与…
arXiv NLP11 天前
★ 2
Drift-TTA 提出隐藏轨迹对齐的测试时自适应方法
论文提出 Drift-TTA，利用深度网络中间层表示的「隐藏轨迹」作为测试时自适应信号，在冻结骨干上加入零初始化低秩适配器，将受损输入的轨迹对齐到干净输入。在 CIFAR-100-C 严重度 5 下，无源在线版本比无 TTA 提升 13.3 个百分点（ViT-B/16），并将 ECE 从 18.0…
arXiv cs.LG13 天前
★ 2
研究提出 watermarkability 指标，降低水印对困惑度影响
论文提出 watermarkability 概念，量化语言模型与基于 logit 的水印所要求词元集合之间的兼容性，并用 KL 散度定义水印成本。作者设计两阶段方法：先训练目标集合条件化的低秩适配器，再用闭式控制器施加最小 logit 偏置，在 OPT-125M 与 Qwen3-8B 上显著降低困…
arXiv NLP14 天前
★ 2
MuLoRA：谱平衡低秩适配用于持续学习
论文指出 LoRA 在持续学习中会出现「谱可塑性崩塌」：更新能量集中在少数奇异模态，低秩空间利用率低。作者提出 MuLoRA，通过历史白化选取任务自适应基，并对动量更新做近似极正交化以降低谱集中。在五个类增量基准、八种设置中，16 项指标有 15 项取得最高平均准确率。
arXiv cs.LG28 天前
★ 2
LoRA秩并非容量控制而是可达性约束
论文挑战了LoRA中秩r作为容量控制的普遍认知。在硬性逐因子范数预算下，LoRA可达的更新恰是核范数球内秩不超过r的矩阵，而所有复杂度泛函都由秩一更新取到最大值，秩上限从不生效。研究重新将秩定位为决定哪些更新可达、以及抵消主奇异方向的代价，而非模型容量。
arXiv cs.AI34 天前
★ 2
PALM：金融语言模型的时间点适配方法
金融回测中的语言模型存在前视偏差，因为模型训练语料可能包含研究期之后发布的文本。传统做法是按年预训练时间点（PIT）模型，每年一个检查点，但成本高昂。论文提出 PALM，通过在决策日期前的文本上拟合低秩适配器，无需修改预训练权重即可为新时段补充知识，效果优于继续预训练，并在十年金融新闻和多个 PI…
arXiv cs.LG35 天前
★ 2
LoRA-RC：低秩适配的储备池计算
论文提出LoRA-RC，通过流式预测误差驱动的低秩修正来适配储备池循环矩阵，核心矩阵在线更新并投影到谱范数球内、逐步低通滤波，保证循环矩阵始终处于认证收缩集内并建立增量输入-状态稳定性界。在Lorenz系统突变漂移场景下，LoRA-RC将漂移后预测误差较固定RC降低56%、较仅读出适配降低51%。
arXiv cs.AI49 天前
这个主题的相关资产
相关术语LoRA（低秩适配）