★ 3
低秩激活引导实现参数高效决策算子
论文提出一种通过行为克隆训练的System-1决策算子，将向冻结语言模型注入技能的成本降低约两个数量级。默认算子仅用33万参数即可匹配133万参数的强化学习算子，并将3685 token的推理压缩为6 token决策且不损失精度。研究揭示可训练性差距源于初始化与架构，技能可作为近似线性算子组合、插…
arXiv cs.LG26 天前
#参数高效
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Aplaud：自适应低秩分解实现用户专属LLM
Aplaud框架扩展LoRA，将适应分解为冻结共享基和紧凑用户修正，并引入秩一残差，进一步降低每用户参数成本。在调查响应预测任务中，Aplaud在泛化和推理效率上均优于现有基于LoRA的个性化方法。
arXiv cs.AI56 天前
★ 3
PLUME：低秩共享子空间实现高效LLM个性化
PLUME框架通过共享任务子空间和轻量级用户调制矩阵，实现大语言模型的高效个性化，减少95%以上每用户参数。实验表明其在多个文本生成基准上达到或超越强基线，为大规模用户个性化提供可扩展方案。
arXiv cs.AI56 天前
★ 3
紧凑可复用MoE用于持续多模态指令调优
提出CoRe-MoE框架，通过提取可复用方向基座并训练紧凑坐标专家，实现参数高效持续多模态指令调优。在多个模型上提升性能，同时大幅减少可训练参数。
arXiv cs.AI63 天前
★ 2
GRAM：基于子空间对齐的分组秩感知模型合并方法
论文指出统一合并不同任务模型会因任务子空间错位产生「子空间干扰」，并证明合并模型的投影误差由任务与共享子空间的主角度对齐决定。据此提出 GRAM，按主角度几何对任务分组后在组内做 SVD 合并，仅需微调权重。在 GLUE、8 任务 CLIP 视觉与医疗指令微调上均优于既有合并方法。
arXiv cs.AI11 天前
★ 2
arXiv 提出循环 GNN 与 Loop-Freeze-Steer，提升图规模泛化
论文研究从小图训练泛化到大图的问题，提出参数共享的循环 GNN 架构并归纳六种方案，区分深度扩展、微调与冻结引导的作用。作者提出 Loop-Freeze-Steer（LFS），冻结预训练处理器并学习小型控制器引导重复应用，以远少于全量微调的可训练参数在合成任务与芯片布局任务上取得精度与参数效率的平…
arXiv cs.LG13 天前
★ 2
DualView：基于 LLM 的多输出文本回归方法
论文提出 DualView，一种参数高效的多输出文本回归方法，从冻结 LLM 中提取宽泛与输出特定表征，用双分支架构生成完整评分向量。在五个异构回归任务与八个 LLM 上，DualView 优于七个监督回归基线，拟合参数少 82 至 1842 倍，小模型甚至可超越 Gemini 3.1 Pro 的…
arXiv NLP18 天前
★ 2
TinyCeNN-LM：质量门控的注意力转换
论文提出 TinyCeNN-LM，一种质量门控的训后转换框架，用类细胞神经网络循环层替换预训练模型中的注意力，并采用接受或回滚验证。在 SmolLM2-135M 与 Qwen3.5-0.8B 上部分层被接受，困惑度基本持平且缓存最多减少 6.01%，但下游准确率仅 28.5%-32.0%，支持保守…
arXiv cs.AI42 天前
★ 2
DU-NO：参数高效双U型神经算子用于相位解析波浪建模
研究提出DU-NO，一种多尺度U型谱神经算子，仅在编码器和解码器最浅两层接入轻量卷积U-Net分支，参数量仅364万，比U-FNO少一个数量级。在公开FUNWAVE-TVD基准上，其自回归误差比U-FNO改善14.9%，且在高波数频段仍保持优势。该工作有望降低近岸波浪实时预报与不确定性量化的计算成…
arXiv cs.AI49 天前