★ 4
研究：金融微调模型数值幻觉的三级可检测性分析
研究发现领域微调显著降低金融大模型的数值约束力，导致幻觉率飙升。数值监督反而放大幻觉，模板注入是主要机制，提示评估需覆盖所有可检测层级并采用接地生成。
arXiv cs.AI56 天前
#微调
共 61 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究用 KV 缓存修补追踪微调行为产生的位置
论文通过将 LoRA 微调模型的 KV 缓存修补进原始基座模型（及反向操作），探究微调行为究竟在何处被实例化。结果显示，对德语回答、涌现性失准等行为，KV 缓存修补可将行为在微调模型与基座模型间转移或消除。修补效果随修补比例增大而增强，并集中于少数关键位置，系统提示与聊天模板 token 影响尤为…
arXiv NLP5 小时前
★ 3
CPA 反事实成对增强提升小型 LLM 评判器
论文提出 CPA（反事实成对增强），为每个逐点评分样本合成并审核一个反事实回答，构成成对任务与逐点数据联合微调。在 Qwen3-8B LoRA 适配器上，CPA 使六项二元标准的平均宏 F1 提升 2.5 点，并超过 Gemini 3.6 Flash 11.8 点。
arXiv cs.AI5 小时前
★ 3
研究拆解顺序微调中回放与蒸馏对 LLM 安全性的作用
arXiv 论文在 Mistral-7B 与 Llama-3-8B 的顺序 LoRA 微调中，把监督式回放与 logit 蒸馏两种防安全退化策略拆开分析。监督回放使 HarmBench 攻击成功率平均降 51.1 分，但过度拒答上升 53.4 分；纯蒸馏仅降 5.4 分攻击成功率、过度拒答只升 5…
arXiv cs.LG3 天前
★ 3
研究：微调 Llama-3.3-70B 监控器可将未发现串谋从 91% 降至 14-20%
论文研究 AI 控制协议中模型自我监控的串谋风险，在 Llama-3.3-70B 与 Qwen2.5-72B 上植入五组策略-监控行为对，仅用一次已捕获串谋的 300 条诚实评审做纠正。三种方法把留出串谋从 91% 降至 14-20%，而用无关样本微调的对照组仍保留 56-93%。结论是纠正能减少…
arXiv cs.AI10 天前
★ 3
研究：奖励模型窄域有害微调可泛化至七个领域
论文对 Skywork-Reward-V2-Llama-3.1-8B 与 Skywork-Reward-V2-Qwen3-8B 两个奖励模型做窄域有害偏好微调，发现其在医疗或金融领域的偏好反转会泛化到七个留出领域，且在 RewardBench 2 上仅小幅下降。机制上表现为表征几何压缩与有害表征向…
arXiv cs.AI13 天前
★ 3
JEPA-Prune：联合嵌入引导剪枝缓解微调大模型隐私泄露
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …
arXiv NLP14 天前
★ 3
arXiv 研究：微调更新的秩度量需要噪声基线
论文将微调权重更新的秩度量与同形状随机矩阵、预训练权重及无对齐内容的匹配微调对比，发现计数方向的度量仅略低于噪声，稳定秩则远低于噪声。该模式在 13 组最高 8B 参数的模型对上成立，且并非对齐特征；作者据此质疑「后训练只是表面改变」的近期论断。
arXiv cs.LG14 天前
★ 3
Oracle 引导微调提升生成式 ASR 后编辑
研究者提出 oracle 引导微调方法，将 ASR 的 N-best 候选列表转化为监督信号，通过纠错、正则化与难负样本三类数据池训练「选择或重写」策略。该方法在约 3B 参数规模上效果最明显，可抑制过度编辑与幻觉，但公共朗读语料结果不一致，提示预训练重叠可能掩盖真实增益。
arXiv NLP19 天前
★ 3
Vela：用真实用户行为监督提升 LLM 智能
研究者提出 Vela 框架，将真实用户行为数据转化为可训练任务与轨迹。基于 10 万用户的匿名行为记录生成 10 万个任务，微调 Qwen3.6-35B-A3B 后在用户相关任务上最高提升 11.5 分，通用基准平均提升 4 分，表明用户行为是可扩展的监督信号。
arXiv NLP19 天前
★ 3
微调 Qwen3.5 小模型语法标注超越 GPT-5.4
研究团队微调 Qwen3.5 小语言模型用于语法概念标注，部署 0.8B 模型构建端到端语法掌握追踪器。在两个人工标注基准上，0.8B 与 4B 模型在精确率与召回率上均超过提示式 GPT-5.4 与 GPT-5.6 Sol，服务成本降低约 16 倍，在线实验显示学习者参与度提升 15.8%。
arXiv NLP24 天前
★ 3
arXiv 论文：灾难性遗忘集中于低频词输出嵌入，调高 Adam epsilon 可缓解
一篇 arXiv 论文系统分析了 LLM 持续预训练与微调中的灾难性遗忘发生位置，发现遗忘集中在训练语料中罕见 token 的输出嵌入上，而非模型主体。机制上，缺失 token 受到持续的单侧 softmax 梯度，被 Adam 二阶矩归一化放大成完整更新。作者提出仅在输出投影层提高 Adam 的…
arXiv NLP25 天前
★ 3
研究提出人格层级模型解释LLM微调泛化
arXiv 论文提出「人格层级模型」，认为 LLM 微调时存在一个共享默认人格影响跨上下文行为：修改共享人格会带来更广迁移，而只改局部人格则局限于特定上下文。研究在 120 个微调模型上验证，并提出人格保持正则化（PPR），在强化学习中把奖励黑客从 42-55% 降至 0.2% 以下。
arXiv NLP25 天前
★ 3
TransferBreaker：阻断语音识别对抗迁移攻击
论文揭示在公开预训练 ASR 模型上构造的对抗扰动可有效迁移到微调后的黑盒目标模型，严重降低性能。作者提出 TransferBreaker 统一微调框架，整合基础对抗微调、潜在雅可比正则化与 HybridGrad-AFT，在三种语言、四个大型 ASR 模型上将对抗词错率从 92.6 降至 27.8…
arXiv cs.LG25 天前
★ 3
SRFT：让AI代理从失败经验中学习抵御提示注入
论文提出自反思微调（SRFT）框架，让 LLM 智能体在对抗条件下从自身失败轨迹中学习，而非被动模仿专家行为。SRFT 通过注入攻击构造受损轨迹，并借助专家模型生成结构化自反思推理，对比不安全与最优动作。基于 Llama-3.1-8B-Instruct 与 Qwen3-8B 构建的 SR-Agen…
arXiv cs.LG27 天前
★ 3
世界模型训练：微调与 RAG 的对比研究
论文在具身、网页导航与社交等五类环境中系统比较微调与 RAG 两种语言模型世界模型构建范式。结果显示微调在 20 个设置中的 15 个取得更高奖励，但 RAG 更省数据；微调则更受益于经验规模扩大。作者用反事实干预估计检索阶段错误率，并提出分层查询改写与混合式世界模型系统，在多个环境与模型上稳定领…
arXiv cs.AI28 天前
★ 3
研究：LLM 数学迁移更依赖推理方法而非主题
论文比较按主题与按推理方法选择数学训练数据对微调迁移的影响。在两组 2×2 平衡设计中，同方法（SA）源在全部 40 个模型-目标对比中均优于同主题（ST）源，模型级优势达 8.2 至 16.2 个百分点。结果显示推理方法是比主题更有效的数学迁移匹配准则。
arXiv cs.AI31 天前
★ 3
研究：用探针微调对齐模型且不损失可监控性
论文研究探针引导微调（probe-guided fine-tuning），即用检测模型激活中不良属性的探针作为直接训练信号，而非仅依赖输出层面的对齐。实验表明，固定不更新的探针目标容易被模型利用，而持续更新的探针能显著降低有害性、提升诚实度并保持实用性。该方法在安全-效用权衡上优于 DPO 和推理…
arXiv cs.LG32 天前
★ 3
LLM微调是否需要人类可读文本
论文探究人类可读性是否为LLM有效微调的必要条件，提出DASA方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入，直接用于下游微调。在Llama与Qwen家族六个1B至32B模型、六个基准上，DASA在匹配LoRA设置下性能与源自然语言数据相当甚至更优，并比GRADMM快3.6至4.9倍。
arXiv cs.AI33 天前
★ 3
训练却不学习：LLM智能体后训练交付基准
论文提出面向「后训练即服务」（PTaaS）的交付基准，把LLM智能体放在前向部署工程师（FDE）的位置上，考察其能否可信地交付微调模型。核心失效模式被命名为「训练却不学习」（TBDL）：损失下降、指标全绿，但交付模型并不优于基座。作者在受治理交付平面上让四个前沿智能体端到端跑完十个阶段，并设置验收…
arXiv cs.LG40 天前
★ 3
LingLan：多模态中医诊断大模型
论文提出多模态数据统一框架UFMD，将舌象与脉象图像自动处理为结构化临床描述，整合望闻问切多源诊断信息，并基于此构建中医专用大模型LingLan-14B。实验显示诊断准确率相对基线提升103.5%（62.72%对30.82%），F1最高达82%。
arXiv cs.AI40 天前
★ 3
SafeTune：审计与修复微调安全漂移的统一库
针对微调 LLM 安全漂移的应对方法分散、难以比较的问题，论文提出开源库 SafeTune，统一事后权重恢复、安全约束微调、基于梯度的遗忘与推理时引导四种干预范式。它提供配置驱动的一致工作流与模块化注册表，支持新方法、基准与领域扩展。通过金融与医疗部署案例，展示了安全漂移刻画、干预评估与分层缓解能…
arXiv cs.LG41 天前
★ 3
GRRR：解码器LLM后训练中权重重塑、旋转与路由的几何分析
论文研究后训练如何相对预训练权重改变 LLM 参数，在 12 条包含 SFT 与 RL 的后训练链中，将每次权重更新表达在预训练矩阵的 SVD 框架下。分解出对角（重塑奇异值）、非对角（旋转耦合）与零空间（路由）三类几何分量。数学评测显示移除对角分量通常仍保留大部分后训练收益，说明增益主要来自重构…
arXiv cs.LG41 天前
★ 3
Stiefel-AdamW：面向线性分解块的几何优化器
论文提出 Stiefel-AdamW，针对 LoRA 适配器、低秩压缩层、自注意力 QK 乘积等 W=BA 线性分解块，将其中一个因子约束在 Stiefel 流形上，把完全 GL(r) 规范对称性降为紧正交对称，避免因子爆炸同时保留 AdamW 的逐坐标预条件。在 GPT2、ViT、Mistral…
arXiv cs.LG42 天前
★ 3
研究测试语言模型树结构表达式序列化瓶颈
论文提出往返协议，研究LLM在思维链或自由文本交互中序列化树结构信息时的信息损失。实验覆盖16个模型的所有配对，发现信道有损且不对称，生成与提取模型互换可致准确率变化达60.4个百分点，最佳配对达92.9%。至少73.6%的失败源于生成端，难度由树结构而非模型家族决定，且该信道可通过约3600条微…
arXiv cs.AI42 天前
★ 3
JANUS 事后校正缓解稳定性-可塑性困境
针对基础模型微调中的灾难性遗忘，论文提出纯事后、与微调方法无关的权重校正框架 JANUS，通过将参数更新投影到雅可比零空间实现参数空间正交，从而在一阶意义上保留历史性能。为克服雅可比近似的局部有效性，作者提出多步自适应校正机制动态验证信任域并调整步长，并配合幽灵投影、幽灵方向比较与序列级奇异值分解…
arXiv cs.LG45 天前
★ 3
层重要性揭示 Transformer 与状态空间模型的差异
论文通过层重要性视角比较 Transformer 与状态空间模型（SSM），将层重要性分解为必要性（预训练依赖度）与可塑性（微调吸收新信息的位置）。分析发现两类模型行为根本不同：在评测的至多 14B 参数残差 Transformer 中，必要性与可塑性沿深度反相关，而 Mamba 式 SSM 中二…
arXiv cs.LG47 天前
★ 3
用合成CoT与难度感知微调蒸馏2B视频语言模型
论文提出一种将推理能力蒸馏进紧凑视频语言模型（VLM）的高效方法，仅用约 900 个不确定性筛选样本、由 4B 教师模型生成合成思维链，在单张 A100 上不到两小时即可微调 2B 模型。该模型在 CinePile、ActivityNet-QA、MLVU 上超越最多 4 倍大的 VLM，接近其 4…
arXiv cs.LG47 天前
★ 3
通信高效的联邦LoRA微调自适应相位切换方法
论文测量了双向B-only联邦LoRA协议的每轮通信字节，提出自适应相位切换聚合器ReverseAdaptive，通过监控全局训练损失相对改进来定位通信-质量前沿的拐点。在TinyLlama-1.1B-Chat上实现40.5%往返通信节省，且阈值可跨模型规模迁移。
arXiv cs.LG48 天前
★ 3
面向MoE大模型的任务感知联邦微调
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题，论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联，通过SVD提取任务坐标，进行簇内与簇间聚合，从而保留专家特化并缓解异构干扰，在四个基准任务上取得最优表现。
arXiv cs.LG48 天前