★ 3
NormTune：按权重更新范数引导的参数高效微调
论文发现参数高效微调（PEFT）在推理密集任务上落后于全量微调，与权重更新范数偏小的「欠适配」相关。提出 NormTune，按各层权重更新范数自适应增强更新不足的层。在 S1K-1.1 上训练后，rank-8 LoRA、Bone、MoRA 在 AIME 2024、MATH 500、GPQA、AIM…
arXiv cs.AI11 天前
#模型微调
共 15 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：Qwen2.5 微调模型共享涌现失准注意力头
一篇 arXiv 论文研究涌现失准（EM）是否依赖共同的计算组件。作者对 Qwen2.5-3B-Instruct 做三次 LoRA 微调，分别训练有害医疗建议、高风险金融建议和极限运动推荐。通过基于方向的激活追踪，发现三个模型排名前五的注意力头中有三个位置共享；替换这些头的贡献可将自由生成失准率从…
arXiv cs.LG17 天前
★ 3
研究训练语音智能体遵循未见催收合规流程
论文提出 FlowSpec 机器可读规范，用 297 个随机流程的 2506 段对话微调 90 亿参数模型，使其能遵循从未见过的受监管催收流程。在四个未见部署流程上，文档化检查通过率从 67-71% 升至 93-100%，场景通过率从 15/43 升至 40/43。审计还发现共享规范中 11 处缺…
arXiv NLP18 天前
★ 3
HSAD 方法提出：8B 顾问模型蒸馏失败经验，金融智能体合格率升至56.6%
论文提出后见之明结构化建议蒸馏（HSAD），训练小型顾问模型读取输入并生成结构化建议，附加到冻结执行器提示中。在 FrontierFinance 基准上，8B 顾问将 Samaya 研究智能体合格率从52.9%提升至56.6%，成本降低37%，并在 WebShop、BIRD text-to-SQL…
arXiv cs.AI21 天前
★ 3
可训练智能体式上下文管理
论文提出不原生训练长上下文、也不设计复杂框架，而是让模型在极简工具框架上微调，仅用调用自身与读取上下文区间的两个工具。在 Qwen3.6-35B-A3B 上微调后，仅 8000 token 上下文即可在 OOLONG-synth 长文档任务上媲美 100 万 token 的 GPT-5.4。
arXiv cs.LG28 天前
★ 2
RSP：基于扰动的数据选择方法提升医疗问答微调
研究者提出基于最终层表征高斯扰动的数据选择方法 RSP 与 RSP-Drop，利用预测翻转频率与边际收缩两个信号，在熵预筛后挑选紧凑训练子集。用 MedGemma-4B 在五个医疗问答数据集上测试，128 样本预算下 Macro-F1 达 47.55 与 48.28，高于随机选择的 45.11。作…
arXiv NLP6 天前
★ 2
arXiv 论文用 k-center 子集选择降低 Whisper 微调成本
研究提出基于嵌入的子集选择方法，利用 OpenAI Whisper 预训练编码器把音频映射到固定维度空间，再用贪心 k-center 算法挑选多样且有代表性的训练子集。在希伯来语和丹麦语上，k-center 选择在小样本预算下优于随机采样，且子集词汇多样性更高。
arXiv NLP6 天前
★ 2
DKnown-Jev 基于 Qwen3.5 微调，规范知识任务准确率达 98.75%
研究者提出 DKnown-Jev，用于判断候选段落能否回答规范知识类问题，分为「答案证据」与「非答案证据」两类。2B 与 27B 版本分别基于 Qwen3.5-2B 和 Qwen3.8-27B 微调。27B 单轮训练在 1120 条人工验证测试集上取得 98.75% 准确率与 98.60% mac…
arXiv cs.AI13 天前
★ 2
ToPA：分块托普利茨矩阵高效微调方法
论文提出ToPA，用分块托普利茨矩阵乘积替代低秩或稀疏参数化进行参数高效微调，避免显式秩与稀疏约束并缩短乘法链以稳定训练。理论证明其可逼近任意矩阵且表达力更强，在21个NLP与CV数据集、5种模型架构上验证有效。
arXiv cs.AI13 天前
★ 2
开发者发布去除AI写作腔调的Qwen3-4B微调版
有开发者在Hacker News的Show HN板块展示了一个基于Qwen3-4B的微调模型，专门训练去除AI写作中常见的套话与腔调。该帖获得98分热度与78条评论，反映出社区对“AI味”文本和模型风格微调的持续关注。
Hacker News13 天前
★ 2
QCRI 研究儿童语音识别适配与成人性能保持
卡塔尔计算研究所（QCRI）发表论文，研究在阿拉伯语和英语上对成人 ASR 模型进行儿童语音适配时如何保持成人识别性能。研究对比全量微调、LoRA 与事后权重空间合并，发现直接适配常导致成人语音遗忘，而权重空间合并（LERP、TIES）能改善适配-保持权衡。代码与模型已开源。
arXiv NLP25 天前
★ 2
微调VLM提升AI空间智能：理解3D与2D旋转
一篇arXiv论文研究通过微调视觉语言模型（VLM）来增强AI的空间推理能力，聚焦2D与3D物体旋转检测。实验显示，微调后的Gemma-4混合专家（MoE）模型在预测旋转轴与角度上显著优于通用版Gemma-4。研究还发现可识别物体并未提升角度检测精度，而具有明显线性特征的物体表现更好。
arXiv cs.AI27 天前
★ 2
LoRA秩并非容量控制而是可达性约束
论文挑战了LoRA中秩r作为容量控制的普遍认知。在硬性逐因子范数预算下，LoRA可达的更新恰是核范数球内秩不超过r的矩阵，而所有复杂度泛函都由秩一更新取到最大值，秩上限从不生效。研究重新将秩定位为决定哪些更新可达、以及抵消主奇异方向的代价，而非模型容量。
arXiv cs.AI34 天前
★ 2
Baszta：波兰语多标签安全分类器微调
研究基于 allegro/herbert-base-cased 微调出波兰语多标签内容安全分类器，覆盖仇恨、粗俗、色情、犯罪、自残五类，采用 Focal + R-Drop 目标，并与 Bielik Guard 在 Gadzi Język 分布外基准上对比。作者强调该基准 97% 为犯罪正例，微 F…
arXiv cs.AI38 天前
★ 1
2026 年 LLM 微调服务选购指南发布
一篇指南文章梳理了 2026 年选择 LLM 微调服务时应关注的关键要素，包括数据支持、成本、模型质量与合规等。面向企业选型提供参考框架。
Hacker News – LLM12 天前