#指令微调

共 11 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

研究发现失败反馈反使小模型重复错误走法

论文在推箱子、四子棋、黑白棋中测试 LLM 智能体失败反馈的效果。汇总 8 个指令微调模型（135M-1.7B）后发现，把失败走法写入记录反而提高其重复概率，且主要经由走法表面形式、仅对非法走法生效。省略走法字符串的失败描述可保留模型原有偏好；OLMo 2 1B 训练链中该反转在 DPO 阶段基本…

arXiv cs.AI10 天前

★ 3

研究：大模型文化刻板印象检测不可靠，非英语提示更有效

论文系统考察大模型在文化特定刻板印象检测上的表现，变量包括提示语言、指令微调语言与微调数据规模，覆盖美国、荷兰与中国三种文化语境。结果显示模型无法可靠考虑文化语境，且普遍高估刻板印象的存在；非英语提示反而提升文化语境考量与预测效果。额外指令微调可降低误报率，而训练数据规模对检测效果呈非单调影响。

arXiv NLP14 天前

★ 3

Orange 发布沃洛夫语开源权重模型 0.6B-14B

Orange 发布适配沃洛夫语的 0.6B 至 14B 开源权重模型，通过指令微调、偏好对齐与模型合并构建。在 63 项公开与内部任务上，8B 与 14B 模型表现可与更大商业系统竞争。模型已在客服试点中评估，并在 Hugging Face 公开。

arXiv NLP17 天前

★ 3

Neurograf v1：罗马尼亚语优先的端到端语言模型家族

研究者发布实验性罗马尼亚语优先语言模型管线Neurograf v1，包含635GB语料RoSfera、80k字节级BPE分词器、160M至6B参数的五个解码器模型、三个指令微调助手与两个对比学习嵌入模型。Neurograf-6B在1000题WWTBM基准的罗马尼亚语境问题上达69.89%准确率。研…

arXiv NLP21 天前

★ 3

研究比较Llama、Qwen、Gemma指令微调对知识冲突回路的影响

研究首次对基础模型与指令微调模型的知识冲突解决回路进行机制性对比，覆盖 Llama-3.2-3B、Qwen-2.5-3B、Gemma-3-4B 三个模型家族。五种独立方法一致表明，指令微调并未重建回路，而是对同一批后层注意力头进行重新加权（节点重叠度 0.60-0.82）。行为上模型更倾向参数记忆…

arXiv cs.LG40 天前

★ 2

研究揭示指令数据暴露程度决定 LLM 类比修辞方向可激活性

论文从残差流中提取「类比向量」，在 Gemma-2、Llama-3.1、Qwen-2.5 等七个指令微调模型上实现可操控的解释风格，Gemma-2-9B-IT 调和均值提升 22%。核心发现是类比方向存在于所有基座模型中，但其行为可激活性随训练中指令暴露程度连续增长。这挑战了「基座 vs 指令」的…

arXiv NLP3 天前

★ 2

arXiv 论文提出 Prompt-TIES 与 Prompt-DARE 提升模型提示鲁棒性

该论文研究如何通过训练阶段而非推理阶段的提示优化来提升大语言模型对提示措辞的鲁棒性。作者发现同一提示的不同改写版本在梯度上存在干扰，57% 出现符号冲突，朴素梯度平均会损失约五分之一幅度。为此提出 Prompt-TIES 与 Prompt-DARE 两种梯度合并方法，在四个模型上将近乎减半逐样本方…

arXiv NLP3 天前

★ 2

研究：指令微调使语言模型偏好避开整数与整十数

一篇 arXiv 论文以无采样误差的方式测量语言模型在「随机选一个数」任务上对 1 到 N 各整数的概率分布，覆盖 18 个开源模型系列、29 种解码配置。结果显示指令微调在全部 15 组基座/微调配对中都让分布更不均匀，并新增「回避整十数」启发式、强化「回避端点」倾向。研究还发现模型并未形成跨模…

arXiv NLP5 天前

★ 2

Mixture-then-Select：大模型微调的组合式数据选择

论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。

arXiv cs.LG19 天前

★ 2

arXiv 论文：语言模型可持续学习中的自我保全机制

一篇 arXiv 新论文研究持续学习中的「自我保全」问题：模型能否帮助选择保护自身能力的保留目标。作者将任务描述与示例组织为 Task Banks，用不同规模 Qwen 模型做持续指令微调，发现生成式回放可减少任务库之外的遗忘，组合部分任务库能进一步提升保留率，且模型可辅助选择回放目标。