arXiv cs.AI·40 天前★ 2

跨模型失败文本知识蒸馏的稳健修复

原文标题：Robust Failure, Conservative Repair: Textual Knowledge Distillation from Cross-Model Failures

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文研究基于失败的文本知识蒸馏，指出从单一模型失败中提取的规则在其他模型家族上表现不佳，且注入的规则原子可能被误用于无关案例。作者提出RFCR方法，从跨模型共享失败中提取规则、用边界案例锐化应用范围并在无有用规则时弃权。在400项BIG-Bench Hard任务上，基线小抄从68.50%提升至71.25%。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 基于失败的文本知识蒸馏中，单模型失败规则跨模型迁移不稳定，且规则可能被误用到无关案例。
方法: RFCR从跨模型共享失败中提取规则，用边界案例锐化应用范围，并在无有用规则时弃权。
结果: 400项BIG-Bench Hard任务上，基线小抄从68.50%提升至71.25%（+2.75pp，95% CI [+1.25,+4.50]），且不损害原本正确案例。
影响: 为提示词/小抄类知识注入提供更稳健的跨模型规则筛选与弃权机制，减少负迁移。