★ 2
跨模型失败文本知识蒸馏的稳健修复
论文研究基于失败的文本知识蒸馏，指出从单一模型失败中提取的规则在其他模型家族上表现不佳，且注入的规则原子可能被误用于无关案例。作者提出RFCR方法，从跨模型共享失败中提取规则、用边界案例锐化应用范围并在无有用规则时弃权。在400项BIG-Bench Hard任务上，基线小抄从68.50%提升至71…
arXiv cs.AI40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究基于失败的文本知识蒸馏，指出从单一模型失败中提取的规则在其他模型家族上表现不佳，且注入的规则原子可能被误用于无关案例。作者提出RFCR方法，从跨模型共享失败中提取规则、用边界案例锐化应用范围并在无有用规则时弃权。在400项BIG-Bench Hard任务上，基线小抄从68.50%提升至71…