★ 2
CSD：跨分词器知识蒸馏统一框架，Llama-3.1-8B 精度提升 4.2 分
论文提出 Common-Support Distillation（CSD），在教师与学生每个对齐输入块上构造共享支撑集，用单一目标匹配诱导分布，解决词表与切分差异导致的 logits 蒸馏对齐难题。在 Llama-3.2-1B、Gemma3-1B-PT 等四种师生设置中均取得最优，Llama-3.…
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Common-Support Distillation（CSD），在教师与学生每个对齐输入块上构造共享支撑集，用单一目标匹配诱导分布，解决词表与切分差异导致的 logits 蒸馏对齐难题。在 Llama-3.2-1B、Gemma3-1B-PT 等四种师生设置中均取得最优，Llama-3.…