#Token重加权

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

SFT究竟该学哪些Token?数学推理的Token裁剪视角

论文指出SFT对所有目标Token施加统一交叉熵损失,会过度锐化已掌握Token并放大低置信Token的学习压力。作者提出Trimmed Logit-Gap SFT(TrimSFT),依据金标Token与最强竞争者的logit差距进行Token级重加权,裁剪两端极端、聚焦中间区域,无需参考模型或额…

arXiv cs.AI53 天前

这个主题的相关资产

相关公司Ollama1

相关标签

Token重加权 最新资讯与动态(1 篇) - 智讯 AI News