★ 3
论文：样本价值取决于目标学习器而非数据
论文通过冻结已选子集、仅改变训练学习器的受控实验，研究核心集选择中易样本优先与几何覆盖策略的交叉边界是否固定。在低分辨率 ImageNet-100 上，将 ResNet-18 宽度翻倍使交叉点从每类 57 个样本移到 85 个，说明学习器改变了同样样本的相对价值。将卷积系统换成 ViT 后，覆盖策…
arXiv cs.LG31 天前
#训练动态
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SFT究竟该学哪些Token？数学推理的Token裁剪视角
论文指出SFT对所有目标Token施加统一交叉熵损失，会过度锐化已掌握Token并放大低置信Token的学习压力。作者提出Trimmed Logit-Gap SFT（TrimSFT），依据金标Token与最强竞争者的logit差距进行Token级重加权，裁剪两端极端、聚焦中间区域，无需参考模型或额…
arXiv cs.AI53 天前
★ 2
研究对比 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
arXiv 论文用可控噪声 k-parity 合成数据集，系统比较 MLP 与 Transformer 的训练动态与归纳偏置。结果显示 Transformer 对噪声特征更鲁棒但难以学习低可用性的复杂特征，MLP 则相反且随数据量稳定提升。研究还发现固定训练预算下增加样本数可能拖慢 Transfo…
arXiv cs.LG3 天前
★ 2
研究：语言模型上下文学习从复制到组合的演化
一篇 arXiv 论文通过受控诊断实验，区分模型是复制邻近示例还是整合提示信息，发现约三分之一模型偏好复制答案，其余偏好规则一致答案。检查点分析显示模型在准确率提升前就已优先关注任务相关提示词，合成文档训练可推动模型走向组合式回答，表明上下文学习并非单一能力。
arXiv NLP18 天前
这个主题的相关资产
相关公司Ollama1