★ 2
arXiv 论文：LLM 微调数据选择应重覆盖度而非难度
该论文发现，基于难度的数据选择方法在 LLM 微调中往往不如随机选择。原因是随机采样对输入空间覆盖更充分。作者提出基于聚类的选择方法，在单领域任务上达到或超过随机采样，在多领域 Tülu 3 混合数据上优于所有方法。
arXiv cs.LG6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文发现，基于难度的数据选择方法在 LLM 微调中往往不如随机选择。原因是随机采样对输入空间覆盖更充分。作者提出基于聚类的选择方法，在单领域任务上达到或超过随机采样，在多领域 Tülu 3 混合数据上优于所有方法。