★ 2
Mixture-then-Select：大模型微调的组合式数据选择
论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。
arXiv cs.LG19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。