★ 3
arXiv 研究长上下文数据选择：truncLongPPL 提升 Qwen2.5 长文本能力
论文在 Qwen2.5-3B 128K 上下文、6B token 训练预算下对比长文档选择策略，发现随机采样优于重打包，而按 LongPPL 关键 token 密度选文档可进一步提升。作者提出 truncLongPPL，仅用前半段打分即接近全段效果并提速 2.28 倍。在 HELMET、RULER…
arXiv NLP13 天前
#数据选择
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文：样本价值取决于目标学习器而非数据
论文通过冻结已选子集、仅改变训练学习器的受控实验，研究核心集选择中易样本优先与几何覆盖策略的交叉边界是否固定。在低分辨率 ImageNet-100 上，将 ResNet-18 宽度翻倍使交叉点从每类 57 个样本移到 85 个，说明学习器改变了同样样本的相对价值。将卷积系统换成 ViT 后，覆盖策…
arXiv cs.LG31 天前
★ 3
研究：LLM 数学迁移更依赖推理方法而非主题
论文比较按主题与按推理方法选择数学训练数据对微调迁移的影响。在两组 2×2 平衡设计中，同方法（SA）源在全部 40 个模型-目标对比中均优于同主题（ST）源，模型级优势达 8.2 至 16.2 个百分点。结果显示推理方法是比主题更有效的数学迁移匹配准则。
arXiv cs.AI31 天前
★ 3
AutoData：用智能体搜索预训练数据选择算法
研究将预训练数据选择视为对可执行选择算法的智能体搜索，提出AutoData，在评分、分层与随机选择规则构成的程序空间中迭代优化。仅用小型代理模型搜索一夜，即发现优于人工设计数据筛选流程的算法，并能迁移到更大规模、提升下游CORE指标。该工作把数据工程纳入智能体自动机器学习范畴。
arXiv cs.AI45 天前
★ 2
RSP：基于扰动的数据选择方法提升医疗问答微调
研究者提出基于最终层表征高斯扰动的数据选择方法 RSP 与 RSP-Drop，利用预测翻转频率与边际收缩两个信号，在熵预筛后挑选紧凑训练子集。用 MedGemma-4B 在五个医疗问答数据集上测试，128 样本预算下 Macro-F1 达 47.55 与 48.28，高于随机选择的 45.11。作…
arXiv NLP6 天前
★ 2
arXiv 论文用 k-center 子集选择降低 Whisper 微调成本
研究提出基于嵌入的子集选择方法，利用 OpenAI Whisper 预训练编码器把音频映射到固定维度空间，再用贪心 k-center 算法挑选多样且有代表性的训练子集。在希伯来语和丹麦语上，k-center 选择在小样本预算下优于随机采样，且子集词汇多样性更高。
arXiv NLP6 天前
★ 2
arXiv 论文提出数据选择忠实性框架与可扩展算法
该论文指出，传统以最小化总体误差为目标的数据选择在信息论上不可行，除非验证集规模远大于训练集。作者转而提出「忠实性」单边保证，用可估计代理上界衡量子集训练与全量训练的差异，并以 Unadjusted Langevin Algorithm 建模训练过程。论文提出基于交换的局部搜索算法，在 CIFAR…
arXiv cs.LG10 天前
★ 2
LIFT：用部分推理轨迹实现免训练提示选择
针对 RLVR 训练成本高的问题，论文提出免训练数据选择器 LIFT，仅用部分推理轨迹即可评估提示价值，核心指标 PRCL 通过 token 级对数似然比打分。在 Qwen2.5-Math-1.5B 与 DeepSeek-R1-Distill-1.5B 上，LIFT 将选择成本降低 3.7 至 9…
arXiv cs.AI13 天前
★ 2
Mixture-then-Select：大模型微调的组合式数据选择
论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。
arXiv cs.LG19 天前
★ 2
FAER：可审计的效用对齐轨迹回放
论文形式化回放选择中的「选择-学习鸿沟」，提出FAER可审计全轨迹回放框架，其FAER-UTILITY选择器基于学习者效用拟合。在GSM8K与Qwen2.5-1.5B-Instruct上，FAER-UTILITY达到0.6624质量分，优于固定选择器的0.6329。研究还发现格式反馈选出的记录正确…
arXiv cs.LG31 天前