★ 2
QSGS 提出基于查询的子模数据选择，0.5% 预算追平全量微调
论文提出 QSGS，将定向指令微调数据选择建模为梯度相似图上的子模图割，兼顾目标相关性与子集内冗余抑制，并用梯度引导合成填补覆盖缺口。在 MMLU、BBH、TydiQA 上跨 Llama-2、Llama-3、Mistral 测试，0.5% 预算在 Mistral-7B 上追平或超过全量数据表现，预…
arXiv cs.AI14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 QSGS，将定向指令微调数据选择建模为梯度相似图上的子模图割，兼顾目标相关性与子集内冗余抑制，并用梯度引导合成填补覆盖缺口。在 MMLU、BBH、TydiQA 上跨 Llama-2、Llama-3、Mistral 测试，0.5% 预算在 Mistral-7B 上追平或超过全量数据表现，预…