★ 3
新缩放定律：合成数据改写比例随算力上升
论文提出针对合成数据改写的缩放定律，用模型规模、训练 token 数、改写 token 占比与自然数据轮数预测损失，并把生成改写所耗算力计入成本。在算力受限设定下，最优改写比例随算力从 3e18 FLOPs 时的不足 10% 升至 1e22 FLOPs 时的 32%；据此外推训练的 220 亿参数…
arXiv cs.LG7 天前
#合成数据
共 40 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ToMStories 数据集发布：评测语言模型心理理论推理能力
研究者构建 ToMStories 数据集，包含约 6000 条合成叙事短文，考察模型对角色情绪、恐惧、动机等心理状态的推断。评测 13 个 1B 至 72B 开源模型发现，最大模型在多选题上接近人类，但开放式问题仍明显落后。研究提示合成数据可能高估模型理解真实人类的能力。
arXiv NLP14 天前
★ 3
研究：激活探针所需合成数据量取决于覆盖度
论文研究监控语言模型的激活探针需要多少合成对话样本。结果显示需求由被监控概念决定：高风险与有害回复探针在80个样本后接近平台期，指令遵循探针需要数倍样本。决定样本需求的是覆盖度而非难度，每类中位半增益样本量为7-11个。研究发布了评估套件与生成数据集。
arXiv cs.LG24 天前
★ 3
AI能否替代人类受访者？皮尤研究：不能
皮尤研究中心数据实验室发布研究，检验AI模型能否替代人类参与问卷调查。结论是AI目前无法真实模拟人类受访者的回答模式，这对依赖AI合成数据的市场调研与社会科学研究提出警示。
Hacker News – AI26 天前
★ 3
免训练合成数据流水线 GENSCRIPT
论文提出 GENSCRIPT，一种仅推理的合成数据流水线，无需训练生成模型。它计算源数据的确定性统计画像，交由语言模型推断字段语义与跨列完整性约束，再由编码智能体编译为可审计采样器。该方法统一支持单表、时序与关系型数据，2 分钟构建生成器、6 秒采样 5 万行，并在多个基准上保持接近领先方法的保真…
arXiv cs.LG32 天前
★ 3
LLM微调是否需要人类可读文本
论文探究人类可读性是否为LLM有效微调的必要条件，提出DASA方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入，直接用于下游微调。在Llama与Qwen家族六个1B至32B模型、六个基准上，DASA在匹配LoRA设置下性能与源自然语言数据相当甚至更优，并比GRADMM快3.6至4.9倍。
arXiv cs.AI33 天前
★ 3
华为诺亚前大模型负责人创业家庭具身，一年融资超10亿
诺因智能创始人李银川曾任华为诺亚方舟实验室生成式大模型负责人，2025年8月创立公司，主攻家庭具身智能。公司开发生成式具身大模型架构GLOW，90%采用合成数据，并推出消费级家庭机器人KNOWIN-X1。李银川认为具身模型一旦能力涌现，商业价值可能达大语言模型的10倍以上。
36氪34 天前
★ 3
SPSD：面向大模型推理的自博弈搜索蒸馏
论文提出自博弈搜索蒸馏（SPSD），利用在棋类游戏上训练的类 MuZero 网络进行自博弈，将搜索记录转化为超人类思维链，为 LLM 提供基于环境的监督。该方法仅用自博弈搜索记录训练，却能迁移到未见过的数学任务：在 Qwen3-4B-Base 上，六个数学基准均值从 24.1 提升至 36.6，留…
arXiv cs.AI35 天前
★ 3
通用多模态基础模型：支持任意模态组合与任意预测任务
论文提出一种通用多模态基础模型，摆脱对预设模态与单一任务的依赖，转而编码可迁移的多模态关联模式。方法基于大规模合成多模态数据训练，在 18 个真实数据集、12 种模态与 11 类任务上无需任务适配即可媲美专用模型。
arXiv cs.LG41 天前
★ 3
QVAC Genesis III 开源 STEM 合成语料
论文发布 QVAC Genesis III，一个 1914.3 亿 token、覆盖 19 个 STEM 领域的多域合成语料，面向边缘与端侧小模型预训练。其采用双生成策略，以弱学生模型的失败与成功信号进行教师蒸馏，并引入 LLM-as-a-parser 评估协议。1.7B 参数模型从头训练的对照实…
arXiv cs.AI45 天前
★ 3
NeMo Data Designer：多模态合成数据生成框架
研究推出NeMo Data Designer（NDD），一个开源通用多模态合成数据生成框架。NDD提供声明式配置格式，支持文本、代码、结构化输出、图像、嵌入及统计采样器等列类型，并可通过插件系统扩展。框架内置预览与修订循环，运行时解析依赖并调度模型端点调用，已用于Nemotron模型开发和企业生产…
arXiv cs.AI46 天前
★ 3
Prior Labs 发布 TabPFN-3.5：默认设置即超越 Otto Kaggle 冠军方案
Prior Labs 发布表格基础模型 TabPFN-3.5，该模型仅用合成数据预训练，却在默认设置下超越了 Otto Kaggle 竞赛的获胜方案。这显示出表格基础模型在结构化数据任务上的强劲泛化能力，对传统表格机器学习流程构成挑战。
MarkTechPost46 天前
★ 3
TimeThink：激发时序大模型组合推理
论文针对时序多模态大模型难以捕捉动态时序模式、缺乏显式推理的问题，提出TimeThink合成框架。该框架利用趋势、季节性等域无关时序原语确定性生成原子与组合问答对，并采用可验证奖励强化学习训练策略。仅用合成数据训练即在合成与真实基准上显著超越强基线。
arXiv cs.AI48 天前
★ 3
FINESSE：多模态金融事件序列模拟器与基准
论文推出 FINESSE，一个基于智能体的金融事件序列模拟框架，可生成由多个相互依赖事件流组成的合成结构化数据集。同时发布 FINESSE-Bench 基准，支持余额预测、交易欺诈检测、漏付预测与下一事件预测四项任务。框架与数据集开源，旨在加速金融服务中结构化多模态事件序列建模研究。
arXiv cs.LG49 天前
★ 3
WinSyn：面向真实企业问答评估的自动化流水线
针对企业问答中信息分散于邮件、聊天与文档且常相互冲突的复杂性，研究提出WinSyn自动化流水线，生成模拟长达数月、涉及多达25名多角色员工的企业项目合成邮件数据集及长短问答。用最新前沿模型评估标准智能体基线，各数据集平均得分均低于80%，表明企业级深度研究系统仍有较大提升空间。
arXiv cs.AI49 天前
★ 3
新生成器无真实数据合成完整企业多系统业务数据
论文提出一种不依赖任何真实数据集的生成器，仅凭行业、规模、商业模式、应用组合和随机种子即可生成完整虚构企业，包括员工、客户、销售、工单、通话与文档，并将同一实体图谱投射到66种业务产品格式中。由于没有真实对照，作者用引用统计构建真实感，并通过28项统计检查、对抗检测器和健全性检查进行无参考评估，2…
arXiv cs.AI51 天前
★ 3
研究：寡头垄断对多模型生态模型崩溃影响有限
研究构建13个1-4B开源模型组成的多模型生态，将头部份额推高至90%并注入强偏置，连续五代递归训练。结果显示份额集中既未加快崩溃速度，也未显著改变崩溃终点，出现不变性。真正决定崩溃速度的是谁在供给训练池以及这些供给者被同化的难易程度，替换K=3生态成员可使五代漂移变化2.8倍。
arXiv cs.AI51 天前
★ 3
研究发布金融数值推理合成数据流水线
提出用于金融QA的合成数据生成和微调管道，采用QLoRA和语义感知损失函数。在ConvFinQA上显著提升准确率，并引入新评估指标更准确反映推理能力。
arXiv cs.AI63 天前
★ 2
研究提出 vocab2text 框架：用人工词表为极低资源语言生成文本
论文提出结合人工编纂词表与少量人工例句的框架，按 Zipf 分布采样候选词，让具备推理能力的 LLM 为极低资源甚至未见语言生成连贯文本。在多种资源水平语言上以词汇多样性、偏离率和人工流畅度评估，句级效果突出，段落级亦有潜力。代码已开源。
arXiv NLP5 天前
★ 2
首个巴斯克语开源语音语言模型发布
研究团队基于 LLaMA-Omni 架构与 Latxa 骨干模型，构建首个面向低延迟端到端语音交互的巴斯克语开源语音语言模型。为缓解数据稀缺，将英文 VoiceAssistant-400K 语料翻译为巴斯克语并用本地 TTS 合成音频，评测内容质量 3.86/5、词错误率 9.94%、UTMOS …
arXiv NLP5 天前
★ 2
ReCoPII 提出关系锚定的上下文 PII 掩码数据集构建框架
研究者提出 ReCoPII 框架，通过本体约束的实体关系规划、占位符插入句生成与独立 LLM 校验，自动构建带 MASK/KEEP 标注的上下文 PII 掩码数据集，无需依赖真实隐私数据。在六个领域的韩语文档上产出 ReCoPII-Ko 语料，300 组样本中四名标注者对其 KEEP 标签一致率达…
arXiv NLP5 天前
★ 2
arXiv 论文提出 RCG 指标：LLM 合成问卷受访者覆盖不足
论文指出「硅采样」用 LLM 模拟人口学属性受访者生成合成人群，但现有评估只看单题准确率与分布，不比较受访者整体。作者提出受访者覆盖差距（RCG），以完整答题画像衡量人类受访者与最近生成受访者的距离。在两项美国社会调查上，六个 LLM 均未覆盖人类受访者，表现不及独立边际采样基线。
arXiv NLP10 天前
★ 2
研究质疑：谱可预测性 Ω 匹配不足以指导合成预训练
论文检验「可预测性感知预训练」假设，即在分布偏移下用谱可预测性 Ω 匹配源与目标来选择合成数据。实验覆盖 LSTM、PatchTST、TCN 三种架构，在理想合成条件下 Ω 匹配可带来显著收益，但在真实 ETTm1 基准上收益微弱甚至为负。两种数据源在仅 53% 配置上转移方向一致，说明 Ω 几乎…
arXiv cs.LG10 天前
★ 2
Ask-to-Distill 提出合成问题优化在线策略蒸馏
论文提出 Ask-to-Distill 框架，将合成问题视为分布诱导器，用冻结师生对计算分布替代信号来评估问题价值，无需参考答案或正确性奖励。生成的题目经筛选去重后构成提示库用于标准在线策略蒸馏。在数学推理、代码生成和智能体任务上平均表现优于未优化提示与 KL 过滤真实问题。
arXiv cs.AI12 天前
★ 2
DataPraxis 框架合成分析任务，训练 27B 与 35B-A3B 模型
论文提出 DataPraxis 分析任务合成框架，通过经校验的工作区演化逐步积累发现并派生更深层问题，构建出含 5000 条验证轨迹的 DataPraxis-5K 数据集。基于该数据训练的 DataPraxis-27B 在 DABStep 得 55.11、JobBench 得 51.9，追平或超过…
arXiv cs.AI12 天前
★ 2
arXiv 论文：SHIP 差分隐私结构化洞察
论文将差分隐私（DP）洞察形式化为可复用的分析查询表示，提出 SHIP 方法，自动将查询映射到属性、构建分层混合分类体系并发布 DP 合成表。实验表明 SHIP 在问答性能与结构保真度上均优于现有隐私洞察基线。
arXiv NLP17 天前
★ 2
PEDBench：语音模型能否检测音素错误
研究者发布首个音素错误检测基准 PEDBench，涵盖儿童真实发音错误、演员脚本错误与合成错误共 2600 余条。评估 13 个先进语音模型发现，即便在受控条件下它们也难以可靠检测音素错误，且精确率偏低。基于合成数据微调的语音语言模型在词级检测上超越商业与开源基线。
arXiv NLP17 天前
★ 2
Qwenfant：基于 Qwen3 的字符级 BabyLM 夺冠
该工作为 2026 BabyLM 挑战赛多语言赛道提交方案，使用 LLM 摘要并翻译的数据，证明合成数据可提供更高质量训练语料。通过更大模型与字符级词表两项改动，并配合 LoRA 式微调，最终基于 Qwen3 的模型 Qwenfant 在多语言赛道排名第一。
arXiv NLP18 天前
★ 2
PLDiv：用持续景观度量数据集多样性与语义坍缩
论文提出 PLDiv，一种基于持续景观（persistence landscapes）的多样性指标，从几何表示刻画数据集的结构组织，无需任务特定监督即可给出可解释的标量度量。PLDiv 在文本生成与图像嵌入的多样性测量、指令数据与推理轨迹的语义坍缩检测上表现有竞争力，可支持合成数据监控与数据集构建。
arXiv cs.LG19 天前
★ 2
MADS：多智能体对话模拟提升对话智能体鲁棒性
研究人员提出 MADS（多智能体对话模拟），一种合成数据生成流水线，可注入对抗性对话并生成结构化、多样化的对话轨迹，覆盖真实场景中的失败路径。基于 MADS 构建了 MADS-Bench 基准，涵盖六个领域、55 种人格和 1095 段对话，其中约 66% 包含易失败场景。研究采用监督微调（SFT…
arXiv NLP21 天前