arXiv 论文：预训练数据可迁移性由输入管线决定，提出 TransferForge 生成器
原文标题：Structure, Dimensionality, and Distribution Shape - What Makes Pretraining Data Transferable, and Why the Input Pipeline Decides Which
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文提出「迁移不变性原理」：同一数据属性在一种输入变换下无关紧要、在另一种下却起决定作用，因此决定可迁移性的是模型输入变换而非数据模态。作者构建可按指定结构、维度与分布形状生成合成数据的 TransferForge，实验显示仅切换输入归一化即可让形状操纵效应相差 5.3 倍，为稀缺或私有数据场景提供合成预训练配方。
- 问题
- 预训练语料的哪些属性决定其可迁移性。
- 方法
- 提出迁移不变性原理，构建可按结构、维度、分布形状生成合成数据的 TransferForge。
- 结果
- 仅切换输入归一化即让形状操纵效应相差 5.3 倍；合成预训练可匹配同规模真实语料。
- 影响
- 稀缺或私有数据场景下可先按模型输入管线设计合成数据，再决定训练。
深读 · 结论先行AI 生成展开看要点与影响 ↓
论文称预训练数据可迁移性由输入变换而非模态决定，仅换归一化就让形状效应差 5.3 倍。
- •提出迁移不变性原理：同一数据属性在一种输入变换下无关、另一种下起决定作用
- •用结构、维度、分布形状三属性描述语料，构建可按指定参数生成合成数据的 TransferForge
- •PatchTST 在 UCR 上标准化输入窗口时，分布形状失效、结构设定主导，合成预训练可匹敌同规模真实语料
- •POYO Plus 不归一化编码钙荧光信号时，形状成为硬约束，形状匹配的合成语料可零真实神经活动替代真实预训练
- •模型与数据固定、只翻转输入归一化，形状操纵效应相差 5.3 倍
为什么重要：若成立，合成预训练该造什么可以在训练前就按管线定下来，对数据稀缺或私有的团队是一条可操作的配方，而非碰运气。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 宣布数学、计算机科学、物理学三项新发现
AI 摘要OpenAI 宣布在调和分析、复杂性理论和量子场论三个方向取得新发现，并采用与学术界合作的新方法。公司邀请外部专家组织团队理解研究结果，参与者无需签署保密协议、可自由讨论并发表结论，且为自愿无报酬。OpenAI 表示不会为内部模型产生的发现寻求学术署名。
数学家称需数年消化 OpenAI 最新数学成果
AI 摘要OpenAI 本周突然发布近 400 项 AI 生成的数学成果，分布在 700 多份手稿中，覆盖组合数学、几何、数论等多个领域。多位数学家表示「震惊」「难以置信」，认为仅理解这些成果就需数年，且验证程度参差不齐。
OpenAI 公布数学难题突破成果
AI 摘要OpenAI 发布由未公开前沿模型生成的 722 篇数学手稿，覆盖 372 个成果族，声称解决了数百个长期未解问题，并公开 Lean 形式化证明与算力估算。此举延续了 AI 冲击数学界的势头，也引发研究伦理与学术规范的争议。独立顾问组织 AGMAI 呼吁实验室通过正规学术渠道发布成果，而非将其当作营销工具。
OpenAI 再抛数学突破成果引争议
AI 摘要OpenAI 公布 722 篇手稿，称未发布的前沿模型解决了数百个数学开放问题，平均每个结果消耗约三小时 ChatGPT Pro 级算力。成果虽令人震撼，但数学界对发布方式、研究伦理与学术规范提出质疑。AGMAI 建议实验室及时通过正规渠道披露模型、提示词与算力成本，避免把成果当作营销手段。