TabPFN-3.5:新一代表格基础模型技术报告
论文发布旗舰表格基础模型TabPFN-3.5,在TabArena标准表格预测上刷新最优,并扩展至非独立同分布数据、含文本图像表格、高基数类别特征与宽表场景。同时推出快3倍的Fast变体、增强多模态的Plus版本,以及推理时计算扩展、快12倍的Thinking模式。
共 10 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发布旗舰表格基础模型TabPFN-3.5,在TabArena标准表格预测上刷新最优,并扩展至非独立同分布数据、含文本图像表格、高基数类别特征与宽表场景。同时推出快3倍的Fast变体、增强多模态的Plus版本,以及推理时计算扩展、快12倍的Thinking模式。
论文提出首个针对表格基础模型(TFM)的数据集推断方法,通过黑盒输入操纵组合多种互补信号,判断某表格数据集是否被用于预训练。在多个先进 TFM 上 ROCAUC 最高达 0.99,可作为检测隐私泄露与专有数据滥用的审计工具。
Prior Labs 发布表格基础模型 TabPFN-3.5,该模型仅用合成数据预训练,却在默认设置下超越了 Otto Kaggle 竞赛的获胜方案。这显示出表格基础模型在结构化数据任务上的强劲泛化能力,对传统表格机器学习流程构成挑战。
Nums AI 发布预训练表格基础模型 Causilo,支持分类与回归任务并提供 scikit-learn 接口。该模型在 TabArena Elo 单模型排名中登顶,超过谷歌 TabFM 与 LG 的 EXAONE Tabular。代码采用 Apache-2.0 许可,权重仅限非商业研究使用。
研究对两大表格基础模型(TFM)家族的多个版本进行受控实验,测试多种特征工程技术在TabArena基准上的效果。发现特征工程收益集中在早期模型代际,对最强模型已可忽略;但补充相关数据集的上下文信息仍能提升性能,表明性能增益来源正从输入重表示转向任务相关上下文。
论文提出 GIST,利用表格基础模型预训练中生成器的中间状态来揭示标签不确定性,对条件标签分布上的查询损失取平均。该方法联合设计任务生成与查询监督,使用熵校准编码获得可处理的目标。在 TabArena 与 TALENT 上,GIST 在不改变架构与推理的情况下提升三种架构的平均排名。
论文提出用可控合成预训练让训练数据归因可实验验证,基于 O'PRIOR 生成带来源标注的表格任务测试床。实验显示移除归因最高的 5% 合成任务使 ROC-AUC 下降 0.013,远高于随机移除,但来源判别与干预忠实度并不总是一致。
论文针对表格基础模型上联合嵌入预测架构(JEPA)的潜在项坍缩问题,提出一种使潜在项与值目标共同收敛的训练配方:值头读取编码器场而非预测器,目标采用指数移动平均差值。在147个真实数据集上,JEPA臂在分类和回归上均略逊于纯值臂,但差距较小,且需要1.42倍步数和1.66倍墙钟时间达到平台期。
研究系统评估了五种基于 AdamW 的预条件策略在 59 个生物医学数据集上微调 TabPFN v2.5 的效果,覆盖阿尔茨海默病、乳腺癌、精神分裂症等场景。结果显示原始 AdamW 在预测性能与统计排名上始终最优,现有曲率感知预条件器未能带来可靠提升。作者认为通用预条件方法难以捕捉生物医学表格学…
论文提出一个比较评估框架,从泛化性、隐私保护、数据需求、可扩展性、可解释性与公平性六个临床维度对表格基础模型(TFM)打分排序。框架将各维度拆解为可测子项,并可组合为超级指标。作者以缺铁筛查与心衰预测两个医疗用例演示,并给出按架构分类的 45 个 TFM 图谱。