《Machine Learning with Applications》：Tabular foundation models: A survey of architectures, pretraining strategies, benchmarks, and open challenges
编辑推荐：
表格数据支撑着科学和工业领域的许多高价值预测任务，但其异构的Schema、混合数据类型以及可变的数据集规模，使得跨数据集泛化变得困难。本综述考察了表格基础模型（Tabular Foundation Models, TFMs）的迅速兴起，这类模型跨数据集复用预训
表格数据支撑着科学和工业领域的许多高价值预测任务，但其异构的Schema、混合数据类型以及可变的数据集规模，使得跨数据集泛化变得困难。本综述考察了表格基础模型（Tabular Foundation Models, TFMs）的迅速兴起，这类模型跨数据集复用预训练模型，并通常通过上下文学习（in-context learning）进行预测。研究人员围绕两种主要的预训练策略组织文献：一是合成任务分布，以先验数据拟合网络（Prior-data Fitted Network, PFN）和TabPFN系列以及谷歌研究院的TabFM为代表；二是真实且语义丰富的表格，以ConTextTab和SAP关系预训练Transformer（SAP Relational Pretrained Transformer, SAP-RPT）为代表。研究人员比较了它们的架构、适用范围、语义能力、部署策略，以及来自TabArena、TALENT和近期超出独立同分布（independent and identically distributed, IID）设定的评估证据。研究人员还综述了向时间序列预测、文本增强表格和关系数据库的扩展。综合结果表明，在有利的机制下，尤其是在中小规模独立同分布数据集上，TFMs可以大幅减少针对特定数据集的优化，但当前证据在分布偏移、高维数据、校准、治理以及独立企业评估方面仍不均衡。研究人员最后给出了证据缺口矩阵以及更稳健、可复现评估的研究方向。
论文解读
一、研究背景与问题
表格数据以行作为观测、列作为变量进行组织，是企业分析、生物医学和自然科学中预测任务的基础支撑。尽管深度学习取得了长足进步，梯度提升决策树（Gradient-Boosted Decision Trees, GBDTs），包括XGBoost、LightGBM和CatBoost，仍然是表格学习中的强基线方法。表格数据集的Schema、特征语义、数据类型、缺失情况和样本规模差异显著，这使得单一模型难以像大语言模型（Large Language Models, LLMs）泛化文本那样跨表格泛化。为解决这一跨数据集迁移问题而设计的模型，日益被称为表格基础模型（Tabular Foundation Models, TFMs）。
当前领域面临的核心问题在于：表格数据的异构性使得传统监督学习范式——即对每个数据集重新拟合一套参数——代价高昂且难以跨数据集复用。TFMs的核心思想是偏离这一经典范式：单一网络被离线预训练一次，用于在上下文中解决预测任务；推理时，将整个带标签的训练集与未标签的查询样本一并输入网络，模型在单次前向传播中输出预测分布，无需梯度更新、超参数搜索或迭代拟合。
二、研究内容与结论
本综述系统梳理了TFMs的两大预训练策略路线。第一条路线基于合成任务分布，以先验数据拟合网络（Prior-data Fitted Network, PFN）为理论起点，TabPFN系列是其代表性实现。PFN引入元学习框架，模型在预测任务分布上预训练，随后从上下文示例进行推理。原始TabPFN应用于小型表格分类问题；TabPFN v2系统发表于Nature，大幅扩展了适用范围和任务类型；此后该范式通过TabPFN-2.5和TabPFN-3进一步扩展，延伸至时间序列、关系数据库和文本增强表格，并在谷歌研究院的TabFM中独立出现。第二条路线基于真实且语义丰富的表格，以ConTextTab和SAP关系预训练Transformer（SAP-RPT）为代表，利用真实表格、列名和异构值将语义上下文融入表格上下文学习。
综述还考察了TFMs在时间序列预测、文本增强表格和关系数据库方面的扩展应用，并对TabArena、BeyondArena和TALENT等基准评测进行了比较分析。综合证据表明，在有利机制下，尤其是在中小规模独立同分布数据集上，TFMs能够显著减少针对特定数据集的优化成本；但当前证据在分布偏移、高维数据、校准、治理以及独立企业评估方面仍不均衡。
三、关键技术方法
研究人员采用了PRISMA 2020声明的报告结构，对2022年1月1日至2026年9月17日期间的文献进行了系统性检索。检索来源包括Semantic Scholar学术图谱、arXiv导出API以及OpenReview（限定ICLR、NeurIPS和ICML会议标识）。共发出40个查询，检索到1989条记录，去重后获得1255条唯一文献，经标题和摘要筛选、全文评估后，最终纳入60项研究。检索通过前后向引文追踪和厂商文档检查作为补充渠道。非同行评审材料在明确标注来源类型的前提下被保留，来自模型开发团队的定量声明均如实标注，不作为独立确认。
四、研究结果
2. TFM的主要思想：表格数据的训练与推理
TFM的核心在于将整个带标签训练集与查询样本一同输入网络，在单次前向传播中输出预测分布，无需对训练集本身进行梯度更新、超参数搜索或迭代拟合。参数θ预先在大规模训练任务集合（合成或真实）上学习，使前向传播本身即可近似原本需要昂贵学习算法的过程。
2.1 共享训练目标
几乎所有TFM共享同一训练原则：给定数据集分布p(D)，网络被训练以最小化保留目标的期望负对数似然，以表格其余部分为上下文条件。这一目标函数构成了TFM跨数据集泛化的理论基础。
3. 基于真实语义表格的模型
SAP的关系预训练Transformer（SAP-RPT）是部署的商业实例，利用真实表格的列名和异构值融入语义上下文。TabDPT则是另一种真实数据模型，但不使用列语义信息。
4. 基于合成数据的TFM
TabPFN家族及其最接近的竞争者构成了这一路线的核心。混合模型在合成先验预训练后继续在真实数据上训练。谷歌的TabFM和LG AI Research的EXAONE Tabular也属于此类。
5. 基准评测
TabArena、BeyondArena和TALENT基准提供了跨实验室比较的证据。由于各模型在不同协议、数据集选择和调参预算下评估，报告数字不可直接通约，因此记录了协议而非汇总结果。
6. 关系基础模型
综述考察了面向关系数据库的基础模型，将TFM从单表扩展至多表关系数据。
7. 两条路线的比较
综述对合成数据路线与真实数据路线在架构、适用范围、语义能力和部署策略等方面进行了系统比较。
五、讨论与结论
综述指出，TFMs在中小规模独立同分布数据集上能够显著减少数据集特定优化，这是其核心价值所在。然而，当前证据在分布偏移、高维数据、校准、治理以及独立企业评估方面仍不均衡。综述给出了证据缺口矩阵，并提出了更稳健、可复现评估的研究方向。该综述对机器学习与数据科学实践具有重要参考意义，为TFMs的适用条件、局限性和未来发展方向提供了系统性的学术图景。
