TIMF: 集成 TabPFN 的鲁棒表格图像学习多模态框架

《Neurocomputing》：TIMF: TabPFN-integrated multimodal framework for robust tabular-image learning

　　

摘要

表格 - 图像多模态学习通过将结构化表格数据与图像数据相结合，在现实世界应用中展现出巨大前景，特别是在医疗领域。然而，仍存在两个基本挑战：（1）与视觉和语言领域相比，缺乏标准化的预训练表格数据表示；以及（2）表格输入中缺失值的普遍存在，这在实际中使可靠的多模态集成变得复杂。为了应对这些挑战，我们提出了TabPFN-Integrated Multimodal Framework (TIMF)，这是一个新颖的框架，利用 TabPFN 作为预训练表格基础编码器，并将其与来自预训练图像骨干的视觉表示相结合。通过使用 TabPFN 作为冻结的表格编码器，TIMF 产生了鲁棒且信息丰富的表格嵌入，能够自然地处理缺失值，并在数据受限的情况下表现出良好的泛化能力。我们系统地研究了不同的融合策略和表格编码器，并在自然和医学多模态数据集上评估了 TIMF。实验结果表明，TIMF 在不同缺失水平下 consistently 优于强大的基线，突显了预训练表格表示在多模态学习中的有效性。

引言

多模态学习已成为一种强大的范式，用于集成多样化的数据源，以增强跨广泛领域的学习和决策 [1]。在众多形式的多模态集成中，表格 - 图像多模态学习扮演着独特的重要角色，特别是在临床和生物医学应用中 [2], [3]。在这样的设置中，实验室测试结果等结构化表格数据通常与 X 射线等非结构化图像数据共存。有效地结合这两种互补模态可以产生更丰富和更具上下文意识的表示，从而实现更准确的诊断和临床决策 [4], [5], [6]。因此，表格 - 图像多模态学习处于现代人工智能在医疗保健及其他领域应用的前沿。

最近多模态学习成功的关键推动因素是使用预训练基础编码器。诸如 ResNet [7] 和 ViT [8] 的视觉模型，以及像 BERT [9] 的语言模型，已经表明预训练表示不仅加速收敛并减少对大型标注数据集的需求，而且能跨任务良好泛化。然而，结构化表格数据在这一格局中仍是异类。表格数据本质上是异构的，结合了数值、类别和通常是缺失值，这使得标准化其表示变得困难。

至关重要的是，没有广泛采用的预训练表格编码器，导致大多数现有的多模态流水线必须为每个任务从头训练表格编码器 [10], [11]。这削弱了泛化能力，特别是在小数据设置中，并增加了计算负担。此外，现有方法通常假设表格输入是完整的，依赖于均值或中位数填充等基本插补技术。这些方法冒着扭曲特征分布或掩盖缺失值的信息模式的风险，而后者在现实世界的临床数据集中尤为普遍 [12]。无法原生处理缺失数据进一步限制了这些模型在实际部署中的鲁棒性和适用性。

为了弥合这一差距，最近的工作转向对比学习以对齐表格和图像表示 [12], [13], [14]。虽然很有希望，但这些方法通常是按任务训练的，需要为每个应用提供大量配对数据。一旦训练完成，生成的编码器通常特定于原始任务，限制了其跨领域的可重用性。此外，对比方法通常在训练期间不考虑缺失值，进一步限制了它们在医疗保健等数据往往不完整的领域中的适用性。

为了解决这些限制，我们提出了一个新的多模态学习框架，该框架集成了 TabPFN [15], [16]，这是一个预训练表格基础模型，能够进行零样本泛化并原生处理缺失值。TabPFN 在数百万个合成任务上训练，使用基于 Transformer 的架构和上下文学习，无需梯度更新即可产生准确的表格预测。与专注于独立表格学习的以往工作不同，我们将 TabPFN 作为多模态框架内的表格编码器，并将其表示与从预训练视觉骨干提取的特征相结合。这种设计实现了有效的跨模态交互，同时自然地处理不完整的表格输入。此外，我们探索了多种融合策略，以更好地捕获模态之间的互补信息。在自然和医学数据集上的大量实验表明，所提出的框架在完整和不完整设置下 consistently 优于强大的基线。这些结果突显了利用预训练表格表示构建鲁棒且可泛化的多模态模型的优势。

本文的主要贡献总结如下：

• •
  我们提出了一种新颖的表格 - 图像多模态学习框架，解决了两个关键挑战：缺乏预训练表格表示以及表格数据中存在缺失值。
• •
  我们将 TabPFN，一个基于 Transformer 的表格基础模型，集成到多模态流水线中作为预训练表格编码器，从而在完整和不完整输入下实现鲁棒的表格表示。
• •
  我们系统地研究了表格数据缺失下的多模态学习，并证明了预训练表格表示可以有效处理不完整输入而无需显式插补。
• •
  我们在五个真实世界数据集上进行了大量实验，展示了在多种融合策略和训练设置下 consistently 优于强大基线的改进。

章节摘要

表格机器学习

表格数据常见于金融、医疗保健和科学研究等领域，突显了精确预测的重要性。在实际应用中，决策树模型 [17], [18], [19] 因其可解释性、处理缺失值的能力和低廉的计算成本而受到表格数据分析的青睐。然而，缺乏灵活性也限制了基于树的方法在迁移学习 [20] 和多模态学习 [12], [13] 等有价值任务中的应用。

深

方法论

本节描述了我们提出的多模态学习框架，用于将结构化表格数据和无结构图像数据集成到分类和回归任务中。我们首先回顾用于提取表格嵌入的预训练 TabPFN 模型。然后，我们介绍了多模态学习框架的整体架构，该架构通过各种融合策略结合来自两种模态的特征。

数据集

我们在 Kaggle 上进行了五个公开可用的数据集实验，包括四个分类任务 ²³⁴⁵ 和一个回归任务。⁶ 其中，一个是

结论

在本文中，我们解决了表格 - 图像多模态学习中的两个基本挑战：缺乏标准化的表格数据预训练表示以及对缺失值缺乏鲁棒性。为了克服这些问题，我们提出了 TIMF，一个简单而有效的多模态学习框架，它集成预训练 TabPFN 模型作为冻结的表格编码器，并将其输出与来自视觉骨干的图像特征相结合。

TIMF 带来了基础模型的优势，

CRediT 作者贡献声明

Jiaqi Luo: 写作 – 审查与编辑，写作 – 初稿，软件，方法论，资金获取。 Yuan Yuan: 写作 – 审查与编辑，写作 – 初稿，软件，方法论。 Shixin Xu: 写作 – 审查与编辑，写作 – 初稿，方法论，资金获取。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系，这些可能影响本文报告的工作。

致谢

本研究部分得到了国家自然科学基金（编号 12271492）、江苏省重点大学科学研究项目（编号 25KJB110014）、江苏省基础研究计划（编号 BK20250803）的支持

Jiaqi Luo 是苏州大学数学系的助理教授。他的研究侧重于机器学习和非线性优化方法在工业、医疗保健和科学等不同领域的应用。

Jiaqi Luo|Yuan Yuan|Shixin Xu

苏州大学数学科学学院，江苏省苏州市狮字街 1 号，邮编 215006，中国