多模态数据从不同角度提供了丰富且互补的信息，因此研究人员开始致力于多模态学习，并基于图像、文本和表格等多模态数据构建新型人工智能（AI）系统[1], [2], [3], [4]。在医疗多模态学习中，自视觉-语言模型[3], [5], [6]取得成功以来，医疗AI系统主要利用图像和文本模态[7], [8], [9], [10]，很少涉及表格数据，如诊断信息和人口统计特征[11], [12], [13], [14]。在一定程度上，表格数据可以发挥互补作用，辅助视觉任务学习，并比纯图像模型取得更好的性能[12], [13], [15]，因此现代医疗AI系统应具备从包含表格数据的多模态数据中学习的能力。
由于多模态数据的异质性，不同类型的' data需要采用不同的' 预处理和特征提取方法[4], [16]，导致表示空间中跨模态的语义不一致性（不匹配）。语义相关的样本可能在表示空间中相距很远，而无关联的样本可能彼此接近，这给多模态对齐带来了困难，阻碍了模型的表示学习和判别能力。因此，需要特定的方法来维持不同模态表示之间的信息一致性。如图1(a)所示，对于多模态对齐，首要任务是模态间的对齐（跨模态），许多工作通过使用跨模态对比学习实现了这一点[12], [13], [17], [18], [19], [20]。然而，跨模态对比学习存在一定的局限性，即它忽略了每个模态内部的对齐不一致问题（例如同一个患者在不同时间点产生的多个异质样本），这导致整体对齐仍然不充分。其次，现有模型难以学习鲁棒的多模态表示，因为它们忽略了表格模态中可能存在损坏的可能性（例如医务人员的不正确记录）。在表格模态存在损坏的情况下，多模态表示的鲁棒性直接影响后续微调的性能，如图1(b)所示，鲁棒性不足的多模态表示会导致次优性能，因此，有必要采用一定的方法来增强多模态表示的鲁棒性，以提高模型的性能。从这两个角度出发，我们提出了一种基于模态内对比学习和替换标记检测的自监督医疗多模态表示学习模型，称为ICRD。ICRD旨在弥补跨模态对比学习的局限性，并增强多模态表示的鲁棒性，从而提高模型在下游任务上的性能。
为了有效地实现多模态对齐，受先前工作[21], [22], [23]的启发，我们设计了模态内对比学习并将其与跨模态对比学习相结合，以弥补后者的局限性，从而提升图像-表格对比学习（ITC）。此外，受先前工作[24], [25]的启发，我们提出了一种新颖的自监督任务——面向多模态表示的替换标记检测（RTD），并将其与融合后的图像-表格匹配（ITM）和掩码表格重建（MTR）相结合，以进一步增强多模态表示在面对表格数据损坏时的鲁棒性。具体而言，我们要求一个小型判别器基于掩码多模态表示来区分MTR的预测是否与原始表格标记一致。RTD简单而有效，可以在预训练过程中与ITC、ITM和MTR联合优化模型。通过使用这四个任务，模型可以获得鲁棒的多模态表示，适用于诊断或预后等下游任务的微调。为了验证ICRD的有效性，我们在CheXpert [26]和Breast-Lesions-USG（BrEaST）[27]上进行了实验，ICRD优于各种方法，包括有监督单模态、有监督多模态、自监督单模态和自监督多模态方法。特别是，对于两种最新的自监督多模态方法，ICRD在两个数据集上均获得了更高的AUC，在冻结微调设置下，在CheXpert上，超越MMCL [12] 5.24%和3.95%，超越TIP [13] 6.42%和3.69%；在BrEaST上，超越MMCL 25.21%，超越TIP 4.77%，证明了ICRD的优越性能。
在本文中，为了应对上述医疗多模态表示学习的挑战，我们提出了一种基于模态内对比学习和替换标记检测的自监督医疗多模态表示学习模型。
总体而言，我们的贡献可以总结如下：
- •
为了进一步解决医疗多模态学习中的多模态不对齐问题，我们设计了模态内对比学习并将其与跨模态对比学习相结合，弥补后者忽略模态内不对齐的局限性，从而提升图像-表格对比学习。
- •
为了进一步增强融合多模态表示在面对表格数据损坏时的鲁棒性，我们提出了一种面向多模态表示的新自监督任务RTD，该任务在预训练过程中与ITC、ITM和MTR联合用于模型优化，以获得鲁棒的多模态表示，从而提高模型在下游任务上的性能。
- •
在大规模和小规模医疗图像-表格数据集上的实验表明，ICRD显著优于以往的最先进方法，包括有监督单模态、有监督多模态、自监督单模态和自监督多模态方法，证明了ICRD的有效性。
