在临床病理数据不平衡的情况下，利用DeiT和ANN融合技术，仅使用最少的特征即可实现稳健的多模态乳腺癌诊断

《Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization》：Robust multimodal breast cancer diagnosis using DeiT and ANN fusion with minimal features on imbalanced clinical-pathological data

病理图像与结构临床数据融合的DeiT基线多模态框架在乳腺癌分类中取得98%准确率、98% F1-score和100% AUC-ROC，通过特征选择、类加权、数据增强和轻量级Transformer设计有效解决小样本不平衡问题，为资源受限医疗场景提供高效诊断方案。

　　乳腺癌依然是女性中最具威胁性的疾病之一，其早期和准确的诊断对于改善患者预后至关重要。传统的诊断方法往往依赖于临床记录或影像学检查，如乳腺X光、超声或组织病理学图像，这些方法虽然在某些方面取得了成功，但它们在整合患者病理图像和临床数据方面的能力有限，无法全面反映患者的病情复杂性。此外，许多研究忽略了类别不平衡问题，或者需要庞大的数据集，这在实际临床环境中限制了其应用价值。

近年来，深度学习技术的快速发展为医学诊断带来了革命性的变化，尤其是在处理复杂数据集方面表现突出。单一模态的深度学习方法已经在乳腺癌分类任务中取得了显著成果。例如，Araújo等人（2017）使用ResNet进行迁移学习，达到了83.3%的准确率；Spanhol等人（2015）通过改进病理学数据集，利用卷积神经网络（CNN）实现了85%的准确率；Bayramoglu等人（2016）提出了一种不依赖放大的CNN方法，达到了83%的准确率。这些研究表明，CNN和迁移学习在乳腺癌分类中具有重要价值，但它们未能充分利用患者的人口学信息和临床细节，如年龄、肿瘤病史或治疗史，从而无法提供更全面的诊断视角。

为克服这些局限，研究者们开始探索多模态框架，通过整合影像学和临床数据来提升诊断精度。例如，Liu等人（2022）提出了一种结合基因表达数据和病理图像的混合深度学习模型，实现了88.07%的乳腺癌分子分型准确率；Arya和Saha（2020）开发了一个堆叠集成模型，结合基因表达和临床记录，达到了90.2%的准确率；Yan等人（2021）设计了一个更复杂的融合网络，结合病理图像和结构化临床记录，达到了92.9%的准确率。然而，这些方法在处理类别不平衡问题上存在不足，且部分模型采用了复杂的去噪自编码器，这在简单数据集中并不必要，甚至可能导致过拟合。

基于此，本研究提出了一种基于深度学习的多模态框架，旨在解决上述问题。该框架结合了病理图像和结构化临床数据，通过使用DeiT（Data-efficient Image Transformer）作为图像特征提取的核心模块，结合轻量级的密集层处理临床数据，实现了对乳腺癌的高精度分类。研究采用的模型在仅使用3764张病理图像和185名患者的结构化临床数据的情况下，取得了98%的准确率、98%的F1分数和100%的AUC-ROC值，显著优于仅使用CNN或仅使用Transformer的基线模型。这表明，即使在数据稀缺的情况下，轻量级的DeiT模型也能够提供卓越的性能。

为了提升模型在有限数据条件下的泛化能力，本研究采用了多种技术手段，包括迁移学习、类别权重调整、SMOTE过采样以及数据增强。迁移学习通过利用ImageNet上的预训练权重，使得模型能够从大量外部数据中学习到通用的视觉特征，从而在有限的内部数据上获得更好的表现。类别权重调整通过增加少数类样本在损失函数中的权重，以减少模型对多数类的偏倚，提高对罕见类别（如良性乳腺病变）的识别能力。SMOTE则通过生成合成样本，以增加少数类数据的多样性，从而改善模型的鲁棒性。数据增强技术则通过对病理图像进行旋转、翻转、缩放等操作，提升了模型对不同图像特征的适应能力。

本研究还对结构化临床数据进行了系统的预处理，包括标准化、缺失值处理、冗余特征剔除等。通过对临床数据进行特征重要性分析，研究确定了对模型性能影响最大的10个临床特征，如肿瘤边界和囊肿特征，这些特征在分类过程中发挥了关键作用。通过去除冗余和低重要性特征，不仅提升了模型的效率，也增强了其可解释性。最终，这些精选的临床特征与DeiT提取的图像特征结合，形成了一个完整的多模态表示，用于最终的分类任务。

在多模态模型的构建过程中，研究采用了多分支结构，其中临床分支通过密集层将结构化数据转换为数值特征向量，而图像分支则使用DeiT提取高阶特征。这两种特征向量被拼接后，经过一系列密集层进行融合和分类。为了确保模型的稳定性，研究在训练过程中采用了分阶段微调策略，即在初始阶段冻结DeiT的大部分层，仅训练分类头，随后逐步解冻顶部层并以较低的学习率进行微调。这种策略有效平衡了预训练表示的优势与低数据环境下的过拟合风险。

在模型训练过程中，研究采用了二元交叉熵损失函数，并结合Adam优化器和不同学习率（0.0001至0.001）进行实验，以评估其对模型收敛和泛化能力的影响。同时，研究尝试了不同的批量大小（如32和64），以确定最适合当前小数据集的配置。此外，研究还应用了早停机制，以防止模型在训练过程中出现过拟合现象。这些技术手段的结合，使得模型能够在有限数据条件下稳定运行并取得优异的分类效果。

为了验证模型的性能，研究采用了一系列评估指标，包括准确率、召回率、精确率、F1分数和AUC-ROC。其中，准确率衡量了模型正确分类样本的比例，而召回率和精确率则分别反映了模型识别阳性样本（恶性病例）和减少误报的能力。F1分数作为精确率和召回率的调和平均值，特别适用于类别不平衡的数据集。AUC-ROC则用于评估模型在不同分类阈值下区分正负类别的能力。通过这些指标的综合比较，研究证明了DeiT多模态模型在多个方面均优于其他模型。

此外，研究还通过McNemar检验对不同多模态模型的预测结果进行了统计分析。McNemar检验适用于配对数据，能够判断两种模型在相同数据集上的预测差异是否具有统计学意义。结果显示，DeiT多模态模型的预测结果与其它多模态模型存在显著差异，所有p值均低于0.05的显著性水平，表明DeiT模型在预测性能上具有显著优势。同时，研究还采用了分层五折交叉验证，以确保模型在不同数据分割中的稳定性，从而提高其在实际应用中的可靠性。

尽管本研究在数据效率和模型性能方面取得了突破性进展，但仍存在一些局限性。例如，所使用的数据集相对较小，并且来源于单一队列，这可能限制了模型在更广泛人群中的泛化能力。虽然迁移学习、特征选择和类别不平衡处理技术在一定程度上缓解了过拟合问题，但为了进一步验证模型的鲁棒性和可重复性，还需要在独立数据集上进行外部验证。此外，当前模型仅整合了病理图像和结构化临床数据两种模态，未能充分利用其他可能的数据来源，如放射影像、基因组数据或临床病历。未来的研究可以考虑引入这些额外的数据模态，以构建更加全面的多模态表示，从而进一步提升诊断的准确性和鲁棒性。

为了进一步优化模型性能，未来的研究可以探索更先进的融合策略，如交叉注意力机制，以更好地建模不同模态之间的相互作用。此外，还可以尝试不同的特征子集，以确定哪些特征组合最有助于提高分类效果。最后，研究可以扩展至自监督学习方法，以在没有大量标注数据的情况下提升模型的泛化能力。

综上所述，本研究通过构建一个高效的多模态框架，成功地提升了乳腺癌分类的准确率和可解释性。研究结果表明，DeiT在处理小规模、类别不平衡的医学数据方面具有显著优势，能够实现接近完美的分类效果。这一成果不仅为乳腺癌的早期诊断提供了新的方法，也为在数据稀缺的医疗环境中应用深度学习技术提供了重要的参考价值。未来的研究可以在此基础上进一步扩展，探索更丰富的数据模态和更复杂的融合机制，以推动精准医疗的发展。