多表征深度迁移学习在多模态脑部MRI扫描中用于分类出血性转移瘤和非肿瘤性颅内血肿

《Computerized Medical Imaging and Graphics》：Multi-representational deep transfer learning for classifying hemorrhagic metastases and non-neoplastic intracranial hematomas in multi-modal brain MRI scans

针对脑转移瘤与脑内血肿鉴别中样本量小、影像特征有限及迁移学习应用不足的问题，本文提出多表示深度迁移学习框架MRDTL，通过多模态MRI特征融合与跨中心邻域嵌入提升模型泛化能力，在自建HBMRI数据集上准确率达94.5%，显著优于传统方法。

　　随着癌症患者生存期的延长，脑转移瘤（Brain Metastases, BMs）的年发病率也在上升。脑转移瘤是成年人中最常见的恶性脑肿瘤类型，其诊断面临诸多挑战。尤其是当需要区分出血性脑转移瘤（Hemorrhagic Brain Metastases, HBM）和非肿瘤性颅内血肿（Non-neoplastic Intracranial Hematomas, nn-ICH）时，由于两者在影像学特征上高度相似，导致临床诊断难度加大。因此，建立一个高效的诊断模型对于提高HBM与nn-ICH的识别准确率具有重要意义。

当前，针对脑转移瘤的放射组学研究主要集中在胶质瘤的识别、原发肿瘤的预测、特定基因突变的预测、放射性坏死的识别以及脑转移瘤的进展分析等方面。此外，也有研究致力于预测脑转移瘤放射手术后的预后效果。尽管已有许多研究利用深度学习方法对良性与恶性脑转移瘤进行分类，并用于病灶分割和检测，但专门针对HBM与nn-ICH分类的研究仍然较为有限。因此，如何在多中心数据中实现更准确、更可靠的分类，成为当前研究的一个重要方向。

在医学影像分析领域，放射组学方法已经被广泛应用于中枢神经系统疾病的诊断、鉴别和预后评估。通常，这类研究的流程包括三个主要步骤：图像采集与分割、特征提取与选择、建模与验证。然而，这一流程中的每一步都可能受到方法学调整的影响，从而影响最终的诊断性能。例如，特征类型的选择和感兴趣区域（Region of Interest, ROI）的选取都会对放射组学方法的效果产生显著影响。目前，尚无一种放射组学模型能够有效地区分HBM和nn-ICH。

为了克服上述问题，本文提出了一种新型的多表示深度迁移学习（Multi-representation Deep Transfer Learning, MRDTL）框架。该框架首次在HBM和nn-ICH的分类任务中引入了基于度量的深度迁移学习（Deep Transfer Learning, DTL）范式。MRDTL框架主要包括两个创新设计的模块：多表示融合（Multi-representation Fusion, MRF）模块和邻域嵌入（Neighborhood Embedding, NE）模块。MRF模块通过显式学习多模态序列和多种表示方法之间的互补性，提取出具有代表性的特征组合。NE模块则通过在跨中心数据上测量度量和聚类，增强可迁移的表示并提高模型的泛化能力。在我们自行构建的HBMRI数据集上，MRDTL框架在AUC、F1分数和准确率等方面均优于五种其他基线方法，分别达到了94.5%和93.5%的准确率，从而提供了更加可靠的诊断见解。

本文的研究背景源于当前放射组学方法在脑转移瘤诊断中的局限性。首先，多数公开研究数据集是在同一队列中设计和验证的，这忽略了不同设备之间的差异性，影响了模型的泛化能力。其次，传统的机器学习方法依赖于人工提取的特征工程，而近年来的深度学习方法则利用自动化数据挖掘技术提取多样化的高维特征。第三，基于度量的深度迁移学习在脑转移瘤识别中的应用仍显不足。鉴于MRI图像上HBM与ICH难以区分，以及多中心数据中模型泛化能力的重要性，研究者们正在积极探索能够整合放射组学与深度特征，同时减少领域偏移的方法。

基于上述三个局限性，本文提出的MRDTL框架在数据驱动的深度学习方法应用方面仍然面临三大挑战。首先，多中心收集的预测样本与训练样本之间存在分布差异，这可以被定义为领域自适应（Domain Adaptation, DA）问题。在这种问题中，特征空间和学习任务在不同领域之间保持一致，但输入数据的边缘概率分布存在差异。其次，基于微调的迁移学习方法适用于大规模数据集的源域，但单一中心的出血性脑部图像样本数量有限，难以充分训练模型。第三，脑转移瘤的识别主要依赖于T1增强成像模式，但由于加入了造影剂，这种模式可能导致分类错误，并且缺乏其他成像模式提供的互补信息。

为了应对这些挑战，本文提出了一种多表示深度迁移学习（MRDTL）框架，首次在HBM和nn-ICH的分类任务中引入了基于度量的深度迁移学习范式。该框架如图2所示，主要包括两个创新模块：多表示融合（MRF）模块和邻域嵌入（NE）模块。MRF模块通过显式研究多模态序列与多种表示方法之间的相互补充性，提取出具有代表性的特征组合。NE模块则通过在跨中心数据上测量度量和聚类，增强可迁移的表示并提高模型的泛化能力。这些特征随后用于类别预测。我们在自行构建的出血性脑部磁共振成像（HBMRI）数据集上进行了广泛的实验，以展示该方法的有效性。与现有方法相比，所提出的方法在HBM和nn-ICH分类任务中取得了最先进的性能，并提供了可解释的预测结果。

本文的主要贡献包括以下四个方面。首先，我们提出了一个MRDTL框架，能够全面提取磁共振图像的特征，突破了传统放射组学方法依赖预定义特征的局限性。这一创新范式整合了放射组学和深度卷积表示，融合了多模态MRI序列，并在多中心数据集上验证了其性能。其次，我们引入了一个NE模块，专门用于提升跨中心脑转移瘤的分类能力，特别是在区分HBM和nn-ICH方面。该模块通过使用一个可学习的度量，减少了不同领域之间的差异，同时最大化了不同类别的分离度，从而提高了分类的准确性和泛化能力。第三，我们设计了一个MRF模块，逐步整合来自多模态MRI序列的特征集。该模块采用特征选择策略，结合低级和高级语义特征，有效缓解了由于样本数量有限导致的过拟合问题。第四，我们在自行构建的跨中心HBMRI数据集上验证了MRDTL框架相对于经典和最先进的基于度量的迁移学习方法在脑转移瘤分类中的优越性。此外，该研究也为深度基于度量的迁移学习在放射组学中的应用提供了新的思路，这是一个尚未充分探索但极具潜力的研究方向。

在本文的研究中，我们详细探讨了基于放射组学的脑转移瘤预测方法。虽然已有大量研究利用MRI、CT和PET等成像模式对脑肿瘤进行计算机化预测，但对CT图像上脑出血的预测研究直到最近才开始受到关注。许多放射组学方法已经在MRI成像研究中建立，用于区分胶质瘤与孤立性脑转移瘤。然而，对于HBM与nn-ICH的分类研究仍然较为有限，尤其是在多中心数据中的应用。因此，本文提出的方法在这一领域具有重要的应用价值。

在方法部分，我们详细介绍了MRDTL框架及其基础原理。该框架的核心思想是通过融合多模态MRI序列的特征，并结合深度学习与放射组学的优势，提高HBM与nn-ICH分类的准确性。MRF模块通过显式学习不同模态序列之间的互补性，提取出具有代表性的特征组合。这种融合方式能够充分利用不同成像模式提供的信息，从而提升分类模型的性能。NE模块则通过在跨中心数据上测量相似性并进行聚类，增强了模型的泛化能力。该模块能够有效减少不同中心之间的领域偏移，提高模型在不同数据集上的适用性。

在实验结果部分，我们展示了MRDTL框架在HBM与nn-ICH分类任务中的性能表现。我们使用自行构建的HBMRI数据集进行评估，结果表明该方法在AUC、F1分数和准确率等方面均优于其他基线方法。在同源数据（Co-site）和异源数据（Separate site）测试中，MRDTL分别达到了94.5%和93.5%的准确率，显示出其在不同数据集上的强大泛化能力。此外，我们还对模型的可解释性进行了分析，揭示了关键特征在分类中的作用，为临床诊断提供了有价值的参考信息。

在讨论部分，我们通过消融实验进一步验证了MRDTL框架中各个模块的重要性。结果表明，MRF模块在提高分类性能方面起到了关键作用，特别是在同源和异源数据集上的AUC提升显著。这些结果证实了多模态融合在提升分类模型性能方面的有效性。同时，NE模块的引入也显著提高了模型在跨中心数据上的表现，说明其在减少领域偏移和增强泛化能力方面的有效性。此外，我们还分析了模型在不同数据集上的表现差异，探讨了可能的改进方向，为未来的研究提供了参考。

本文的结论指出，MRDTL框架在脑转移瘤的放射组学研究中代表了重要进展。由于HBM与nn-ICH在影像学特征上的高度相似性，传统方法在区分这两类病变时面临较大困难。而MRDTL框架通过引入基于度量的深度迁移学习方法，有效提升了模型的分类能力。我们的全面测试表明，该框架在精确分类HBM和nn-ICH方面具有显著优势。此外，该研究为深度基于度量的迁移学习在放射组学中的应用提供了新的思路，也为未来的研究奠定了基础。

综上所述，本文提出的MRDTL框架在HBM与nn-ICH的分类任务中表现出色，能够有效解决多中心数据中的领域偏移问题，提高模型的泛化能力和分类准确率。通过融合多模态MRI序列的特征，并结合深度学习与放射组学的优势，该方法为临床诊断提供了更加可靠的依据。未来的研究可以进一步探索该框架在其他类型的脑肿瘤分类任务中的应用，同时优化模型的可解释性，使其在临床实践中发挥更大的作用。