《Journal of Biomedical Informatics》：Augmented intelligence for multimodal virtual biopsy in breast cancer using generative artificial intelligence
编辑推荐：
乳腺癌虚拟活检多模态深度学习系统设计及评估，提出CycleGAN生成缺失CESM图像的方法，结合FFDM和CESM多视角数据，通过ResNet18/50/VGG16分类器及两阶段融合策略实现诊断，验证合成数据在保持较高AUC、G-mean和MCC性能下的有效性。
作者：Aurora Rofena、Claudia Lucia Piccolo、Bruno Beomonte Zobel、Paolo Soda、Valerio Guarrasi
所属机构：意大利罗马大学生物医学校区人工智能与计算机系统研究单元
摘要
研究目的：
本研究旨在提出一种多模态、多视角的深度学习方法，用于乳腺癌的虚拟活检，通过整合全视野数字乳腺摄影（FFDM）和对比增强光谱乳腺摄影（CESM）技术，对乳腺病变进行非侵入性分类（恶性或良性）。该方法通过引入生成式人工智能（AI）技术在CESM数据缺失时合成相应的图像，从而确保诊断流程的连续性。
方法：
所提出的方法同时使用FFDM和CESM图像，包括头尾位（CC）和中外斜位（MLO）两种视角。当CESM数据缺失时，基于CycleGAN的生成模型会利用FFDM图像生成CESM图像。分类过程中采用了三个卷积神经网络（ResNet18、ResNet50和VGG16），并通过马修斯相关系数（MCC）对不同视角和模态的恶性概率进行加权，最终得出恶性评分。通过逐步用合成图像替换真实的CESM图像，并使用AUC、G-mean和MCC评估分类性能，来测试系统在CESM数据不同程度缺失情况下的鲁棒性。
结果：
CycleGAN生成的CESM图像具有较高的保真度，峰值信噪比超过24 dB，结构相似度指数在CC和MLO视角下均高于0.8。在病变分类方面，结合FFDM和CESM的多模态配置明显优于仅使用FFDM的情况。值得注意的是，即使完全使用合成图像，多模态方法的虚拟活检性能也优于FFDM单独使用的情况。尽管随着合成CESM图像比例的增加，分类性能有所下降，但使用合成数据仍然具有益处。
结论：
本研究表明，生成式AI可以通过合成CESM图像有效解决乳腺癌诊断中模态数据缺失的问题，从而提升基于FFDM的虚拟活检流程的效果。在缺乏真实CESM数据的情况下，结合合成图像可以提高病变分类的准确性，为临床决策提供非侵入性支持。此外，通过发布扩展的CESM@UCBM数据集，本研究为乳腺癌多模态诊断系统的研究和创新做出了重要贡献。
引言
乳腺癌已成为全球性的重大健康挑战，截至2020年已成为全球最常见的癌症类型[1]。该年度共有230万女性患病，导致近68.5万人死亡。预计到2040年，每年新病例数将增加40%以上，达到约300万例，相关死亡人数也将增加50%以上，超过100万例[1]。
目前，全视野数字乳腺摄影（FFDM）是常规乳腺癌筛查的主要成像方式。FFDM通常被称为标准乳腺摄影，利用低能量X射线生成乳腺图像，主要采用头尾位（CC）和中外斜位（MLO）两种视角。尽管FFDM是标准方法，但它存在局限性，尤其是在乳腺组织密集的女性中，重叠的结构可能会掩盖病变，同时正常组织和异常组织之间的对比度也会降低。在纤维囊性病变或乳腺保留治疗及辅助治疗后的随访中，诊断准确性也会下降[2]。
为克服这些局限性，对比增强光谱乳腺摄影（CESM）作为一种重要的二级成像技术应运而生[3]。CESM使用碘化造影剂来增强肿瘤相关血管结构的可视化，显著提高了肿瘤检测的准确性。该技术通过单次乳腺压迫进行双能量成像，注射造影剂后分别获取低能量（LE）和高能量（HE）图像。LE图像与FFDM生成的标准乳腺图像相当[4]、[5]、[6]，而HE图像由于辐射剂量较高，不直接用于诊断。通过双能量加权对数减法技术结合LE和HE图像，得到重组或双能量减法（DES）图像，从而突出显示对比度吸收区域，提高病变的可见性。放射科医生依赖DES和LE图像进行综合评估。
CESM对于乳腺组织密集或癌症高风险患者尤为有用[7]。其诊断准确性可与对比增强磁共振成像（MRI）相媲美，但具有成本更低、成像时间更短、更具可及性的优势[8]。然而，CESM也存在一些缺点：患者接受的辐射剂量略高于FFDM，且存在对造影剂过敏的风险，虽然通常较轻，但偶尔可能引发更严重的并发症，如造影剂诱导的肾病、呼吸急促或面部肿胀[7]。鉴于这些局限性以及CESM作为二线成像方法的地位，CESM通常仅在特定情况下使用，导致许多患者仍依赖FFDM进行诊断。最终，确认病变的恶性或良性通常需要通过活检来确定，而活检是确诊的金标准。尽管活检非常可靠，但它具有侵入性、可能引起不适且耗时较长，并存在治疗延迟的风险。
在此背景下，人工智能（AI）为克服现有局限性提供了有希望的解决方案。具体而言，我们提出了一种多模态、多视角的深度学习方法，整合FFDM和CESM技术，实现乳腺癌的虚拟活检，并对病变进行恶性或良性分类。通过生成式AI技术合成CESM图像，解决了CESM数据缺失的问题，确保了诊断流程的连续性。当FFDM和CESM数据均可用时，我们使用最先进的分类器进行处理；当CESM数据缺失时，合成数据仍可继续进行分类，得益于多模态框架和生成式技术的支持。我们的主要贡献包括：
- 我们提出了一种新的多模态、多视角深度学习方法，用于乳腺癌的虚拟活检，整合了FFDM和CESM技术，并首次利用生成式AI在CESM数据缺失时合成图像；
- 我们评估了合成CESM图像在多模态和单模态环境下的虚拟活检效果，并与仅使用FFDM的情况进行了对比；
- 我们发布了扩展版的CESM@UCBM数据集[9]，该数据集以DICOM格式提供，并包含医学报告和活检结果信息。
相关研究
近年来，人工智能（尤其是深度学习）在医学成像领域的应用极大地提高了诊断准确性，并推动了跨多种成像模态的自动化病变检测和分类系统的发展。卷积神经网络（CNN）在医学图像分析中日益受到重视[10]。基于CNN的模型，如ResNet[11]和VGG[12]，已被广泛用于虚拟活检分类任务
方法
我们提出了一种多模态、多视角的深度学习流程，用于乳腺癌的虚拟活检，旨在对病变进行恶性或良性分类。该框架整合了FFDM和CESM作为输入模态，并分别利用CC和MLO视角。当CESM数据缺失时，我们使用生成式AI模型从FFDM图像合成CESM图像。整个工作流程包括两个主要部分：
材料
本研究的数据集包含204名患者的CESM检查结果，年龄范围为31至90岁，平均年龄为56.7岁，标准差为11.2岁。所有检查均在罗马大学生物医学校区医院使用GE Healthcare Senographe Pristina系统完成，共计2278张图像。其中1998张图像的尺寸为2850 × 2396像素，其余280张图像的尺寸为2294 × 1916像素。
实验设置
本节概述了实验设置，详细介绍了分类器和生成模型的训练与评估过程，以及评估它们对数据缺失鲁棒性的实验。
结果与讨论
首先，我们展示了合成CESM图像生成的结果，然后讨论了虚拟活检任务的结果。
结论
我们研究了生成式AI和多模态深度学习在乳腺癌虚拟活检中的应用，解决了诊断流程中CESM数据缺失的问题。所提出的方法整合了FFDM和CESM技术，并在CESM数据缺失时使用CycleGAN合成图像。我们的研究重点不是寻找性能最佳的分类器，而是证明了多模态框架的有效性
作者贡献声明
Aurora Rofena：撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论设计、研究实施、数据分析、概念化。
Claudia Lucia Piccolo：资源提供。
Bruno Beomonte Zobel：资源提供。
Paolo Soda：撰写 – 审稿与编辑、项目监督、方法论设计、资金获取、概念化。
Valerio Guarrasi：撰写 – 审稿与编辑、可视化、验证、项目监督、软件开发。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
Aurora Rofena是罗马大学生物医学校区举办的第XXXVIII届人工智能博士学位项目（健康与生命科学方向）的博士生。
研究资源由瑞典国家超级计算基础设施（NAISS）和瑞典国家计算基础设施（SNIC）在Alvis @ C3SE提供，部分资金来自瑞典研究委员会（项目编号：2022-06725和2018-05973）。
