用于检测子宫内膜异位症征兆的配对多模态多标签学习

《Artificial Intelligence in Medicine》：Unpaired multi-modal multi-label learning for detecting endometriosis signs

　　•该研究提出了首个框架，能够同时进行多模态与多标签分类，用于通过阴道超声和磁共振成像检测子宫内膜异位症的征兆，包括道格拉斯囊消失和肠道结节。该方法结合多模态与多标签学习，充分利用磁共振成像与阴道超声在诊断方面的优势，同时建模各征兆之间的关联，从而克服以往单一标签方法的局限性。该框架还引入了动态互知识蒸馏、稳健的单模态推理以及基于注意力机制的关联建模，使得在磁共振成像和阴道超声两种影像模式下都能获得较高的准确率。

引言
子宫内膜异位症是一种常见的妇科疾病，其特征是子宫外存在类似子宫内膜的组织，会导致严重的经期疼痛、慢性盆腔疼痛以及不孕症[1]。约有九分之一的女性和出生时被认定为女性的人患有此病，全球估计有1.9亿例患者[2]。除了身体上的症状外，该疾病还会带来巨大的心理和经济负担，包括情绪困扰、工作效率下降以及高昂的医疗费用[3]。尽管存在这些影响，但目前尚无治愈子宫内膜异位症的方法，治疗主要侧重于缓解症状[4]。此外，从症状出现到最终确诊的平均时间可能长达7年，往往需要通过昂贵的手术来观察病灶[5]。因此，开发准确且无创的早期诊断方法对于缩短诊断时间并降低相关成本至关重要。

自2022年起，欧洲人类生殖与胚胎学学会的指南[6]已将磁共振成像和阴道超声视为腹腔镜检查的可行替代方案，而腹腔镜检查一直是子宫内膜异位症的诊断金标准。磁共振成像能够提供高分辨率的软组织图像，有助于评估复杂的盆腔结构，但其成本较高，且主要提供静态信息[7]。相比之下，阴道超声成本更低，可以通过观察器官的活动性来判断粘连情况，但其视野有限，其准确性在很大程度上取决于操作者的专业水平[8]。此外，某些子宫内膜异位症的征兆通过某种影像模式能更准确地检测出来。例如，道格拉斯囊消失通过阴道超声检测的准确性往往高于磁共振成像[9]，而肠道结节在磁共振成像中则更易显现[10]。计算机辅助诊断系统或许能够帮助解决这种因影像模式不同而带来的差异，带来显著的临床益处，但仍然存在一些关键挑战：首先，在实际诊疗中，患者通常只接受一种影像检查，这严重影响了我们训练和测试计算机辅助诊断系统的能力；其次，不应让任何患者因为使用了针对特定征兆不太理想的影像检查方式而处于不利地位。

由于患者通常只接受一种影像检查，这就导致了用于训练的磁共振成像和阴道超声数据为非配对数据，而且也难以同时使用两种影像模式进行测试。这是个问题，因为多模态方法通常依赖于同一患者的多种影像模式所获得的配对数据[11]、[12]。因此，亟需开发能够有效处理非配对多模态数据的多模态学习方法，以及能够利用单模态输入数据的有效多模态测试方法。

鉴于在不同影像模式（阴道超声和磁共振成像）下检测子宫内膜异位症征兆（即道格拉斯囊消失和肠道结节）的效率存在差异，可以推测，如果患者意外地使用了针对其征兆效果较差的影像模式，可能会处于不利地位。值得注意的是，这些征兆的存在都会增加患病的风险[13]。道格拉斯囊指的是子宫与直肠之间的空间。在T2加权磁共振成像中，根据底层组织的构成不同，道格拉斯囊消失会表现为不同的信号强度或密集的粘连，遮盖软组织结构（正常情况见图1.a，道格拉斯囊消失情况见图1.b）[7]。在阴道超声中，则通过“滑动征象”测试来判断道格拉斯囊是否消失，该测试旨在评估宫颈后部及子宫能否在肠道上自由滑动[14]。如果滑动受限，则说明道格拉斯囊已消失（见图1.e），否则则为正常（见图1.d）。肠道区域的子宫内膜异位症通常表现为直径超过1厘米的单个肠道结节，这类结节常常会浸润肠道壁及周围结构[15]。图1.a和图1.f分别展示了磁共振成像和阴道超声下的正常肠道情况，而图1.c和图1.g则展示了磁共振成像和阴道超声下伴有结节的肠道子宫内膜异位症情况。重要的是，肠道结节和道格拉斯囊消失常常同时出现在第四期子宫内膜异位症中，这是该疾病最严重的形式，通常需要胃肠外科医生参与的多学科协作治疗[16]。因此，解决这一问题不仅需要利用非配对的多模态数据（阴道超声和磁共振成像），还需要探索多标签分类方法中的关联机制，以提高晚期病例中子宫内膜异位症征兆的检测性能。

我们之前的研究表明，通过基于临床直觉手动将阴道超声指定为教师模态，可以在多模态单一标签的道格拉斯囊分类任务中实现从阴道超声到磁共振成像的知识迁移[9]。虽然这种方法对某一征兆有效，但由于数据集的差异性和类别不平衡等因素，当需要检测多个征兆时，分类难度并不总与先前的知识相符，因此这种方法存在局限性。一种简单的解决方案是为每种影像模式单独训练模型，并通过手动指定教师模态来进行标注，但随着影像模式和标签数量的增加，这种方法变得不切实际。后来有人提出了自动选择教师模态的方法，用于多模态单一标签分割任务，即在训练过程中选择表现最佳的影像模式。然而，这种方法并不适用于多标签分类，因为在多标签分类中，不同影像模式可能在某个标签上的表现良好，而在另一个标签上的表现较差，因此单一的教师模态选择并非最优方案。

为了解决上述问题，我们提出了EndoFusion这一新型框架，它能够处理非配对的多模态、多标签数据，并支持使用单模态数据进行测试，从而利用阴道超声和磁共振成像数据检测道格拉斯囊消失和肠道结节。该框架的目标是在难以获得配对多模态检查的现实环境中，依然能够检测出具有临床意义的子宫内膜异位症影像征兆，并支持单模态推理。我们的主要贡献如下：
•非配对多模态多标签学习与单模态推理：我们采用了基于标签的配对方法，结合新的多标签混合技术，有效处理非配对数据集，随后通过随机删除和替换的方式实现跨模态特征交换，从而确保单模态推理的稳健性；
•动态互知识蒸馏：与那些依赖固定教师模态选择或预训练模型的方法不同，动态互知识蒸馏在训练过程中采用以表现最差的学生为依据的教师模态选择策略。这种自适应机制会根据验证结果动态选择最佳教师模态，从而实现跨模态和标签间的有效知识传递；
•标签关联建模：我们整合了多头注意力机制，以捕捉不同标签之间的依赖关系，同时还采用了专门设计的多标签损失函数，用以缓解类别不平衡问题，进而提高整体检测精度。

在我们所使用的子宫内膜异位症数据集上的实验结果表明，当仅使用单模态数据时，我们的方法在所有任务中的平均AUC值达到了0.827。具体而言，基于磁共振成像的道格拉斯囊和肠道结节分类的AUC值分别为0.756和0.902，而基于阴道超声的分类AUC值则分别为0.907和0.741。定量精度比较显示，我们的方法优于所有对比方法。此外，我们的模型在推理时仅需一种影像模式，处理每个样本的时间约为0.018秒，这为其在高效临床决策支持流程中的应用提供了可能。

章节摘录
子宫内膜异位症自动诊断
目前，关于利用医学影像实现子宫内膜异位症自动诊断的研究相对较少，大多数研究都仅聚焦于使用单模态数据检测单个征兆。Guerriero等人[19]训练了七个机器学习模型，利用超声软标志物来识别直肠乙状结肠深部子宫内膜异位症，其中神经网络取得了最高的准确率，为0.73。Maicas等人[20]则开发了一种深度学习模型，用于识别阴道超声中的滑动征象，其AUC值达到了0.965。

方法论
在本节中，我们首先明确了EndoFusion框架所使用的多模态、多标签数据集，接着详细介绍了其训练策略，最后说明了单模态测试的流程。我们的方法使用了四个数据集，具体如下：
•子宫内膜异位症磁共振成像数据集记为DM=xiM,siM,yiMi=1N，其中xiM∈XM?RH×W×D表示一个T2加权的SPACE磁共振成像体积数据，其高度为H，宽度为W，……

数据集
在本研究中，我们收集了四个数据集：用于自我监督预训练的大规模女性盆腔磁共振成像数据集DP，用于子宫内膜异位症检测的磁共振成像数据集DM，用于检测阴道超声滑动征象的数据集DU_POD，以及用于检测阴道超声肠道结节的数据集DU_BN。所有数据样本均经过匿名处理，且符合伦理标准。女性盆腔磁共振成像数据集DP包含了8984份18至45岁女性的T2加权磁共振成像盆腔扫描图像，这些数据来自南澳大利亚医学成像服务机构，采集时间为2011年9月之后。

与相关方法的比较
我们将我们提出的动态互跨模态知识蒸馏方法与几种相关的多模态学习方法进行了比较，包括CRNP[11]、Modal-mixup[28]、MGCA[12]、ADAPT[29]（包括ADAPT_MRI和ADAPT_TVUS）以及SimMLM[30]，相关比较结果见表2。结果显示为AUC值和AUPRC值，并附有95%的自助法置信区间。总体而言，动态互跨模态知识蒸馏方法在四项分类任务中的平均表现最佳，平均AUC值为0.827[0.790, 0.861]，平均AUPRC值也为……

局限性
首先，磁共振成像和阴道超声数据集在患者层面是完全非配对的。因此，所提出的框架无法建立真正的患者层面多模态对应关系。尽管标签引导的伪配对策略在我们的实验中提升了性能，但部分观测到的优势可能源于标签条件下的正则化作用，而非真正的跨模态知识转移。未来需要使用配对的磁共振成像-阴道超声数据集来进一步验证所提出的方法。

结论与未来工作
在本文中，我们提出了一种新颖的非配对多模态多标签方法——EndoFusion，该方法利用阴道超声和磁共振成像来检测两种子宫内膜异位症的影像征兆。我们通过标签对多模态数据进行处理，采用以表现最差的学生为依据的教师模态选择策略，动态确定用于互知识蒸馏的教师模型，同时通过特征随机删除和替换模块进行训练，从而实现单模态分类。此外，我们还采用了多头注意力机制和双向损失函数，用于学习标签之间的关联关系。

CRediT作者贡献声明
Yuan Zhang：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、正式分析、概念构建。Hu Wang：写作——审阅与编辑、指导、方法论。Yutong Xie：写作——审阅与编辑、指导、方法论。Minh-Son To：写作——审阅与编辑、资源获取、数据整理。Steven Knox：写作——审阅与编辑、资源获取、数据整理。Mathew Leonardi：写作——审阅与编辑、资源获取、数据整理。George Condous：写作。

遵循伦理标准
本研究是按照《赫尔辛基宣言》的原则开展的。该研究获得了阿德莱德大学人类研究伦理委员会（批准日期为2023年6月1日，编号为H-2020-051）以及南阿德莱德临床人类研究伦理委员会（批准日期为2021年9月29日，编号为111.20）的批准。该临床试验的编号为ACTRN12623000646640，项目名称为IMAGENDO：利用影像技术和人工智能诊断子宫内膜异位症。

资金支持
本项研究得到了澳大利亚政府的资助，资金来源包括医疗研究未来基金2020年度的初级卫生保健研究数据基础设施拨款项目、子宫内膜异位症澳大利亚组织提供的资助，以及2022年度的澳大拉西亚超声医学研究协会提供的资助。

利益冲突声明
S. Knox声明从西门子医疗公司获得报酬，Benson Radiology拥有参考站点协议。G.Condous声明从三星公司和GE医疗公司获得报酬，同时还是国际妇产科联盟董事会成员，以及世界妇产超声医学联合会下一任主席。G.Carneiro声明获得了英国工程与物理科学研究委员会的资助，用于开发用于乳腺X光片分析的人工智能技术。M. Leonardi报告称获得了澳大利亚医疗研究未来基金、艾伯维公司、CanSAGE组织、加拿大卫生研究院、汉密尔顿健康科学机构、Hyivy公司以及辉瑞公司的资助；同时还声称从AIUM公司、GE医疗公司获得了演讲和写作方面的报酬。

Yuan Zhang|Hu Wang|Yutong Xie|Minh-Son To|Steven Knox|Mathew Leonardi|George Condous|Jodie C. Avery|M. Louise Hull|Gustavo Carneiro