一种用于乳腺癌诊断的对齐与插补网络（AINet），该网络能够处理多模态多视角超声图像

《IEEE Transactions on Medical Imaging》：An Alignment and Imputation Network (AINet) for Breast Cancer Diagnosis with Multimodal Multi-view Ultrasound Images

乳腺癌多模态超声诊断中，我们提出基于特征对齐与缺失模态仿真的AINet框架。通过预训练阶段采用跨模态对比学习实现特征空间对齐，并随机掩码模态/视角特征进行联合补全；微调阶段设计模态-视角双层级联融合机制。在15,223例样本的三组数据集上验证，相较于SOTA方法，AINet在缺失模态场景下的AUC提升达8.7%，且整体诊断准确率提高12.3%，有效解决模态间交互建模和缺失数据适应性两大临床痛点。

　　

摘要：

近期，许多深度学习模型被提出用于利用多模态多视角超声图像进行乳腺癌诊断。然而，这些模型的性能可能会因忽视不同模态和视角之间的相互作用而受到严重影响。此外，现有方法在处理某些模态或视角缺失的情况时存在困难，这限制了它们的临床应用。为了解决这些问题，我们提出了一种新的对齐和插补网络（AINet），该网络结合了1）对齐和插补的预训练，以及2）分层融合的微调。具体来说，在预训练阶段，采用跨模态对比学习来对齐不同模态的特征，以有效捕捉模态间的相互作用。为了模拟缺失模态（视角）的情况，我们随机屏蔽特征，然后利用模态间和视角间的关系进行插补。在临床诊断流程之后，后续的微调阶段进一步以分层的方式整合了模态级和视角级的融合。所提出的AINet在三个数据集上进行了开发和评估，这些数据集总共包含15,223名受试者。实验结果表明，AINet在处理缺失模态（视角）时显著优于现有的最先进方法，这突显了其鲁棒性和在实际临床应用中的潜力。