编辑推荐：
在多模态医学图像分析中，标注成本高昂。研究人员开展 MDAL（Modality-difference-based active learning）框架研究，通过量化模态差异选取样本。结果显示 MDAL 优于其他方法，能大幅降低标注成本，对多模态医学图像分析意义重大。
在医学影像领域，多模态医学图像是常见的存在形式，像多参数磁共振成像（MRI）和正电子发射断层显像 / 计算机断层扫描（PET/CT）。它们借助不同成像技术，能展现同一解剖结构或病变的不同特征，提供丰富的互补信息，在疾病诊断、治疗和预后评估等方面发挥着关键作用。例如，多参数 MRI 常用于脑肿瘤的术前评估和手术规划。
然而，深度学习虽在医学图像分析中凭借大规模标注数据取得了广泛成功，但医学图像标注工作对医生而言既耗时又费力。多模态图像中不同模态间的差异，更是让标注成本大幅增加。以脑肿瘤术前评估为例，医生需反复比对不同 MRI 序列图像，才能精确勾勒肿瘤边界。同时，现有的主动学习（AL）方法在处理多模态数据时也存在不足，一方面在样本选择中对多模态特征利用有限，常将多模态数据当作单模态处理；另一方面，难以量化模态间的互补信息。为解决这些问题，研究人员开展了关于多模态医学图像分析的研究，并取得了重要成果，相关论文发表在《Computerized Medical Imaging and Graphics》上。
研究人员提出了一种全新的主动学习框架 MDAL（Modality-difference-based active learning for multimodal medical image analysis via contrastive learning and pointwise mutual information）。该框架旨在通过量化模态差异，高效选取最具信息价值的样本进行标注，从而降低多模态医学图像分析的标注成本。
在技术方法上，MDAL 主要包含以下关键步骤：首先，进行自监督多模态对比学习预训练；接着，利用多模态对比学习的损失来估计点互信息（PMI），并将每个样本的 PMI 作为模态差异的指标；然后，依据基于模态差异设计的策略选取有价值的样本；最后，请求对选取的样本进行标注。研究使用了三个数据集进行评估，包括 BraTS 2021 脑胶质瘤分割数据集、脑膜瘤分割数据集以及一个内部的卵巢癌分类数据集。
下面来看看具体的研究结果：
- 数据集评估：MDAL 在公共脑胶质瘤和脑膜瘤分割数据集以及内部卵巢癌分类数据集上进行评估。结果显示，MDAL 在性能上超越了其他先进的主动学习方法。
- 标注样本比例与性能关系：当在这些数据集中仅使用 20%、20% 和 15% 的标注样本时，MDAL 分别能达到使用完整标注数据集进行监督训练性能的 99.6%、99.9% 和 99.3%。这表明 MDAL 可以用少量的标注样本实现接近全量标注样本训练模型的性能。
在研究结论和讨论部分，MDAL 利用多模态对比学习来估计模态间的 PMI，以此表示模态差异，并用于主动学习中的样本选择。同时提出了 MaxMD 和 DiverseMD 两种基于模态差异的采样策略。MaxMD 贪婪地选择平均 PMI 最低的样本，即模态差异最大的样本；DiverseMD 则在 PMI 嵌入空间中进行多样性采样。实验结果充分证明，MDAL 在性能上优于其他主动学习方法，在有限的标注预算下，能达到接近标注所有样本的性能，显著降低了多模态医学图像分析的标注成本。这一成果为多模态医学图像分析领域带来了新的思路和方法，有望进一步推广应用到其他多模态医学数据中，为降低医学图像标注成本、提高医学图像分析效率做出更大贡献。它为后续研究如何更高效地利用多模态数据，推动医学图像分析技术的发展奠定了坚实基础。
