MGAEPL：用于脑肿瘤分割的多粒度自动化可编辑提示学习方法

《Pattern Recognition》：MGAEPL: Multi-Granularity Automated and Editable Prompt Learning for Brain Tumor Segmentation

提出MGAEPL框架，通过共享编码器整合肿瘤分级预测和分割任务，利用多粒度提示编码器自动生成语义提示指导分割解码器，有效融合医疗先验知识。实验验证其在BraTS数据集上优于现有方法。

　　脑肿瘤分割是实现精准诊断、治疗规划和患者预后评估的关键任务。然而，由于肿瘤子区域的体积较小且形态不规则，这一过程仍然充满挑战。现有的方法通常难以有效整合有价值的医学先验知识，例如肿瘤分级，而肿瘤分级与肿瘤异质性和生物学侵袭性密切相关。为了解决这一限制，我们提出了一种名为MGAEPL（多粒度自动化和可编辑提示学习）的新框架。MGAEPL采用共享编码器提取影像特征，同时进行肿瘤分级预测和分割掩码生成。预测出的肿瘤分级随后被转化为多粒度提示，经过提示编码器的处理，引导解码器生成精确的分割掩码。这种设计使得医学先验知识能够在分割过程中自动整合，而无需手动输入提示信息。在BraTS 2018和BraTS 2021数据集上的广泛实验表明，MGAEPL在效果和通用性方面表现优异，凸显了其在临床部署中的潜力。

在医学影像领域，准确的脑肿瘤分割是现代神经肿瘤学的基础，它支撑着诸如诊断、治疗规划和治疗反应监测等关键任务。可靠的肿瘤子区域界定使临床医生能够评估肿瘤进展、患者风险分层并制定个性化的治疗策略。尽管深度学习技术取得了进步，但自动化的脑肿瘤分割仍然是一个具有挑战性的任务，这主要归因于脑肿瘤本身固有的复杂特征，包括其体积小、形状高度不规则以及与周围组织的对比度变化。近年来，深度神经网络的发展，特别是基于U-Net的架构和Transformer增强模型，显著提升了医学影像分割的性能。然而，这些模型往往仅依赖于数据驱动的方式，通常忽略了重要的临床先验信息，如肿瘤分级。肿瘤分级不仅反映了肿瘤的生物学侵袭性，还与肿瘤的形态和空间特征密切相关，这些特征对于精确的子区域分割至关重要。未能整合这些领域特定的知识可能会限制模型的鲁棒性，尤其是在模糊或低对比度的情况下。提示学习作为一种将辅助信息整合到分割过程中的有前景的方法，近年来受到了广泛关注。然而，大多数基于提示的方法依赖于手动定义的输入，这在实际的临床工作流程中由于时间和用户专业知识的差异而不切实际。

为了克服这些局限性，我们提出了一种名为MGAEPL（多粒度自动化和可编辑提示学习）的新框架，该框架在统一的架构中紧密地将肿瘤分级预测与分割任务结合起来。如图1所示，MGAEPL利用共享编码器同时提取用于肿瘤分级分类和分割掩码生成的特征。预测出的分级随后通过提示编码器转化为多层次提示，从而引导分割解码器生成精确的肿瘤掩码，实现了医学先验知识的自动整合，而无需手动输入。这项工作在三个方面改进了我们先前的AEPL方法：首先，我们引入了一种基于注意力的微调适配器，将分级提示转化为潜在的标记，并通过自注意力和交叉注意力机制优化解码器特征，这在AEPL的每通道仿射调制中是缺失的；其次，我们设计了一种双分支提示编码策略，将粗粒度的多尺度仿射调制与细粒度的标记级优化分离，从而实现层次化的指导；第三，我们将验证范围扩展到BraTS 2021数据集，并增加了全面的消融实验，以隔离粗粒度适配器权重和偏差以及新引入的细粒度适配器的影响，同时进行损失权重的敏感性研究。

本文的主要贡献有以下四个方面：首先，我们提出了MGAEPL，这是一种增强的基于提示的分割框架，能够将粗粒度调制和细粒度注意力引导优化结合起来，从而在解码器的不同阶段更精确地整合肿瘤分级信息；其次，我们提出了一种双分支提示编码策略，将预测的肿瘤分级转化为层次化的提示，通过轻量级和可学习的适配器实现对分割解码器的多级指导；第三，MGAEPL支持可编辑的提示，使临床医生能够手动修改肿瘤分级提示，并优化分割结果，从而在自动化与专家控制之间提供了独特的平衡；第四，我们在BraTS 2018和BraTS 2021数据集上的广泛实验表明，MGAEPL在性能上优于现有的卷积、Transformer和多任务方法，验证了其在高分级和低分级胶质瘤分割任务中的有效性。

本文的其余部分组织如下。在第二部分，我们将回顾最相关的相关工作。第三部分将详细阐述所提出的MGAEPL方法。第四部分将介绍所研究的数据、实验设置以及实验结果。第五部分将讨论几个关键组件的影响。最后，第六部分将总结本文的主要内容。

在医学影像分割领域，提示学习作为一种新兴的范式，近年来在视觉任务中展现出了巨大的潜力。它通过外部提示或指令使模型能够适应新的上下文环境。在医学影像分割的互动领域，这一理念得到了扩展，其中用户提供的输入，如点击、涂鸦、边界框或甚至是高层语义，被用作提示以指导模型的预测。这些指导信号作为外部先验，补充了基于图像的特征，为分割任务提供了额外的信息支持。提示学习方法的核心在于如何将这些提示有效地融入模型的训练和推理过程中，从而提升分割的准确性和鲁棒性。然而，传统的提示学习方法往往依赖于人工定义的输入，这在实际的临床环境中并不现实，因为时间和用户专业知识的差异使得手动输入提示变得繁琐且不一致。因此，开发一种能够自动提取和整合医学先验知识的提示学习方法成为当前研究的热点。

在医学影像分割任务中，肿瘤分级作为重要的医学先验信息，与肿瘤的生物学特征和空间分布密切相关。然而，传统的分割方法通常忽略了这一信息，导致模型在处理复杂或模糊的病例时效果不佳。为此，我们提出了一种新的提示学习框架MGAEPL，该框架能够自动将肿瘤分级信息转化为提示，并在分割过程中进行多级指导。MGAEPL的核心在于其共享编码器和双分支提示编码策略，这使得模型能够在不同的解码阶段对肿瘤分级信息进行更精细的整合和利用。此外，MGAEPL支持可编辑的提示，允许临床医生根据具体情况手动调整提示内容，从而在自动化和专家控制之间实现更好的平衡。

MGAEPL框架基于3D U-Net架构，并包含三个核心模块：(1) 一个基于U-Net的编码器，(2) 一个解码器，以及 (3) 一个联合多任务学习（MTL）和提示生成分支。该框架被设计为一个完全端到端可训练的架构，其中训练过程被组织为两个连续的阶段：特征提取和多任务学习阶段，以及提示引导的分割阶段。在第一个阶段，模型通过共享编码器提取多模态MRI数据的特征，并同时进行肿瘤分级预测和分割掩码生成。预测出的肿瘤分级被用作提示，通过提示编码器进行多粒度处理，从而指导解码器生成更精确的分割结果。在第二个阶段，模型利用这些提示信息进一步优化分割解码器的性能，从而实现更准确的肿瘤分割。

在实际应用中，医学影像分割任务需要处理大量复杂的数据，包括不同模态的MRI图像以及不同类型的肿瘤。因此，构建一个能够自动整合医学先验知识的框架显得尤为重要。MGAEPL通过引入基于注意力的微调适配器，不仅能够将分级提示转化为潜在的标记，还能够通过自注意力和交叉注意力机制优化解码器的特征，从而提升分割的准确性。此外，双分支提示编码策略使得模型能够对粗粒度和细粒度的提示进行分别处理，从而实现多层次的指导。这种设计不仅提高了模型的性能，还增强了其在不同肿瘤类型和不同数据环境下的适应能力。

为了验证MGAEPL的有效性，我们在BraTS 2018和BraTS 2021数据集上进行了广泛的实验。这两个数据集是脑肿瘤分割任务中广泛使用的基准数据集，它们提供了多参数MRI图像以及专家标注的肿瘤子区域。这些数据集因其高质量的标注、临床相关性和肿瘤外观及采集协议的多样性而被选择。实验结果表明，MGAEPL在多个评估指标上均优于现有的方法，包括Dice系数、交并比（IoU）和分割精度。此外，我们在消融实验中分析了各个关键组件对模型性能的影响，包括多任务学习、粗粒度提示适配器和细粒度提示适配器的作用，以及损失权重的敏感性。实验结果进一步验证了MGAEPL在高分级和低分级胶质瘤分割任务中的优越性，表明其在临床部署中的可行性。

此外，MGAEPL支持可编辑的提示，使临床医生能够在模型生成初步分割结果后，根据具体情况手动调整提示内容。这种灵活性不仅提高了模型的适应能力，还增强了临床医生在实际应用中的控制力。在实际的临床环境中，由于肿瘤的形态和位置可能存在较大差异，手动调整提示能够帮助模型更好地适应这些变化，从而提升分割的准确性。这种设计在临床实践中具有重要的应用价值，因为它能够在不增加额外计算负担的情况下，提供更灵活的控制方式。

综上所述，MGAEPL框架通过将肿瘤分级预测与分割任务紧密结合，并利用多粒度的提示编码策略，实现了医学先验知识的自动整合。这一方法不仅提升了分割的准确性，还增强了模型在复杂病例中的鲁棒性。同时，支持可编辑的提示使得临床医生能够在模型输出后进行手动调整，从而在自动化与专家控制之间取得更好的平衡。在BraTS 2018和BraTS 2021数据集上的广泛实验表明，MGAEPL在多个评估指标上均优于现有的方法，验证了其在临床应用中的潜力。这些结果不仅为脑肿瘤分割任务提供了新的解决方案，也为未来的研究指明了方向。