GBT-SAM：一种参数高效的深度感知通用脑肿瘤分割模型，用于多参数磁共振成像

《International Journal of Imaging Systems and Technology》：GBT-SAM: A Parameter-Efficient Depth-Aware Model for Generalizable Brain Tumor Segmentation on mp-MRI

　　

胶质瘤是一种侵袭性脑肿瘤，需要准确的影像诊断，其中自动分割在评估肿瘤形态和指导治疗决策中起核心作用。胶质瘤的手工勾画耗时且易产生变异性，这促使研究人员采用深度学习以提高一致性并减轻临床工作负荷。然而，现有方法往往未能充分利用多参数磁共振成像（Multi-parametric MRI, mp-MRI）中的信息，尤其是层间上下文信息。此外，这些方法通常需要大量计算资源，且在不同肿瘤类型和成像条件下的鲁棒性不足。研究人员提出GBT-SAM，一种参数高效的深度学习框架，将大规模分割任意模型（Segment Anything Model, SAM）适配至体积mp-MRI数据。GBT-SAM通过每例扫描选取少于2.6%的层数，同时纳入全部四种MRI模态，以最小计算成本保留关键肿瘤相关信息。此外，该模型采用两步微调策略进行训练：结合深度感知模块以捕获层间相关性，以及轻量级基于低秩适应（Low-Rank Adaptation, LoRA）的适配层，仅需9.97 M可训练参数，为现有基于SAM的方法中最少。GBT-SAM仅在BraTS成人胶质瘤数据集上训练，并获得92.66的Dice分数。同时，研究人员在额外的脑膜瘤、儿童胶质瘤和撒哈拉以南胶质瘤数据集上进行验证，以证明其稳健的泛化性能。这些结果突显GBT-SAM作为计算高效且领域鲁棒的mp-MRI脑肿瘤分割框架的优势。相关代码和模型可在https://github.com/vpulab/gbt-sam获取。

脑肿瘤全自动分割是神经肿瘤影像学中的核心挑战，对于精准诊断与治疗规划具有重要临床价值。胶质瘤作为原发脑肿瘤中致死率最高的类型之一，其准确的形态学勾画直接影响手术导航、放射治疗计划及疗效评估。当前临床实践主要依赖放射科医师手工逐层勾画肿瘤边界，该过程耗时费力且存在显著的观察者间与观察者内变异，同时加重了医疗专业人员的工作负荷。尽管深度学习技术已在医学影像分析领域取得显著进展，现有方法在面向多参数磁共振成像的脑肿瘤分割任务时仍面临三重关键瓶颈：其一，多数分割模型基于三通道彩色图像设计，难以直接处理包含T1加权（T1）、T2加权（T2）、钆增强T1（T1c）及T2液体衰减反转恢复（T2-FLAIR）四种模态的mp-MRI数据，简单重复单一模态至三个通道的做法严重制约了模型对肿瘤完整信息的捕捉能力；其二，现有大视觉模型通常独立处理二维层片，忽略了放射科医师在评估肿瘤范围时依赖的层间连续性信息，而引入全三维卷积或跨层注意力机制虽可建模此类关系，却急剧增加了计算复杂度与参数规模；其三，源于自然图像数据集的大视觉模型缺乏医学影像的专业知识，需要有效的领域适配策略以弥合通用训练数据与医学影像独特特征之间的鸿沟。此外，在完整体积上同时训练所有层片易使模型依赖固定位置模式而非临床相关特征，降低了跨肿瘤类型和成像方案的泛化能力。针对上述局限，研究人员在《International Journal of Imaging Systems and Technology》发表研究，提出GBT-SAM（Generalizable Brain Tumor SAM）框架，旨在实现参数高效、深度感知且具备强泛化能力的mp-MRI脑肿瘤分割。

该研究采用四项关键技术方法：第一，修改SAM的块嵌入层以实现四通道mp-MRI输入的联合处理，并设计两步训练协议；第二，引入深度条件模块（Depth-Condition block），在每个视觉变换器块中通过轻量级多层感知机建模相邻层片间的体积依赖关系；第三，采用基于低秩适应的参数高效微调策略，在冻结原始SAM编码器的同时注入可训练的秩分解矩阵；第四，实施切片采样策略，训练时随机选取一个层片及其相邻三个层片（间距d=3），推理时采用四层层片的滑动窗口处理完整体积。样本队列来源于RSNA-ASNR-MICCAI BraTS 2023挑战公开数据集，包括成人胶质瘤、脑膜瘤、儿童胶质瘤及撒哈拉以南胶质瘤四个领域，其中仅成人胶质瘤数据集用于训练，其余三个领域作为零样本测试集。

关于多模态适配策略的研究结果表明，与单模态输入或三模态组合相比，利用全部四种mp-MRI模态在未见领域的零样本泛化方面表现最优。具体而言，全模态配置在脑膜瘤、儿童胶质瘤和撒哈拉以南胶质瘤数据集上的平均泛化Dice分数显著优于单模态方案，且在成人胶质瘤训练域上保持强劲性能，这证实了整合完整mp-MRI数据以捕获肿瘤形态综合信息的必要性。该结论通过对比实验得出，采用配对Wilcoxon符号秩检验进行统计显著性验证。

关于低秩适应秩值选择的研究结果表明，增加LoRA秩值r并未带来性能单调提升。当r=32时，模型在成人胶质瘤训练域上的Dice分数达到最优平衡，同时在未见脑肿瘤领域的泛化能力最佳；而r=64时训练域性能略有下降，r=128和r=256时未见领域泛化能力明显减弱。这一发现支持选择r=32作为默认配置，以确保跨多样化脑肿瘤领域的稳健性。该结果通过系统性的秩值消融实验获得，统计检验显示r=32配置显著优于部分替代方案。

关于切片选择策略的研究结果表明，采用连续四层层片（d=3）的配置在所有未见领域上均获得最佳Dice分数，尽管与d=1的训练域性能差异未达统计显著性，但d=3在零样本泛化方面大幅超越独立随机采样或更大间距的替代方案。这突显了向模型输入序列化相邻层片的重要性，因为连续层片提供互补的空间信息，增强了捕获层间相关性的能力。该结论通过对比d=1、d=3、d=5及随机采样策略的消融实验得出。

关于提示策略的研究结果表明，边界框提示在训练与测试阶段均保持100%重叠（Box-100-100）时获得各数据集上的理论最高性能，但该设置假设完美的人工标注，临床现实中不可行。而训练与测试均采用75%重叠（Box-75-75）的配置在保持强劲且一致结果的同时，更贴近真实临床场景，被选为实际应用方案。单点提示策略性能显著劣于边界框提示。该结论通过四种提示配置的对比实验得出。

关于训练协议与层间相关性的研究结果表明，结合深度条件模块的两步训练协议在所有脑肿瘤场景（D^AG、D^M、D^P、D^SS）上均获得最优性能。具体而言，先单独优化块嵌入层、再联合微调块嵌入层、LoRA模块及深度条件模块的两步方案，显著优于仅训练块嵌入层的一步方案，以及同时训练所有组件的单步联合优化方案。此外，在每种训练协议中加入深度条件模块均带来一致的性能提升，验证了分离训练阶段以防止补偿性学习、以及深度条件模块 leveraging 层间依赖关系对改善体积分割的关键贡献。该结论通过六种配置组合的系统性消融实验得出。

关于计算效率的研究结果表明，深度条件模块的引入仅增加3.57 M可训练参数（从6.40 M增至9.97 M），总参数增加量相同；虽然编码器浮点运算次数（GFLOPs）增加37.4%（从316.23增至434.77），但推理延迟仅增加28.62 ms（约5%），从541.31 ms增至569.93 ms。这表明该架构成功建模了层间相关性，而未产生全三维体积编码器所具有的禁止性计算成本。该结论通过有无深度条件模块的对比性能分析得出。

关于与现有技术对比的研究结果表明，在成人胶质瘤数据集上，GBT-SAM在基于SAM的方法中Dice分数最高（92.66），显著优于SAMed、SAM-U、SAM-Med2D、MedSAM、Med-SA及Medical SAM-2等同类方法。在所有对比方法中排名第四，仅次于Hyper-BTS（93.42）、TransDoubleU-Net（92.87）和GliGAN（94.32）。在参数量少于50 M的高效方法中，GBT-SAM以9.97 M可训练参数实现最高Dice分数，参数规模约为次优竞争者VTU-Net（16.85 M）的一半，同时性能显著优于Light-UNet（4 M参数，85.09 Dice分数）。该结论通过与UNet类、生成式及SAM类共20余种方法的对比实验得出。

关于边界框重叠敏感性的研究结果表明，模型性能在75%训练配置下达到峰值。值得注意的是，模型对宽松边界框（50%重叠）展现出高度结构鲁棒性，性能仅衰减约2%；而绝对紧密贴合（100%重叠）则导致性能下降高达约7%，这是因为SAM等基础模型依赖提示窗口内的围肿瘤背景对比来准确勾画边界。这一现象并非与Box-100配置的性能矛盾，而是揭示了有意优化的权衡：在75%监督下训练的模型学会利用周围上下文作为信息先验，避免了对理想化输入的过拟合，增强了在真实边界谱系中的稳定性。该结论通过50%至100%重叠比例的系统化敏感性分析得出。

关于定性可视化结果的研究表明，GBT-SAM在所有四个脑肿瘤领域中产生的分割结果与金标准标注高度吻合，重叠区域（紫色）显示模型能够准确勾画肿瘤边界和范围，仅在低对比度或复杂病例中存在轻微的过度分割或不足分割。这反映了该方法跨不同肿瘤类型泛化的鲁棒性。

在讨论部分，研究人员强调了GBT-SAM在计算效率与分割精度之间取得最优权衡的设计理念。通过有效利用全部mp-MRI序列的互补诊断信息，以及建模深度方向相关性而无需全三维网络的繁重开销，该框架在保持高性能的同时实现了结构效率。这些属性确立了GBT-SAM作为多领域脑肿瘤分割的稳健可靠方法学地位。

研究结论部分翻译如下：在本研究中，研究人员提出了GBT-SAM，一种旨在将分割任意模型适配于多参数磁共振成像脑肿瘤分割的参数高效框架。该架构整合了修改后的块嵌入层以联合处理四种结构磁共振模态（T1、T2、T1c和T2-FLAIR）、用于捕获层间体积依赖关系的深度条件模块，以及用于定向微调的低秩适应机制。该配置在主要BraTS成人胶质瘤基准上以仅9.97百万可训练参数实现了92.66的高度竞争性Dice分数。此外，实验评估突显了该框架跨未见临床领域的泛化能力。虽然SAM的基线参数高效适配最初在训练域与未见数据集平均性能之间表现出约6%的性能差距，但研究人员提出的多阶段训练协议和深度感知架构的引入将该跨域差距缩小至1%。最终GBT-SAM模型的稳定性能展示了在脑膜瘤、儿童胶质瘤和撒哈拉以南胶质瘤数据集上测试时一致的零样本泛化能力。实验结果验证了所提出的架构修改作为分割精度与计算成本之间最优权衡的有效性。通过充分利用全部mp-MRI序列的互补诊断信息，以及无需全三维网络大量开销而建模深度方向相关性，该框架保持了高性能和结构效率。这些属性确立了GBT-SAM作为多领域脑肿瘤分割的严谨且稳定的方法论。