利用SAM2改进医学图像分割：分析对象特征和微调对多平面数据集的影响

《European Journal of Radiology Artificial Intelligence》：Improving Medical Image Segmentation with SAM2: Analyzing the Impact of Object Characteristics and Finetuning on Multi-Planar Datasets.

本研究系统分析SAM2在医学影像中的表现，发现其分割精度受物体大小、位置和结构复杂度显著影响。通过在MSD、ISLES和BTCV数据集上微调，SAM2的IoU从0.690提升至0.827（+19.86%），Dice系数提升15.58%，胰腺等复杂结构IoU增幅达65.2%。统计显示中等大小、中心位置、高固体性结构分割最优，边缘不规则结构精度较低。研究证实领域微调可有效提升模型临床适用性，为后续优化提供理论依据。

　　### 一段关于医学影像分割模型性能的研究分析

在医学影像领域，准确的器官和病灶分割对于临床诊断、治疗规划以及科研探索至关重要。近年来，随着深度学习技术的迅速发展，各种先进的分割模型不断涌现，其中Segment Anything Model 2（SAM2）因其强大的零样本分割能力而受到广泛关注。SAM2在自然图像和视频分割任务中表现卓越，能够自动识别并分割多种目标对象，无需进行专门的训练。然而，尽管SAM2在非医学图像中表现出色，其在医学影像中的应用仍处于初步探索阶段，尚未得到充分验证。

本研究旨在系统分析影响SAM2在医学影像数据集上性能的关键因素，特别是对象特征（如大小、位置、结构复杂度）对分割准确率的影响，并探讨通过医学影像数据的微调如何提升模型在特定任务中的表现。研究对象包括三个广泛使用的医学影像数据集：Medical Segmentation Decathlon（MSD）、ISLES 2022和BTCV Multi-Organ Abdominal Dataset。这些数据集涵盖了多种器官和病理情况，为模型性能评估提供了丰富的数据支持。

### 模型结构与功能

SAM2的核心架构由图像编码器、提示编码器和掩码解码器组成。图像编码器利用视觉Transformer（ViT）提取输入视频帧的稳健特征，提示编码器将用户交互（如点击、框选或掩码）转化为有意义的嵌入，这些嵌入随后被掩码解码器整合，以生成最终的分割掩码。SAM2的内存模块负责保留帧间的上下文信息，使模型能够在不同帧之间进行分割线索的传播，从而实现更精确的连续性分割。

此外，SAM2的结构还支持双向传播，即不仅能够从当前帧向未来帧传递信息，还能反向传播，增强模型对动态内容的适应能力。这一特性在医学影像分割中尤为重要，因为许多医学影像数据包含时间序列信息，如动态的器官运动或病灶变化。通过这种机制，SAM2能够在连续的影像帧之间保持分割的一致性和准确性，为临床应用提供了更可靠的工具。

### 数据集的组成与处理

本研究的数据集由三个主要来源构成：MSD、ISLES 2022和BTCV Multi-Organ Abdominal Dataset。MSD数据集包含脑肿瘤、肝脏、肝血管、胰腺、脾脏、前列腺、海马体、肺、结肠和心脏等结构的标注图像。ISLES 2022专注于缺血性中风病灶的分割任务，而BTCV数据集则提供了多个腹部器官的CT扫描数据，均经过专家标注。

为了确保评估的全面性和准确性，数据集在实验开始前被分为两个独立的子集：训练集和测试集。每个代表性器官的前100个案例被纳入训练集，而案例数量较少的数据集则采用90%训练、10%测试的划分方式。为了进一步提高评估的鲁棒性，我们还对训练集进行了三平面重建（轴向、冠状位、矢状位），并系统性地选择切片，最终生成了2140个视频示例。其中，1926个视频示例被随机选为最终的训练集，其余10%作为验证集。

测试集由985个视频示例组成，这些示例来自不同的器官和病理情况，以确保模型在多种场景下的泛化能力。此外，数据集还整合了多个公开可用的医学影像来源，如BRATS、BTCV、MSD和ISLES。这种复合数据集结构有助于模拟真实临床环境中的多样性，从而提升模型在实际应用中的鲁棒性。

### 对象特征分析框架

为了系统评估SAM2在不同对象特征下的性能表现，我们建立了一个基于已知影像生物标志物和定量特征的分析框架。该框架主要围绕以下四个关键对象特征展开：

1. **对象大小**：通过相对大小（目标面积与图像总面积的比值）来量化对象的大小，将其划分为大（>50%）、中（25%-50%）和小（<25%）三类。对象大小直接影响分割的难度，尤其在医学影像中，小病灶往往具有较高的诊断价值，但对分割算法提出了更高的挑战。

2. **位置**：我们采用距离（目标中心与器官中心之间的欧氏距离）来评估对象在器官内的位置，将其分为中央和边缘两类。边缘位置的病灶通常受到部分容积效应和组织界面复杂性的影响，使得分割更加困难。

3. **结构复杂度**：我们采用四个互补的指标来衡量结构的复杂性，包括圆度、偏心率、充实度和边缘粗糙度。圆度和偏心率用于描述病灶的形态，充实度和边缘粗糙度则反映了病灶与周围组织的边界清晰度。这些指标已被广泛用于医学影像分析，与临床结果具有强相关性。

4. **对比度**：我们定义了对比度为病灶的强度与周围组织强度的比值。对比度是医学影像分割中的关键因素，因为低对比度的病灶往往难以被自动分割算法准确识别。然而，我们的分析发现，对比度对分割性能的影响相对较小，表明SAM2在不同对比度水平下均能保持较好的分割能力。

### 模型训练与评估

在模型训练方面，我们采用了端到端的微调策略，以优化SAM2在医学影像数据上的性能。训练参数包括1024×1024的分辨率、1的批量大小、8帧的序列长度、以及3个最大对象的限制。学习率设置为5.0×10??（基础模型）和3.0×10??（视觉特定部分），这些参数的选择基于经验测试和SAM2开发团队的建议。训练周期为80个epochs，采用余弦退火策略动态调整学习率，以提高优化效果。训练过程中，我们持续监控损失函数，并在损失值趋于稳定时停止训练，以防止过拟合。

在模型评估方面，我们采用了三种主要的指标：交并比（IoU）、Dice相似度系数（DSC）和归一化表面距离（NSD）。IoU衡量目标与真实标注之间的空间重叠程度，对边界精度特别敏感；DSC则更适用于评估小结构的分割性能；NSD则用于分析边界精度，是评估临床适用性的关键指标。通过这些指标，我们能够全面衡量模型在不同对象特征下的分割性能，并识别出模型在哪些情况下表现最佳。

### 微调带来的性能提升

微调SAM2在医学影像数据上带来了显著的性能提升。在所有评估指标中，IoU的平均值从0.690提升至0.827，提高了19.86%；DSC的平均值从0.7771提升至0.8916，增加了14.7%；NSD的平均值从0.8009提升至0.9173，提高了14.5%。这些提升表明，通过医学影像数据的微调，SAM2能够更好地适应医学影像的特殊性，如低对比度、复杂结构和模糊边界。

具体来看，胰腺和肝血管等结构复杂的器官在微调后表现出显著的性能提升。胰腺的Dice得分从0.563提升至0.838，提升了48.8%；肝血管的Dice得分从0.515提升至0.780，提升了51.5%。这些结果表明，对于结构复杂的器官，微调能够显著提升分割的准确性，尤其是在边界清晰度和结构完整性方面。

此外，微调还改善了肝脏和脾脏等结构清晰的器官的分割性能。肝脏的IoU得分从0.8525提升至0.930，提高了19.86%；脾脏的IoU得分从0.861提升至0.861，虽然变化不大，但整体性能仍然有所改善。这些结果表明，微调不仅适用于复杂结构，也能够提升结构清晰的器官的分割性能，进一步证明了其在医学影像分割中的广泛适用性。

### 物理和图像特征对性能的影响

分析结果表明，物理和图像特征对SAM2的分割性能有显著影响。在所有分析中，结构的充实度（Solidity）与分割性能的关系最为密切，尤其是在Dice得分和NSD得分方面。充实度高的结构通常具有更清晰的边界，因此更容易被分割算法准确识别。相比之下，边缘粗糙度（Edge Roughness）与分割性能呈负相关，尤其是在NSD得分中表现更为明显。边缘粗糙度高的结构往往具有不规则的边界，这使得分割算法难以准确捕捉其轮廓。

位置和大小也是影响分割性能的重要因素。研究表明，中等大小的结构（25%-50%的图像面积）在分割任务中表现最优，而大结构和小结构则分别表现出稍低的性能。这一发现可能与图像分辨率和病灶的分布有关，中等大小的病灶在图像中占据合理比例，更易于分割算法捕捉。此外，边缘位置的结构通常比中央位置的结构更容易分割，这可能与部分容积效应和组织界面的复杂性有关。

值得注意的是，虽然对比度对分割性能有影响，但其相关性较弱。这表明，SAM2在不同对比度水平下均能保持较高的分割准确性，无需对对比度进行特别优化。这一发现对于临床应用具有重要意义，因为医学影像中的病灶往往具有复杂的对比度特征，微调后的模型能够更好地适应这些变化。

### 模型的可靠性与一致性

通过性能一致性分析，我们发现微调后的SAM2在大多数解剖结构上表现出较高的可靠性。其中，有6个器官的Dice得分超过0.85，而6个器官的NSD得分超过0.90，显示出良好的分割能力。然而，对于肝血管和多器官腹部结构，性能的分布范围较宽，这表明这些结构在分割过程中仍存在一定的挑战。

在这些结构中，肝血管的Dice得分和NSD得分在微调后分别提升了51.5%和41.2%。这一显著的提升表明，尽管肝血管的结构较为复杂，微调仍然能够有效改善其分割性能。然而，其性能的波动性也提示，未来的模型优化应重点关注这些结构，以提高其分割的稳定性和一致性。

### 与MedSAM2的比较

在与MedSAM2的对比中，我们发现微调后的SAM2在分割性能上显著优于MedSAM2。MedSAM2的平均Dice得分为0.760，而我们的模型达到了0.892，这一差距可能与架构差异有关。MedSAM2采用了Hiera-Tiny架构，而我们的模型基于更先进的Hiera-base-plus架构，这可能解释了性能的差异。此外，我们没有与MedSAM进行比较，因为MedSAM主要用于图像分割，而我们的研究聚焦于视频分割任务。

### 临床相关性与未来方向

尽管本研究主要关注模型的性能评估，但我们也意识到，对于特定的临床应用，应选择与实际需求相匹配的评估指标。例如，在放射治疗和手术规划中，Dice相似度系数（DSC）和Hausdorff距离（HD）可能更具临床意义。因此，未来的模型优化应考虑如何根据具体任务调整评估框架，以确保模型在实际应用中的有效性。

此外，我们的研究还揭示了医学影像数据的某些特性对模型性能的影响。例如，低对比度和不规则边界的病灶在分割过程中表现出较大的挑战。因此，未来的模型训练应更加注重这些边缘情况，以提升模型在复杂临床场景中的适应能力。同时，我们建议未来的研究应进一步探索微调过程中所需的最小样本数量，以提高模型训练的效率。

### 结论

本研究的结果表明，通过医学影像数据的微调，SAM2的分割性能得到了显著提升。这一提升不仅体现在整体性能指标上，还特别适用于结构复杂的器官。此外，对象特征（如大小、位置和结构复杂度）对分割性能有重要影响，其中充实度和边缘粗糙度与分割精度关系最为密切。我们的研究为SAM2在医学影像分割中的应用提供了重要的理论支持和实践指导，同时也指出了未来研究的方向，如优化微调策略、提升模型在复杂结构中的表现以及增强其在不同临床场景下的适应性。

SAM2的潜力在于其强大的泛化能力和对多种目标对象的适应性。然而，要充分发挥其在医学影像中的作用，仍需进一步的优化和调整。通过深入研究对象特征对模型性能的影响，并结合临床需求进行针对性的微调，可以推动SAM2在医学影像分割领域的广泛应用。本研究的结果不仅有助于提升模型的性能，还为未来的医学影像分割研究提供了重要的参考依据。