《MEDICAL PHYSICS》:Segment anything model (SAM)-driven prompt-guided interactive delineation of gross tumor volume for rectal cancer neoadjuvant radiotherapy
编辑推荐:
研究背景:分割一切模型(Segment Anything Model, SAM)作为一种提示引导的基础模型,通过用户自定义提示整合先验知识,在医学图像分割领域展现出巨大潜力。然而,SAM在放疗靶区勾画中的应用仍然有限。
研究目的:本研究提出一种由优化后的SA
研究背景:分割一切模型(Segment Anything Model, SAM)作为一种提示引导的基础模型,通过用户自定义提示整合先验知识,在医学图像分割领域展现出巨大潜力。然而,SAM在放疗靶区勾画中的应用仍然有限。
研究目的:本研究提出一种由优化后的SAM驱动的可行提示引导交互式勾画工作流。
研究方法:共收集100例直肠癌新辅助放疗病例(60例用于训练,40例用于测试)。本研究利用边界框提示引导SAM进行肿瘤靶区(GTV)分割。医生在部分切片上手动绘制边界框提示,其余切片的边界框提示则通过插值策略自动生成。研究评估了四种SAM微调策略,并考察了提示数量及放置位置的影响。最终确定的工作流性能与五种最先进(state-of-the-art, SOTA)模型进行了比较,并分析了其对中间切片选择和边界框提示边距变化的稳健性。
研究结果:与其他微调方法相比,冻结图像编码器获得了最稳定的性能。仅3个切片的提示即可达到与全切片提示相当的精度。中间切片提示的位置影响可忽略不计(p > 0.05)。最终确定的SAM驱动工作流在视觉和定量指标上均优于端到端基线模型(3D DSC:0.92 vs 0.80;3D HD95:2.73 vs 12.70;IoU:0.86 vs 0.67;灵敏度:91.20% vs 85.98%;精确率:93.65% vs 79.23%),同时在特定提示变化下保持稳定性能。
研究结论:所提出的SAM驱动交互式工作流仅需3个边界框提示即可实现直肠癌新辅助放疗GTV分割的良好精度。
**一、研究背景与概述**
结直肠癌在全球恶性肿瘤中的发病率和死亡率均位居前三,其中直肠癌在我国结直肠癌病例中占比最大。对于局部晚期直肠癌患者,新辅助放疗后手术已成为推荐治疗模式,可显著降低术后局部复发率并提高病理完全缓解率。精确的靶区勾画是放疗成功的关键环节,其中包括肿瘤靶区(gross tumor volume, GTV)和临床靶区(clinical target volume, CTV)。传统的人工勾画耗时费力且易受人为因素影响。虽然深度学习(deep learning, DL)方法在直肠癌CTV自动勾画中已取得较好效果,但GTV自动勾画仍是难点,主要原因是CT图像中肿瘤与周围软组织对比度差。以往研究报道的GTV分割Dice相似系数(Dice Similarity Coefficient, DSC)仅在0.71至0.87之间,且存在多模态配准误差等问题。分割一切模型(Segment Anything Model, SAM)作为Meta AI提出的开源大规模视觉基础模型,可通过点、边界框或掩码等提示形式灵活整合用户先验知识,在医学图像分割中展现出潜力,但其在放疗靶区勾画中的应用仍十分有限。为此,研究人员开展此项研究,旨在提出一种SAM驱动的提示引导交互式GTV勾画工作流。
**二、研究内容与结论**
本研究提出一种基于微调SAM的提示引导交互式工作流,用于直肠癌新辅助放疗计划CT图像上的GTV分割。该工作流允许医生通过稀疏的边界框提示引导模型完成勾画,仅需在上界和下界切片以及一个中间切片上手动标注边界框,其余切片的提示通过插值自动生成。研究系统评估了四种SAM微调策略、提示数量及放置位置的影响,并验证了工作流对提示变异的稳健性。结论表明,冻结图像编码器可获得最稳定性能;仅3个切片的提示即可达到与全切片提示相当的分割精度;中间切片提示位置对结果无显著影响;所提出的SAM驱动工作流在各项评价指标上均优于五种最先进的端到端深度学习基线模型,且在提示变异下保持稳定,显示出良好的临床应用潜力。
**三、关键技术方法**
研究收集了北京大学肿瘤医院2020至2025年间100例II-III期中低位直肠癌新辅助放疗患者的计划CT影像及勾画结构(训练集60例,测试集40例),所有影像均以匿名化方式获取。采用预测练SAM的ViT-B版本为基础模型,评估四种微调策略(冻结图像编码器、冻结掩码解码器、同时冻结编码器与解码器、全参数训练),并引入低秩适应(Low-Rank Adaptation, LoRA)作为补充策略。边界框提示在训练中采用平面内随机扩展策略,测试时通过切片间线性插值自动生成非提示切片的边界框。模型采用AdamW优化器和BCE-Dice损失函数训练,并与U-Net、DeepLabV3+、nnU-Net、TransUNet和SwinUnet五种基线模型进行比较。
**四、研究结果**
**(1)最佳微调策略**:比较四种微调策略在不同边界框扩展值下的表现,冻结图像编码器策略在DSC和HD95指标上波动最小且保持较高性能(2D DSC:0.88–0.93;3D HD95:2.20–4.83 mm),展现出对提示边距的良好耐受性。全参数训练策略性能较差,可能与小样本数据集上的灾难性遗忘有关。
**(2)提示数量的影响**:比较2、3、5、7及全切片提示配置,3切片提示(3D DSC:0.93 ± 0.02)较2切片明显改善,并与全切片提示结果相当。统计学分析显示3、5、7和全切片提示在除HD95外的指标上无显著差异,表明3个提示即可满足临床精度需求。
**(3)中间切片提示位置的影响**:基于三提示策略比较四种中间切片选择方式(中心切片、最大面积切片、体积中心切片和随机切片),各方式在所有评价指标上结果相似,差异无统计学意义(p > 0.05),说明医生无需精确定位特定中间切片即可获得满意勾画。
**(4)与SOTA模型比较**:所提出的SAM工作流在所有评价指标上均优于最佳基线模型(3D DSC:0.92 vs 0.80;3D HD95:2.73 vs 12.70;IoU:0.86 vs 0.67;灵敏度:91.20% vs 85.98%;精确率:93.65% vs 79.23%)。视觉比较显示SAM勾画轮廓与金标准高度吻合,而基线模型在边界模糊、形态不规则及面积较大等复杂病例中分别出现过度分割和欠分割现象。
**(5)提示变异性分析**:模拟随机中间切片选择和不对成边界框扩展的实验显示,在0–1.0 cm随机扩展范围内工作流取得最佳综合性能(2D DSC:0.92;3D DSC:0.92;IoU:0.85),表明工作流对提示变异具有良好稳健性。
**五、讨论与结论**
既往DL方法在直肠癌GTV分割中报道的DSC为0.71至0.87,而本研究达到0.92,且无需依赖MRI-CT配准,避免了相关配准误差。SAW工作流的优势在于其半自动交互特性,医生通过稀疏提示即可融入临床先验知识。提示插值策略的有效性归因于直肠GTV沿肠壁连续生长的形态特征及其在相邻切片间的渐变特性,同时SAM的边界框提示作为空间线索而非严格边界约束,通过交叉注意力机制与图像特征交互,引导模型关注相关区域。研究为有限样本条件下SAM的自适应微调提供了参考,即冻结图像编码器可在保留预测练视觉表征与控制过拟合风险之间取得平衡。
本研究的局限性包括:单中心小样本、双扫描仪差异、2D分割模型可能存在的层间连续性不足,以及提示扩展距离与真实观察者间变异的一致性尚需进一步验证。未来工作将扩大样本量、开展外部验证,探索SAM2和MedSAM等新型模型,并开发交互式界面以评估多医生变异和实际交互效率。
研究结论:所提出的SAM驱动提示引导交互式工作流仅需3个边界框提示即可实现直肠癌新辅助放疗GTV的准确、稳健勾画,性能优于传统深度学习模型,展现出在实际放疗靶区勾画中应用的潜力和可行性。