SEED：融合语义与边界的统一ROI分割内窥镜双编码器框架

《Neurocomputing》：SEED: A semantic endoscopic encoder duo for unified ROI segmentation

　　

SEED：一种用于统一感兴趣区（ROI, region of interest）分割的语义内窥镜双编码器框架。SEED框架将语义与边界结合，以实现准确的内窥镜分割（endoscopic segmentation）。SG-MSA（Structure-Guided Multi-Scale Adapter，结构引导多尺度适配器）模块锐化内窥镜图像中模糊的解剖边界。Dense glue layer（密集胶合层）融合双编码器，以改善病变-背景判别。Endo-MultiSeg数据集促进跨四种模态（modalities）的统一ROI分割。

论文解读

研究背景与问题：内窥镜图像分割（endoscopic image segmentation）是计算机辅助诊断中的基础任务，旨在准确勾勒息肉（polyps）、器械（instruments）等目标区域，为病灶表征和手术导航等后续高层分析提供可靠输入。然而，内窥镜场景固有低对比度、镜面反射以及蠕动或器械交互引起的组织变形，导致边界模糊；不规则组织结构又使对象级语义解释复杂。当分割目标跨多类别，如病理病变与正常解剖结构时，类间外观相似和边界特征差异交织，使多类别ROI分割困难。传统方法多依赖U-Net及其变体，面向单一分割目标，迁移到新病变类型或不同解剖结构时性能下降。SAM（Segment Anything Model，分割一切模型）基础模型虽具跨模态泛化潜力，如MedSAM、SAM-Med2D、MedicoSAM，但继承自然图像预训练的ViT（Vision Transformer，视觉Transformer）编码器，难以捕捉低对比度内窥镜场景中细粒度边界；现有内窥镜数据集碎片化，无公开数据集同时覆盖多样目标，阻碍统一多类别ROI分割。因此，研究人员提出SEED和Endo-MultiSeg。

研究内容与结论意义：研究人员提出SEED，一种面向统一内窥镜ROI分割的不对称双编码器框架。SEED保留来自SAM2的可训练Hiera编码器作为分层空间骨干，并采用冻结DINOv3编码器作为外部语义先验。SG-MSA通过跨层结构引导细化模糊边界，Dense Glue Layer传递互补语义以改善目标-背景判别。研究人员还构建Endo-MultiSeg，大规模像素级标注基准，统一七种解剖结构，包括腹壁、肝、胃肠道、结缔组织、胆囊管、胆囊、肝韧带，以及息肉和支气管异常等病理病变，跨四种模态。结论表明，在Endo-MultiSeg、Kvasir-SEG和CholecSeg8k上，SEED在所评估方法中取得最佳总体性能，在CholecSeg8k等复杂手术基准上增益显著。其意义在于为内窥镜统一多类别ROI分割提供兼顾边界细化与对象级语义引导的框架，并提供广泛数据集资源。

关键技术方法：SEED采用不对称双编码器：可训练Hiera编码器来自SAM2 Hiera-L，初始化自sam2_hiera_large.pt，提取三级多尺度特征；冻结DINOv3 ViT-B/16语义编码器将输入归一化并调整至224×224，产生784个patch token、768通道，重塑为密集语义特征。SG-MSA以深层特征引导浅层特征，包含空间门控、通道注意力和MSCA（Multi-Scale Convolution Adapter，多尺度卷积适配器），零初始化保持预训练稳定。Dense Glue Layer对齐并拼接融合DINOv3语义与Hiera特征，保留深层图像嵌入供掩码解码器。掩码解码器可训练，结合由真值掩码生成并扰动0—20像素的边界框提示。样本队列来源：Endo-MultiSeg含26,674图像，四种模态；另用Kvasir-SEG、CholecSeg8k和ACDC心脏MRI（150例患者）。

研究结果

实验设置：研究人员在Endo-MultiSeg与公开基准Kvasir-SEG、CholecSeg8k上评估；Endo-MultiSeg按每种模态约70%/20%/10%分层划分；公开数据集采用直接迁移；边界框提示由真值掩码生成并扰动；评价Dice、IoU（Intersection over Union，交并比）、S-measure、MAE（Mean Absolute Error，平均绝对误差）、BF-score（Boundary F-score，边界F分数）、HD₉₅（95th-percentile Hausdorff distance，第95百分位Hausdorff距离）及复杂度；对比nnU-Netv2、TransUNet、SAM、SAM2、SAM-Med2D、MedSAM、MedicoSAM、SAM2-UNet等。

对比与结果：在Endo-MultiSeg数据集上的结果中，SEED在六项指标上最佳，Dice为0.9510，IoU为0.9120；相较SAM2，Dice和IoU分别提高1.04和1.63个百分点，BF-score提高2.18个百分点，HD₉₅降低4.54像素。Wilcoxon符号秩检验与bootstrap重采样表明增益显著。计算复杂度方面，SEED参数303.44 M，FLOPs 1855.17 G，GPU内存2.21 GiB，推理时间91.60 ms/image，FPS 10.92；相对SAM2参数增加39.9%，GPU内存增加44.4%，但推理延迟低11.1%，吞吐高12.5%。

Endo-MultiSeg数据集上的定性分析：SEED在解剖结构和病理病变样例中边界更清晰，假阳性更少；在病灶-背景视觉相似、小目标、器械遮挡和模糊边界等挑战中，边界泄漏、轮廓碎裂和目标遗漏少于竞争方法。

公开数据集上的结果：在Kvasir-SEG上，SEED Dice为0.9786，IoU为0.9583，优于SegFormer-B3和SAM2；在CholecSeg8k上，SEED Dice为0.9562，IoU为0.9273，较SAM2分别提高1.11和1.55个百分点，MAE为0.0051。公开数据集定性分析显示，SEED在Kvasir-SEG和CholecSeg8k上均产生更锐利边界和更完整覆盖。

消融研究：无两模块基线为对照；仅加SG-MSA使BF-score提高1.77个百分点，HD₉₅降低3.93像素；仅加语义分支使Dice提高0.73个百分点；二者组合在所有六项指标上优于单组件变体，Dice达0.9510。

SG-MSA的作用：加入SG-MSA提高Dice、IoU和S-measure并降低MAE。内部消融中，完整SG-MSA最佳；移除空间门控、通道注意力或MSCA均降低重叠和结构指标；拼接式多级融合优于逐元素加法和单级融合。

语义分支的作用：在SG-MSA基础上加入语义编码器和Dense Glue Layer进一步改善六项指标；仅语义配置也优于基线。语义编码器比较中，冻结DINOv3总体最佳；CLIP和SAM图像编码器未超过仅SG-MSA配置；随机对照和DINOv2结果相近，但DINOv3额外增益支持其预训练语义表示；LoRA与冻结DINOv3相当，因此保留冻结编码器。

内窥镜之外的跨域评估：在ACDC心脏MRI上，SEED在无MRI预训练方法中总体表现最强，Myo Dice最高，Mean Dice为0.9432，较SAM2提高三类Dice和Mean Dice；各指标标准差不超过0.0010。

局限与未来工作：SEED在强镜面高光、深阴影、高度非均匀照明、局部过曝和边界不清同时出现时，仍可能出现局部轮廓不完美或边界段不完整；冻结DINOv3增加参数和内存，可能限制资源受限设备部署。未来工作包括提高照明变化和成像伪影鲁棒性的表示学习、不确定性引导边界细化、语义特征蒸馏、轻量语义编码器、特征复用以及时序信息建模。

结论部分翻译：本文提出SEED，一种双编码器框架，统一边界感知特征细化与外部语义引导，用于内窥镜ROI分割。通过Dense Glue Layer将可训练Hiera编码器与语义编码器耦合，并为架构配备SG-MSA以进行跨层边界细化，SEED应对内窥镜图像中的两个核心挑战：边界模糊和目标级语义缺失。研究人员还引入Endo-MultiSeg，一个跨越四种模态和多个解剖与病理类别的大规模数据集。大量实验表明，在Endo-MultiSeg、Kvasir-SEG和CholecSeg8k上，SEED在所评估方法中取得最佳总体性能，在CholecSeg8k等复杂手术基准上增益尤为显著。作者贡献声明涉及Dongjin Huang、Yongzhen Zhu、Wen Tang和Jinhua Liu。