基于SAM引导的半监督乳腺病变分割方法：在超声视频中的应用及新数据集的构建

《Expert Systems with Applications》：SAM-Guided Semi-Supervised Breast Lesion Segmentation in Ultrasound Videos with A New Dataset

超声视频分割的半监督方法研究提出基于Segment Anything Model（SAM）的框架，通过空间-时间增强适配器生成可靠伪标签，结合对比学习优化边界检测，显著提升Dice分数1.36%（全监督）和2.66%（半监督）。

　　

陈龙|郑青青|陈莹莹|吕发勤|王琼

中国科学院深圳先进技术研究院，中国

摘要

乳腺超声视频分割在计算机辅助诊断中起着关键作用，但标注数据的稀缺仍然是一个主要挑战。在本文中，我们收集了一个大规模的超声视频数据集，并提出了一种基于Segment Anything Model (SAM)的新颖半监督方法用于乳腺病变分割。我们为SAM设计了一个时空增强适配器，以有效捕捉超声视频的空间和时间动态。该模块有助于为未标注数据生成可靠的伪标签，从而减少了对大量人工标注的需求。此外，我们提出了一种对比学习方法，以改进模型对前景-背景特征的关注度，特别是在边缘区域提高了分割精度。实验结果表明，我们的方法在乳腺超声视频上的分割性能优于完全监督方法，Dice分数提高了1.36%，优于半监督方法提高了2.66%。所提出的框架为减少标注负担提供了实用解决方案，并在乳腺超声分析的临床应用中展示了良好的潜力。代码和数据集将在https://github.com/003GH/SemiBUVS处提供。

引言

超声（US）视频中的自动乳腺病变分割对于动态病变分析和活检计划等临床应用至关重要（Huang, Huang, Luo, Yuan, Li, 2020, Rezaei, 2021）。与静态超声图像相比，视频序列通过时间观察组织动态提供了更丰富的诊断信息（Li et al., 2022）。超声视频中的乳腺病变分割是医学成像领域的一项关键任务，旨在准确识别和勾画超声帧序列中的异常区域（Cao et al., 2020）。与静态超声图像中的分割任务不同，基于视频的分割可以利用相邻帧的时间信息来捕捉组织外观和运动的动态变化。这提供了对病变特征（如形状、边界不规则性和回声性）的更全面理解，从而提高了诊断准确性。然而，仍然存在挑战，包括由于探头移动导致的帧与帧之间的不一致性、低对比度、斑点噪声以及超声成像中固有的边界模糊等问题，如图1所示。

得益于CNN和Transformer架构在医学图像分割中的显著成功（Badrinarayanan, Kendall, Cipolla, 2017, Zhou, Siddiquee, Tajbakhsh, Liang, 2019），已经提出了许多针对超声图像中乳腺病变分割的完全监督方法（Huang et al., 2022）。虽然这些方法在静态超声图像上表现良好，但直接将其扩展到超声视频的单独帧上无法捕捉时间动态，导致连续帧之间的不一致性。最近，一些完全监督的视频分割方法利用帧间关系来提高乳腺超声视频的分割性能（Li, Zheng, Li, Liu, Wang, Sun, Zhu, Fu, Wang, Li, Rao, Huang, Wang, 2023a）。然而，这些方法需要大量的标注超声视频数据（Yang et al., 2025），而这些数据由于放射科医生标注的高成本和高要求而非常稀缺。缺乏足够的标注视频数据最终限制了这些模型在临床环境中的泛化能力和鲁棒性。

半监督方法（Chen, Yuan, Zeng, & Wang, 2021b）有望减少对大量标注数据的依赖。最近的进展改进了半监督乳腺超声分割。（Zhang, Ding, Chen, Wu, & Qin, 2025）探索了结构化的像素关系，（Ding, Chen, Zhang, Wu, & Qin, 2025）研究了跨图像的语义相关性，证明了在有限标注下的鲁棒性提升。这些方法通常依赖于伪标记方案来利用未标注数据。然而，由于特征表示不足，生成的伪标签可能不准确，这可能会传播错误并降低整体模型性能（Liu et al., 2022）。最近开发的Segment Anything Model (SAM)（Kirillov et al., 2023）因其广泛的数据集训练而具有强大的泛化能力，显示出作为零样本分割方法的潜力，并可能作为一种有效的伪标记方案。然而，由于原始SAM是在自然图像上训练的，自然图像和医学图像之间的分布特征差异显著，这使其在医学图像分割中的应用变得复杂（Huang et al., 2024）。当前的研究工作主要集中在通过使用医学数据集微调其参数（Ma et al., 2024）或引入可学习的适配器（Lin, Xiang, Yu, Yan, 2024, Wu, Wang, Hong, Ji, Fu, Xu, Xu, Jin, 2025）来适应SAM用于医学成像。尽管这些适应措施可以改善SAM在有限医学成像数据下的性能，但它们不适合视频分割，因为它们侧重于增强SAM的空间特征，而忽略了关键的时间信息以及缺乏专门用于学习基于视频的信息的适配器。

为了解决上述挑战，我们整理了一个包含少量标注帧级注释和大量未标注乳腺超声视频的综合数据集。我们提出了一种基于教师-学生架构的半监督框架，其中教师网络处理未标注数据以生成SAM的初始提示，然后用于创建伪标签。SAM作为一个指导工具，使框架能够有效地利用更大的未标注数据集。为了进一步提高伪标签的可靠性，我们引入了一个时空增强适配器来微调SAM的参数。此外，采用了一种对比学习方法来更好地区分前景和背景特征，从而提高模型的准确性，特别是在处理模糊边界时。总之，我们的贡献如下：

•

我们提出了一种用于超声视频病变分割的半监督框架。该框架使用自适应的SAM为未标注数据生成伪标签，减少了对大量标注数据集的依赖。据我们所知，这是第一项全面研究超声视频中半监督分割的研究。

•

我们设计了一种轻量级的时空增强适配器，用于微调SAM的参数。这种适应保留了超声序列中的帧间一致性和帧内结构模式，使SAM能够生成更可靠的伪标签，从而在标注数据极少的情况下提高模型的分割性能。

•

我们提出了一种基于视频的对比学习方法，有效地区分前景和背景特征，提高了模型区分这些区域的能力，这对于分割模糊边界特别有益。

•

我们引入了一个新的乳腺结节超声视频数据集，并将我们的方法与完全监督、半监督和基于SAM的分割方法进行了比较。实验结果表明，我们的方法优于现有技术，实现了更优的分割性能。

章节摘录

乳腺超声分割

多种深度学习方法已被应用于乳腺超声图像分割（Chen, Wang, Niu, Liu, Li, Gong, 2021a, Chen, Zhou, Zhang, Yin, Cui, Dai, 2024）。早期方法主要使用基于CNN的模型来捕捉细粒度的空间细节（Gu, Wang, Song, Huang, Aertsen, Deprest, Ourselin, Vercauteren, Zhang, 2020, Wang, Jiang, Luo, Dai, Zhang, 2024）。然而，基于CNN的方法无法捕捉全局上下文（Wang et al., 2019），因此发展出了

概述

我们提出了一种半监督视频分割模型 f(?·?; θ) 来解决超声视频中的乳腺病变分割问题。训练数据集 $D=\{D_L,D_U\}$ 包括一个小的标注子集 $D_L={\left\{(X_i,Y_i)\right\}}_{i=1}^N$ 和一个更大的未标注子集 $D_U={\{\left(X_j\right)j=1M}_{}^{}$，其中 $D_L\cap D_U=?$。每个视频 X_i 或 X_j 包含一系列帧，标记视频 X_i 的真实标签提供为 $Y_i={\{y_i,t\}}_{t=1}^{T_i}$，其中 T_i 表示 X_i 中的总帧数。这里，N 和 M 分别代表样本大小

数据集

虽然现有的公开乳腺超声视频数据集（Li et al., 2024）做出了宝贵贡献，但它们的规模相对较小，且通常来自使用有限成像设备的单一机构。这些限制不可避免地限制了数据的多样性，并可能阻碍模型的泛化能力。为了解决这些限制并进一步提高数据多样性，我们构建了一个新的乳腺超声数据集。

该数据集来源于超声科

层次注意力可视化

为了解释模型的决策过程（Onari et al., 2025），我们在代表性的乳腺超声帧上生成了多层注意力热图，如图5所示。较暖的颜色（红色/黄色）表示较高的响应强度，而较冷的颜色（蓝色）表示较低的激活度。随着网络深度的增加，模型逐渐将其关注点从低级纹理和边缘信息转移到更具语义意义的病变相关区域，展示了

结论

在本文中，为了解决乳腺超声视频数据集的有限可用性问题以及完全监督方法无法利用未标注视频数据的问题，我们收集了一个综合数据集，并提出了一种半监督框架用于乳腺超声视频分割。在SAM的指导下，我们的方法为未标注数据生成了更可靠的伪标签，显著减少了劳动密集型标注的需求。我们引入了一种创新的空间-时间增强适配器

作者贡献声明

陈龙：方法论、软件、原始稿件的撰写。

郑青青：概念化、监督、撰写-审稿与编辑。

陈莹莹：撰写-审稿与编辑、验证、数据管理。

吕发勤：调查、形式分析、数据管理。

王琼：撰写-审稿与编辑、资源协调、项目管理。

未引用的引用

缺少引用表3

利益冲突声明

在准备本工作时，作者使用了ChatGPT 4o来提高语言表达和可读性。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。