基于SAM3教师的优质伪标签生成方法，实现数据集偏移条件下的高效伤口分割

《Displays》：Quality-aware pseudo-labeling with a SAM3 teacher for label-efficient wound segmentation under dataset shift

　　•SAM3引导的伪标签机制提升了标签效率高的伤口分割效果。•基于质量评估的评分机制能够过滤掉在数据集变化情况下不可靠的伪标签。•LoRA适配与提示词集成提高了教师级伪标签的可靠性。•硬过滤与软加权策略有助于实现学生模型的稳定重训练。•实验涵盖了伤口照片及辅助皮肤镜检测基准测试。引言从临床照片中进行慢性伤口分割是实现客观伤口评估、面积测量以及临床工作流程中的长期监测的重要步骤[1]、[2]、[3]。然而在实际操作中，密集的像素级标注既昂贵又耗时。在存在镜面反光、渗出物、遮挡以及皮肤外观不均等复杂情况下，往往需要经过专业培训的临床医生来精确描绘不规则的伤口边界[1]、[2]。现有的公共伤口数据集，如WSNet/WoundSeg、FUSeg和CO2Wounds-V2，在采集设备、照明条件、患者群体以及临床操作规范方面也存在显著差异[4]、[5]、[6]。这些因素使得标签效率高的学习方法以及跨数据集评估成为实际伤口分割面临的重大挑战。当有密集的标注数据时，基于CNN的U-Net变体以及最新的Transformer和Mamba架构等全监督分割方法能够取得优异的性能[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]。但在标签较少的情况下，尤其是当训练数据和评估数据在外观及采集条件上存在差异时，这类方法的性能通常会下降。半监督分割则通过一致性正则化或伪标签机制利用未标注数据，从而为解决这一问题提供了一种可行方案[16]、[17]、[18]、[19]、[20]、[21]、[22]。对于伤口照片而言，伪标签的可靠性并非无关紧要的细节：模糊的边界、较低的对比度以及图像伪影都可能引入确认偏差，进而影响学生模型的学习效果。近年来，可通过简单提示即可发挥作用的分割基础模型展现出了出色的零样本分割能力和迁移能力[23]、[24]、[25]。其中SAM3作为一种优秀的教师模型，能够根据少量提示生成伪掩码[25]。不过，将这类通用型教师模型直接应用于医学图像仍面临诸多挑战。现有研究表明，通常需要对其进行医学领域适配或采用参数效率高的迁移方法，才能提升其在特定领域的适用性和可靠性[26]、[27]、[28]、[29]、[30]。此外，教师模型的输出可能容易受到提示词选择和伪掩码质量的影响，而简单的伪标签机制则可能将系统性错误传递给学生模型。因此，为了在标签较少的数据集情况下准确理解基础模型的指导作用，有必要制定详细的实验流程，包括对重复样本及近似重复样本的严格筛选，同时透明地报告那些存在疑问的源数据与目标数据对。尽管我们的主要研究任务是慢性伤口分割，但我们也纳入了皮肤镜检测数据集作为辅助基准，用于研究在更多外观变化情况下模型的表现，而非将其视为额外的伤口数据集[31]、[32]、[33]、[34]。在本文中，我们提出了一种标签效率高的伤口分割教师-学生框架。该框架以SAM3作为可控的伪标签生成器，以nnUNetV2中的Swin-UMamba作为学生分割器[15]、[25]。具体的SAM3模型版本、代码来源、提示词接口以及可复现性情况将在4.1节中详细说明。为提高伤口照片上伪标签的可靠性，我们采用了参数效率高的LoRA技术对SAM3教师模型进行适配，并通过多提示词集成方法降低提示词对结果的敏感度[28]。此外，我们还提出了一种基于质量评估的伪标签机制，该机制通过多提示词稳定性、形态合理性以及教师模型与学生模型之间的匹配度来评估每个融合后的伪标签。由此得出的质量分数可作为学生在重训练过程中进行硬过滤或软加权的依据。该框架并未假设所有教师模型的输出都具有相同的可信度，而是在使用生成的掩码作为监督信号之前先对伪标签的质量进行评估。图1展示了本研究所分析的四个数据集中的典型示例。这些伤口照片及皮肤镜图像在采集条件、目标物体外观以及边界清晰度等方面存在较大差异，这也就凸显出建立一种具有明确跨数据集相似性筛选机制以及残差相关性分析功能的标签效率高的评估体系的重要性[4]、[6]、[31]、[32]。本文的主要贡献如下：•我们建立了一套规范的固定折叠次数为0、种子数为0的实验流程，用于实现标签效率高的伤口分割，该流程涵盖了10%/25%/100%的不同标签分配比例，还包含了针对单个病例的自助分析方法，以及严格的跨数据集重复样本或近似重复样本筛选机制。•我们开发了一种基于SAM3的伪标签生成流程，该流程结合了参数效率高的教师模型适配技术与多提示词集成方法，从而提升了伤口照片上伪标签的稳定性。•我们提出了一种基于质量评估的伪标签机制，该机制通过稳定性、形态合理性以及教师模型与学生模型之间的匹配度来对融合后的伪标签进行评分，并将这些评分结果用于学生在重训练过程中的硬过滤或软加权操作。本文的其余结构如下：第2节回顾相关研究，第3节介绍所提出的方法，第4节阐述实验设置与结果，第5节讨论主要发现与局限性，第6节对全文进行总结。相关研究本节回顾了与本研究最为相关的先前研究成果，涵盖伤口分割与跨数据集评估、医学图像分割核心模型、标签效率高的教师-学生学习方法、可被提示引导的基础模型，以及具备可靠性意识的参数高效适配技术。概述我们采用一种教师-学生框架来实现标签效率高的慢性伤口分割，该框架整合了强大的医学图像分割核心模型、可被提示引导的伪标签生成机制以及具备可靠性意识的伪监督机制[8]、[15]、[25]、[28]。设x∈X?RH×W×3表示一张RGB格式的图像，y∈Y?{0,1}H×W则表示对应的二值前景掩码。对于给定的数据集，我们假设有一个已标注的数据集Dl={(xi,yi)}i=1Nl，以及一个未标注的数据集Du={xj}j=1Nu，通常情况下Nl的数量远小于Nu。实验设置我们在统一的实验流程下对所提出的框架进行评估，该流程涵盖了数据集选择、标签分配比例、实现细节、跨数据集筛选方法以及评估指标。除非另有说明，所有对比方法均采用相同的预处理流程、学生模型核心结构、数据分割方式以及评估代码。讨论实验结果表明，只要能够有效控制伪标签的可靠性，伪监督机制就能提升标签较少的伤口分割效果。这一结论具有重要的实际意义，因为相比密集的像素级标注，未标注的伤口照片往往更容易获取；而简单的伪标签机制在面对不同的采集条件、目标物体外观以及边界特征时，却可能加剧错误的发生[3]、[4]、[5]、[6]、[16]、[18]、[46]。从这个角度来看，我们所提出的方法应该能够有效解决这一问题。结论在本文中，我们研究了标签效率高的伤口分割方法，并提出了一种基于SAM3教师模型与Swin-UMamba学生模型的、具备质量评估功能的伪标签机制[15]、[25]。该方法解决了伤口图像分析中的一个实际难题：密集的标注成本高昂，而当不同数据集中的图像外观、采集条件以及边界特征存在差异时，简单的伪标签机制可能会变得不可靠[4]、[5]、[6]、[46]。该框架由三个部分组成。首先，利益冲突声明作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：黄睿表示获得了国家自然科学基金的资金支持；黄睿还表示得到了中央高校基本科研业务费的支持；黄睿还提及获得了上海市自然科学的资助；黄睿同时说明得到了上海重点项目的经费支持。致谢本项工作得到了以下机构的支持：中国国家自然科学基金项目编号62322114、中国中央高校基本科研业务费项目编号YG2023LC06、中国上海市自然科学基金项目编号20ZR1413800，以及上海关键实验室开放项目编号STCSM 22DZ2229005。所有列出的作者均已审阅并同意发表本篇论文。黄睿|任天|周正兵|鲍启晨|陈志坚|刘建南|韩静|何建华|楚晓丽