AMA-SAM：一种用于高保真组织核分割的对抗性多领域对齐技术（Adversarial Multi-Domain Alignment of Segment Anything Model）
《Medical Image Analysis》：AMA-SAM: Adversarial Multi-Domain Alignment of Segment Anything Model for High-Fidelity Histology Nuclei Segmentation
编辑推荐：
细胞核分割中多域数据融合与高分辨率输出优化方法研究。本文提出AMA-SAM框架，通过条件梯度反转层实现跨域特征对齐，并设计高分辨率解码器解决低分辨率输出问题，有效缓解单数据集过拟合及跨域数据融合中的性能下降问题，在多个公共数据集上验证优于现有方法。
Jiahe Qian|Yaoyu Fang|Jinkui Hao|Bo Zhou
美国伊利诺伊州芝加哥西北大学放射科，邮编60611
摘要
在组织病理学图像中准确分割细胞核对于许多生物医学研究和临床应用至关重要。然而，现有的细胞核分割方法仅考虑单一数据集（即主要领域），而忽略了利用来自不同来源的补充数据（即辅助领域）来减少过拟合并提高性能。尽管结合多个数据集可以缓解过拟合问题，但往往会加剧由于领域差异导致的性能下降。在这项工作中，我们提出了对抗性多领域对齐模型（AMA-SAM），该模型通过两项关键创新扩展了Segment Anything Model（SAM），以克服这些障碍。首先，我们引入了条件梯度反转层（CGRL），这是一种多领域对齐模块，它能够协调来自不同领域的特征，促进领域不变的表示学习，同时保留主要数据集的关键区分特征。其次，我们通过设计高分辨率解码器（HR-Decoder）来解决SAM固有的低分辨率输出问题，该解码器可以直接生成细粒度的分割图，以便在高分辨率组织学图像中捕捉复杂的细胞核边界。重要的是，AMA-SAM是为以主要数据集为目标的多领域设置而设计的，在该设置中，使用异构辅助数据集优化用户指定的主要数据集，同时明确减轻由领域差异引起的负面迁移。我们在几个公开可用的数据集上验证了我们的方法，证明了其相对于现有最先进方法的一致性和显著改进。
引言
细胞核分割是数字病理分析中的关键任务，在疾病诊断、组织学研究和个性化医疗中发挥着核心作用。在组织切片和显微图像中，细胞核的形态、大小和空间分布为评估组织健康状况、识别病理变化和预测疾病进展提供了重要信息。
尽管深度学习和计算机视觉使得基于神经网络的多种组织学细胞核分割方法得以发展（Naylor等人，2018年；Zhou等人，2019b年；Zhou等人，2019a年；Graham等人，2019年；Raza等人，2019年；Koohbanani等人，2020年；Chen等人，2020年；Gong等人，2021年；He等人，2021年；Chen等人，2023a年；Nam等人，2023年；He等人，2023年），但现有方法都是基于单一数据集进行训练的，这使它们容易对该数据集的特定特征产生过拟合。此外，简单融合多个数据集往往会导致性能进一步下降，因为不同数据集之间的成像采集系统、染色协议和组织类型的差异会引起显著的领域差异，当数据被混合时可能会干扰学习过程（Stacke等人，2020年）。因此，开发一个能够有效利用多源数据来提高目标数据集（即主要数据集/领域）性能的强大组织学细胞核分割模型，同时高效利用来自不同来源的补充数据，仍然是一个重大挑战，目前尚未有通用解决方案。
Segment Anything Model（SAM）（Kirillov等人，2023年）在通用图像分割方面取得了重大进展，其强大的架构和大规模预训练使其能够在广泛的自然图像中表现出出色的适应性和准确性。尽管有这些进步，SAM在组织学细胞核分割方面仍存在一些局限性。首先，SAM采用固定的256×256像素输出分辨率，需要通过插值对分割结果进行上采样以匹配详细组织学分析所需的更高分辨率。这一过程可能会模糊细胞核边界，并对下游分析任务产生不利影响，例如准确计算面积或周长，尤其是对于小细胞核。其次，尽管SAM可以在不同数据集上进行微调，但由于图像特征和注释标准的差异导致的领域差异问题仍然存在，这继续影响其在多个数据集上的性能。这些局限性凸显了需要改进的方法，以有效处理高分辨率输入并协调领域差异，从而实现稳健的分割结果。
为了解决这些挑战，我们提出了一个基于SAM的创新框架，称为对抗性多领域对齐模型（AMA-SAM），该框架利用主要数据集和来自不同来源的辅助数据集进行协作训练，以实现主要数据集上的高保真高分辨率组织学细胞核分割。具体来说，我们的贡献包括：(1) 条件梯度反转层（CGRL）下的多领域对齐：我们为SAM引入了一种新的CGRL，以实现有效的对抗性多领域对齐。通过选择性地应用梯度反转，CGRL将辅助领域的特征与主要领域的特征对齐，同时保持主要领域特征的完整性。这种有针对性的对齐使得能够整合辅助数据集中的互补信息，从而显著提高主要数据集上的分割性能。(2) 高分辨率解码器（HR-Decoder）：为了解决SAM的低输出分辨率问题，我们设计了一个HR-Decoder来生成高分辨率的分割结果。通过冻结SAM的原始解码器并加入额外的切片令牌，以及我们的多令牌切片生成器和像素集合模块，我们的方法重建了详细的高分辨率分割，保留了精细的分割边界和结构细节。(3) 全面验证：我们在各种数据集和实验场景中对AMA-SAM进行了严格评估。结果证明了该框架在主要数据集上的卓越分割性能，这是通过有效整合辅助数据集中的互补信息实现的。我们提出的框架结合了创新的领域对齐策略和架构改进，以克服SAM在高分辨率组织学细胞核分割中的关键局限性。
相关研究
相关工作
细胞核分割：早期的细胞核分割方法主要依赖于手工制作的特征和经典的图像处理技术（Yang等人，2006年；Ali和Madabhushi，2012年；Liao等人，2016年）。随着深度学习的发展，已经开发出了多种基于卷积神经网络的组织学细胞核分割方法（Naylor等人，2018年；Zhou等人，2019b年；Zhou等人，2019a年；Graham等人，2019年；Raza等人，2019年；Koohbanani等人，2020年；Chen等人，
方法
我们的模型包括三个关键组成部分：AMA-SAM的整体设计（第3.1节）、CGRL（第3.2节）和HR-Decoder（第3.3节）。我们将在第3.4节提供模型训练过程的详细解释，在第3.5节提供实现细节。数据集、基线和评估指标将在第3.6节介绍。整个过程如图1所示。
主要结果
图2展示了不同方法在各种数据集上的分割结果进行定性比较。在第一个组织学示例中，来自MoNuSeg的肝组织样本中，使用所有可用数据集（即MoNuSeg+TNBC+CryoNuSeg+cpm17）训练的UNet显示出显著的分割错误。与人类注释相比，我们观察到非细胞核区域中有大量的假阳性分割。此外，虽然检测到了真正的阳性细胞核区域，但
讨论
本研究提出了一个名为AMA-SAM的创新框架，用于高精度高分辨率的组织学细胞核分割。它巧妙地整合了多种数据源，以满足对主要数据集进行高分辨率、细粒度分割的需求。该框架包含条件梯度反转层（CGRL），以实现有效的多领域对齐，增强辅助数据集特征与主要数据集特征的对齐，同时保持
结论
本文提出了一种名为AMA-SAM的多数据集训练框架，用于组织学细胞核分割，有效解决了高分辨率成像和多领域数据整合的挑战。我们的方法基于两项关键创新。首先，我们引入了条件梯度反转层（CGRL），它将辅助数据集的特征分布与主要数据集的特征分布对齐。这种有针对性的对齐减轻了领域差异
CRediT作者贡献声明
Jiahe Qian：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，监督，软件，方法论，调查，形式分析，数据管理，概念化。Yaoyu Fang：撰写 – 审稿与编辑。Jinkui Hao：撰写 – 审稿与编辑，撰写 – 原稿，监督，概念化。 Bo Zhou：撰写 – 审稿与编辑，撰写 – 原稿，监督，概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
