一种用于晚期黑色素瘤H&E染色组织学图像中组织和细胞核分割与分类的多阶段自动上下文深度学习框架

《Magnetic Medicine》：A multi-stage auto-context deep learning framework for tissue and nuclei segmentation and classification in H&E-stained histological images of advanced melanoma

　　

黑色素瘤是最致命的皮肤癌类型，其发病率在全球范围内不断上升。通过定位和分类组织与细胞核来分析黑色素瘤的组织学图像，被认为是患者诊断和治疗方案的金标准方法。尽管已提出许多计算机化方法用于自动分析，但大多数方法将基于组织的分析与基于细胞核的分析作为独立任务进行，这可能是次优的。在本研究中，利用PUMA挑战数据集，研究人员提出了一种新颖的多阶段深度学习方法，基于自动上下文（auto-context）概念将组织与细胞核信息统一到一个框架中，用于黑色素瘤组织学图像的分割与分类。研究人员的该方法在PUMA挑战中分别获得第二名和第一名，在赛道1（Track 1）中平均微观骰子组织分数（micro Dice tissue score）为73.40%，在赛道2（Track 2）中总和细胞核F1分数（summed nuclei F1-score）为63.48%。此外，与已知的最先进细胞核分割模型（如HoverNeXt和CellViT++）相比，研究人员的框架分别实现了高达19.19%和9.74%的性能提升。与先进的组织分割模型（如nnU-Net）相比，研究人员的模型性能提升了高达22.5%。通过全面的消融研究以及在外部数据集上的额外评估，研究人员证明了框架各组成部分的有效性以及所提出方法的泛化能力。研究人员的训练和测试实现可在以下网址获取：https://github.com/NimaTorbati/PumaSubmit。

### 研究背景与问题

黑色素瘤是皮肤癌中最具侵袭性的类型，发病率持续上升。病理学家通过苏木精-伊红（H&E）染色组织学图像观察组织和细胞核形态，区分原发性和转移性黑色素瘤，是诊断金标准。然而，人工评估耗时且受观察者间差异影响。现有自动化方法多将组织分割与细胞核分割作为独立任务，忽略了二者在生物学上的关联性，例如肿瘤浸润淋巴细胞（TIL）分析需同时考虑组织背景与核特征。此外，针对晚期黑色素瘤的联合分割-分类研究较少，且多数模型基于私有数据集，缺乏可重复性和泛化性。为此，研究人员利用新发布的PUMA挑战数据集（包含原发性和转移性黑色素瘤图像及专家标注），提出了一种整合组织与细胞核信息的统一深度学习框架，并在《Magnetic Medicine》上发表。

### 研究方法概述

研究人员提出了一种多阶段自动上下文（auto-context）深度学习流水线，包含四个主要阶段：阶段1使用SegFormer-B2（一种基于Transformer的分割模型）分类器判断输入图像为原发性或转移性黑色素瘤；阶段2训练两个独立的SegFormer模型（分别针对原发性和转移性）进行初始组织分割，并集成U-Net（卷积神经网络）提升血管检测能力；阶段3将阶段2的组织分割图作为第四通道输入U-Net++（一种嵌套U-Net）进行细胞核分类，同时利用挑战组织提供的预训练HoVer-NeXt（一种细胞核实例分割模型）生成实例掩膜，通过多数投票法确定类别；阶段4将阶段3的细胞核分割图作为第四通道输入新的SegFormer模型，细化组织分割。训练数据来自PUMA数据集（310张图像，206训练/10验证/94测试），并利用PanopTILs数据集（302张含坏死或肿瘤的图像）进行预训练，外部验证使用MoNuSAC数据集（310张来自肺、前列腺、肾、乳腺癌的图像）。评估指标包括微观骰子分数（micro Dice）（用于组织分割）和总和宏观F1分数（summed macro F1）（用于细胞核检测与分类）。

### 研究结果

#### 4.1 PUMA数据集结果
在PUMA挑战的最终测试集上，研究人员的LSM团队在赛道1（Track 1，3个细胞核类别）中平均成绩（micro Dice与summed macro F1的平均值）为73.40%，排名第二；在赛道2（Track 2，10个细胞核类别）中平均成绩为63.48%，排名第一。与基线模型（nnU-Net+HoVer-NeXt）相比，赛道1和赛道2的均值分别提升约10.96%和20.85%；与H?rst团队（nnU-Net+CellViT++）相比，提升约7.97%和13.21%。在细胞核分割与分类上，赛道2中研究人员的summed macro F1（48.97%）显著高于基线（29.77%），但模型在增加细胞核类别时性能下降明显。在组织分割方面，通过坏死区域后处理（整合阶段1预测），坏死组织的micro Dice从46.69%提升至74.49%。与TIAKong团队相比，研究人员在表皮和血管分割上更优（如血管中54.37% vs. 45.69%）。

#### 4.2 MoNuSAC数据集结果
在MoNuSAC外部数据集上，研究人员将所提出的多阶段自动上下文方法应用于两个基线（TIA-Lab和AmirrezaMahbod）的细胞核实例分割结果。结果显示，除AmirrezaMahbod方法的巨噬细胞类别外，其他类别的微观全景质量分数（micro PQ）和平均全景质量分数（mean PQ）均获得一致提升（如TIA-Lab的平均micro PQ从61.52%升至62.71%），表明融合全局组织信息增强了细胞核分类能力。

#### 4.3 消融研究
通过系统去除关键组件（分类器、分类规则、U-Net分支、阶段4组织细化、集成规则、后处理），消融实验显示：去除分类器（直接使用阶段1输出）导致组织与细胞核分割性能下降；使用完整分类规则（包含表皮检测）微幅提升组织分割；集成U-Net分支改善了血管检测；阶段4细化组织分割使micro Dice从74.91%提升至77.65%；后处理进一步优化了坏死区域分割。

#### 4.4 计算复杂度
多阶段流水线的总推理时间约为16.51秒/张图像（1024×1024像素），是基线模型（如SegFormer的2.84秒）的约5倍，因此更适合非实时应用（如回顾性研究）。

#### 4.5 多阶段模型与单模型范式
所提出的框架采用任务专用模块（如坏死后处理、通道融合），虽未遵循单模型范式，但其性能优于CellViT++等通用方法，且模型权重可用于迁移学习。

#### 4.6 局限性
当前设计高度依赖对黑色素瘤组织学知识的翻译，可能限制其适应其他组织类型。未来需设计更模块化、可整合的规则，降低复杂度。

### 讨论与结论
讨论部分指出，通过将医学知识结构化到模型组件中可提升性能，但需注意泛化性。结论部分翻译如下：在本工作中，研究人员引入了一种新颖的多阶段自动上下文深度学习框架，用于晚期黑色素瘤H&E染色组织学图像中组织与细胞核的分割与分类。通过跨阶段利用上下文信息并集成多个最先进的分割模型，该方法在PUMA挑战中取得优异表现，在赛道1排名第二，在赛道2排名第一。此外，所提出的方法在细胞核分类上优于MoNuSAC挑战的获胜者。这些结果突显了在统一框架内融合组织与细胞核信息的有效性。