基于对比学习与最优传输的全局-局部信息融合，用于弱配对H&E到IHC染色迁移

《Information Fusion》：Global-Local Information Fusion via Contrastive Learning and Optimal Transport for Weakly Paired H&E-to-IHC Stain Transfer

　　

**一项用于弱配对H&E转IHC染色迁移的全局-局部融合框架**

**一个基于最优传输的模块确保形态学和解剖病理学保真度**

**结合基础模型的对比学习增强全局切片一致性**

**在六个数据集上的广泛测试显示其具备卓越的质量与生物学完整性**

## 引言

组织染色已被广泛应用于病理学和生物医学研究，通过色染或荧光标记实现对组织和细胞结构的显微评估 [1]。苏木精-伊红（H&E）染色仍是组织病理学评估的核心基础，主要归功于其在揭示组织形态和结构背景方面的高效性 [2]。然而，它本身缺乏分子特异性，在一些需要蛋白标记物或多重分析谱的复杂诊断场景中可能并不充分。作为互补，免疫组化（IHC）染色能够实现蛋白生物标志物的空间分布和定位，为肿瘤亚型分类、预后评估和治疗决策提供了不可或缺的信息 [3]。

在临床工作流程中，获取配对的H&E和IHC图像通常涉及对相邻组织切片分别使用不同抗体进行染色。这一过程劳动密集且消耗大量珍贵的组织样本 [4]。在某些情况下，组织样本不足会导致无法获取所有期望的染色类型。此外，由于连续切片之间固有的形态学差异，通常会出现空间错位，这增加了联合分析的复杂性并限制了多重IHC研究的有效性。例如，图1展示了跨数据集的代表性H&E及其对应的IHC图像，具有不同的配准水平，突出了相邻组织切片之间不同程度的空间对齐情况。这些挑战促使了计算病理学中虚拟染色方法的需求，其旨在重现目标免疫染色的外观，同时保持原始H&E组织的形态学保真度 [5]。

随着生成式人工智能的最新进展，生成对抗网络（GANs）已作为传统染色方案的有前景的替代方案出现，能够实现将H&E图像翻译为类IHC表示 [6], [7], [8], [9], [10]。现有的基于GAN的虚拟染色方法大致可分为两类：无监督方法和全监督方法。无监督方法，如CycleGAN [11]和CUT [12]，在不需要配对训练数据的情况下运行。这些模型通常采用对抗损失来捕获目标染色的风格分布，并纳入额外约束，如循环一致性损失或对比学习损失，以强制保持源图像的结构。然而，在缺乏显式像素级监督的情况下，这些方法通常难以保留细粒度的病理细节，这可能损害生成图像的生物学保真度和诊断可靠性 [13]。相比之下，全监督方法，如Pix2Pix [14]，利用精确对齐的H&E和IHC图像对，在生成图像与真实图像之间实现逐像素损失优化。尽管这种设置便于准确的视觉翻译，但对空间对齐图像对的要求构成了重大挑战，因为相邻组织切片之间不可避免地存在形态学不一致性和空间错位。因此，此类监督可能导致次优的训练效果，并在生成图像中引入伪影 [15]。

最近的基于GAN的最先进方法，包括ASP [7]、PSPStain [8]和SIM-GAN [16]，试图通过对齐无关的对比学习、蛋白感知的语义约束和基于最优传输的相似性建模来减轻与弱配准相关的挑战。尽管在改善H&E和IHC图像之间的局部对应关系方面效果显著，但这些方法从根本上运作于孤立的斑块级或实例级优化范式内，其中监督信号是独立为单个斑块或小批量构建的。此类公式本质上缺乏宏观病理学感知，未能明确建模WSI级别的全局组织结构。因此，尽管可能保持了局部纹理保真度，但当应用于大面积组织区域时，生成的虚拟染色可能表现出区域性颜色不一致、拼接伪影以及切片级别病理学连贯性的降低。

尽管相邻H&E和IHC切片之间存在空间错位，弱配对的组织样本仍然保留了极具价值的病理学对应关系，如染色分布、生物标志物表达模式和组织架构先验知识。现有方法主要利用这些弱监督信号来促进局部特征对齐，但很大程度上忽略了微观语义对应关系与宏观病理学一致性的整合。这些局限性凸显了对一种新虚拟染色框架的需求，该框架应超越现有的基于局部对应关系的框架，联合建模细粒度的跨模态对齐与WSI级别的病理学连贯性。

在本文中，我们将弱配对虚拟染色表述为一个跨尺度病理学建模问题，并提出PCSC-StainNet——一个联合捕获微观跨模态对应关系和宏观病理学上下文的新型框架。与仅在斑块级优化染色翻译的现有方法不同，PCSC-StainNet明确引入了跨尺度病理学约束，以桥接细粒度的语义对齐和WSI级别的组织连贯性。具体来说，我们首先引入了一个基于最优传输的斑块信息一致性（OTPIC）模块，该模块在潜在空间中建立细粒度的跨模态对应关系，以缓解结构错位，同时在斑块级别保留形态学结构和风格保真度。为进一步解决传统逐斑块翻译框架的全局上下文建模不足问题，我们提出了一个WSI引导一致性（WGC）模块，该模块利用从病理学基础模型中提取的切片级别表示来为局部染色合成施加全局病理学先验知识。此外，还引入了一种WSI感知的对比学习策略，以保持切片间的病理学区分度并提高大面积组织区域的区域性一致性。通过局部和全局病理学约束的联合优化，PCSC-StainNet在多个空间尺度上产生结构一致且病理学连贯的虚拟染色。我们的主要贡献总结如下：

- **我们将弱配对虚拟染色重新表述为一个跨尺度病理学建模问题，并提出PCSC-StainNet**，一个联合建模微观跨尺度对应关系和宏观WSI级别病理学连贯性的统一框架。通过整合局部和全局病理学约束，该框架桥接了细粒度的形态学保真度与大规模组织组织。

- **为解决弱配对相邻切片固有的结构不一致性和语义错位问题，我们提出了OTPIC模块**，该模块通过最优传输理论在潜在特征空间中建立细粒度的跨模态对应关系。该模块在虚拟染色翻译过程中显式强制微级别的形态学和病理学一致性。

- **为克服现有逐斑块虚拟染色框架缺乏全局病理学感知的问题，我们引入了WGC模块**，该模块利用从病理学基础模型派生的切片级别表示为局部染色合成施加宏观级别病理学约束。结合WSI感知的对比学习策略，该模块在保留切片间病理学区分度的同时抑制区域性不一致和拼接伪影。

- **我们建立了一套全面的整张切片虚拟染色评估协议**，超越了传统的以斑块为中心的评估方式。在六个基准数据集和下游临床分析上的广泛实验证明了PCSC-StainNet在合成质量、病理学一致性和切片级别一致性方面的有效性。

本文其余部分安排如下。第2节综述了图像到图像翻译和虚拟IHC染色方面的相关工作。第3节详细介绍了所提出的方法。第4节描述了数据集、评估设置和实验结果，随后在第5节进行讨论。结论在第6节中呈现。

## 章节摘录

### 图像到图像翻译

在计算机视觉中，在跨域翻译图像的同时保留其基本内容一直是核心目标。当有配对样本可用时，如Pix2Pix这样的监督框架提供了一种直接解决方案，通过结合条件对抗训练和重建损失来确保对目标域的保真度 [14]。然而，在许多实际场景中，获取对齐的图像对是具有挑战性的或代价高昂的。为此，CycleGAN……

### 方法

我们将弱配对虚拟染色重新表述为一个跨尺度病理学一致性学习问题，其目标在于联合建模细粒度的跨模态对应关系和切片级别的病理学连贯性。具体来说，所提出的框架力求在弱配对H&E和IHC图像之间建立准确的语义对应关系，尽管存在局部结构错位，同时在整个WSI中保持全局组织结构和病理学上下文。基于这一……

### 实验与结果

在本节中，我们对所提出的PCSC-StainNet进行了全面评估。我们首先介绍实验数据集和评估指标。然后报告了与最先进方法在多个数据集上的定量和定性比较。随后，我们进行了消融研究以分析每个关键组件的贡献。最后，我们进行了WSI级别的评估，以验证所生成虚拟IHC切片的整体染色真实性和结构连贯性。

### 主要发现总结

在本研究中，我们提出了PCSC-StainNet，一个将虚拟染色重新表述为跨尺度病理学一致性学习问题的框架。与其说是简单地整合独立模块，我们的方法超越了现有的以斑块为中心的优化范式，通过联合建模细粒度的形态学保真度和宏观WSI级别的连贯性。这明确地缓解了传统基于局部对应关系框架的上下文局限性。我们的发现验证了……

## 结论

在本工作中，我们提出了PCSC-StainNet，一个新型的虚拟IHC染色框架，该框架整合了斑块级别和WSI级别的病理学信息，以生成更加真实和准确的染色。所提出的OTPIC模块增强了局部级别的语义对齐并保留了形态学保真度，而WGC模块则整合了来自基础模型的高层病理学先验知识，并应用对比学习来强制全局连贯性和切片间区分度。

## CRediT作者贡献声明

**周威威**：撰写——初稿，可视化，验证，方法学。**周东东**：调查，概念化。**张琪彬**：可视化，形式分析。**臧攀**：数据整理。**江贵阳**：数据整理。**丛锋宇**：概念化。**梁超**：撰写——审阅与编辑。**李硕**：撰写——审阅与编辑。**陆程**：撰写——审阅与编辑。**徐鸿明**：撰写——审阅与编辑，监督指导。

## 利益冲突声明

作者声明他们不存在已知的竞争经济利益或个人关系，这些关系可能已经影响到本论文所报告的工作。

**周威威 | 周东东 | 张琪彬 | 臧攀 | 江贵阳 | 丛锋宇 | 梁超 | 李硕 | 陆程 | 徐鸿明**