基于虚拟免疫组织化学合成与双模态融合的乳腺癌HER2免疫组织化学表达斑块水平分类研究

《Cancer Management and Research》：Virtual IHC Synthesis and Bimodal Fusion for Patch-Level Classification of HER2 IHC Expression in Breast Cancer

　　

**摘要**

**目的**：准确评估人表皮生长因子受体2（human epidermal growth factor receptor 2, HER2）生物标志物在乳腺恶性肿瘤诊断及治疗方案选择中具有关键作用，然而常规免疫组织化学（immunohistochemistry, IHC）检测费用高昂、需要大量人工操作，且不同病理医生之间的诊断结果存在不一致性。为克服上述局限，研究人员提出了一种级联两阶段框架，用于从常规苏木精-伊红（hematoxylin and eosin, H&E）染色图像中实现虚拟HER2 IHC合成及HER2 IHC表达的斑块水平分类。预测目标涵盖四种常规HER2 IHC表达类别：0、1+、2+和3+。

**患者与方法**：所提出的流程包含两个不同阶段。第一阶段，开发了一种渐进式领域知识约束生成模型，通过整合结构和染色感知先验信息，从H&E输入合成虚拟HER2 IHC图像。第二阶段，将生成的虚拟HER2图像与对应的H&E斑块配对，由双模态融合网络结合引导纯化与特征重校准进行联合处理，以实现HER2 IHC表达的斑块水平分类。实验在包含48例患者的回顾性乳腺癌病理数据集上进行，该数据集包含配对的H&E和HER2 IHC全切片图像（whole-slide images, WSIs），以20倍放大倍率数字化扫描，样本来源于2018年1月至2023年12月期间在徐州市中心医院确诊的患者，共产生9,287对配对斑块用于模型训练与测试。

**结果**：所提出的生成框架在竞争方法中取得了最低的Fréchet初始距离（Fréchet inception distance, FID）22.67，表明合成图像具有优越的病理真实性。此外，在四分类斑块水平HER2分类任务中，所提出的双模态框架优于基于H&E的单模态基线，准确率达到67.12%，F1分数为63.63%，曲线下面积（area under the curve, AUC）为84.99%。

**结论**：这些结果表明，虚拟HER2模态提供了超越单纯形态学的补充性HER2定向线索，且所提出的框架有望成为一种从常规H&E图像进行低成本HER2评估的计算工具。

**关键词**：乳腺癌；HER2 IHC表达分类；虚拟免疫组织化学；H&E到IHC转换；双模态融合；数字病理学

**论文解读：基于虚拟HER2免疫组织化学合成与双模态融合的乳腺癌HER2表达分类研究**

**一、研究背景与问题**

乳腺癌是全世界女性中最常见的恶性肿瘤之一。据2025年发表的一项分析报告，2022年全球约有230万新发病例和67万死亡病例，精确的分子分型对于指导临床决策至关重要。在众多分子靶点中，人表皮生长因子受体2（human epidermal growth factor receptor 2, HER2）尤为重要，其扩增驱动肿瘤侵袭性生长，并决定患者是否应接受曲妥珠单抗和帕妥珠单抗等靶向治疗。在临床实践中，病理医生通常通过免疫组织化学（immunohistochemistry, IHC）检测来评估HER2蛋白表达。然而，IHC检测存在实际局限性：消耗额外组织切片、需要专门实验室试剂，并增加诊断流程时间。因此，研究者日益致力于开发能够直接从常规且广泛可用的苏木精-伊红（hematoxylin and eosin, H&E）切片中推断HER2 IHC表达类别的计算模型。

然而，从H&E图像进行HER2 IHC表达的斑块水平分类并非传统的基于形态学的分类问题。H&E染色主要揭示组织结构与细胞形态，而临床HER2评估依据美国临床肿瘤学会/美国病理学家学会（American Society of Clinical Oncology/College of American Pathologists, ASCO/CAP）指南，基于HER2 IHC切片中观察到的膜染色特征，包括染色强度、膜完整性和阳性肿瘤细胞比例。在该评估框架下，HER2 IHC表达被分为0、1+、2+和3+四个等级，且相邻HER2 IHC类别，尤其是1+和2+，即使是经验丰富的病理医生在判读HER2 IHC切片时也难以区分。近年来，新型抗体药物偶联物的出现凸显了HER2低表达乳腺癌（IHC 1+和IHC 2+/ISH-，其中ISH为原位杂交）的关键治疗重要性。因此，准确区分IHC 0、1+和2+在临床上比以往任何时候都更为重要。H&E图像中直接可获取的信息与临床HER2评估所用标准之间的不匹配，意味着可靠的HER2 IHC表达评估要求模型能够推断出仅在H&E形态中被隐式编码的形态-表达对应关系。

现有深度学习方法虽然在虚拟染色方面取得了进展，但仍面临诸多挑战。常规H&E图像不携带直接分子标记，将其映射至HER2表达水平涉及高度非线性关系。此外，几乎所有现有流程都依赖单模态架构：仅使用H&E的模型忽略关键蛋白水平信号，而依赖真实IHC的系统在测试时仍需承担昂贵的染色成本。常见生成网络如Pix2Pix和CycleGAN虽然通用图像转换任务中表现优异，但在HER2染色病理数据上性能不佳，经常产生空间错位的跨模态映射，抹除诊断重要的膜细节，无法可靠区分相似IHC类别，导致斑块水平分类精度较低。

**二、研究目标与方法概述**

针对上述问题，研究人员引入了级联两阶段计算流程，直接从常规H&E切片进行虚拟HER2合成及后续的HER2 IHC表达斑块水平分类。该流程将生成的虚拟HER2图像视为面向任务的辅助模态，用以补充原生H&E形态学信息。第一阶段开发了渐进式领域知识约束生成模型，在真实HER2 IHC监督下合成虚拟HER2图像；第二阶段设计融合分类网络，通过引导纯化与特征重校准联合利用H&E斑块和生成的虚拟HER2图像进行分类。该模型在训练期间学习HER2相关的多模态表征，推理时仅需低成本的H&E切片。

研究数据来源于2018年1月至2023年12月期间徐州市中心医院的48例原发性乳腺癌患者，所有H&E和对应HER2 IHC切片均来自手术切除标本，排除穿刺活检标本。切片经20倍放大数字化为全切片图像。由经验丰富的病理医生进行感兴趣区域（region of interest, ROI）勾画，采用多尺度配准方法实现H&E与HER2 IHC的交叉模态对齐，最终提取9,287对1024×1024像素的配对斑块。数据集按患者级别严格划分，训练集包含36例患者（7,009对斑块），测试集包含12例患者（2,278对斑块），训练与测试队列间基线临床特征无显著差异（P > 0.05）。

**三、关键技术方法**

研究人员采用了以下关键技术方法：（1）渐进式领域知识约束生成模型：利用密度感知结构先验（由Density U-Net从H&E形态预测核密度图）和染色感知代理先验（由Proxy U-Net逼近功能光密度转换），通过多级一致性约束优化生成器，包括对抗损失、重建约束、语义原型对齐、多尺度强度对齐损失、结构调制功能密度约束及DAB空间强度一致性约束。（2）双模态融合分类网络：采用双流ResNet34骨干分别处理H&E与虚拟HER2斑块，各分支应用基于卷积块注意力模块的引导纯化模块进行通道注意力和空间注意力细化，随后经挤压激励（squeeze-and-excitation, SE）融合块整合双模态特征，最终经全局平均池化与多层感知器输出四类预测。（3）患者级别分层抽样与多数投票聚合策略：严格按患者划分数据防止泄漏，测试阶段通过多数投票将斑块预测聚合成患者级别HER2评分。

**四、研究结果**

**1. 配准结果**

为减轻H&E切片与HER2 IHC切片制备过程中引入的物理变形和空间错位，研究人员在模型训练前进行了严格的交叉模态图像配准。配准后的HER2 IHC全切片图像在组织边界、内部纹理方向和诊断相关区域空间位置上与配对H&E全切片图像的对应关系得到显著改善。

**2. 生成结果**

在虚拟HER2染色质量评估中，研究人员将所提出方法与三种代表性基线（Pyramid Pix2Pix、CycleGAN和TDKstain）进行比较。定量结果表明，所提出方法取得了最优的Fréchet初始距离（Fréchet inception distance, FID）22.67，较第二名TDKstain（24.96）提升9.2%，表明生成斑块的深层特征分布最接近真实HER2斑块。峰值信噪比（peak signal-to-noise ratio, PSNR）和结构相似性指数（structural similarity index measure, SSIM）分别为20.71 dB和0.330。

**3. 分类结果**

在斑块水平分类性能比较中，仅基于H&E的单模态模型性能普遍有限，表明细胞形态学单独不足以完全表征HER2表达类别间的细微差异。相比之下，所提出的双模态模型取得了最优的整体斑块水平性能：准确率67.12%，F1分数63.63%，曲线下面积（area under the curve, AUC）84.99%。混淆矩阵分析显示，双模态方法有效减少了类别间混淆，尤其是降低了远距离类别间的误分类。多类别受试者工作特征曲线分析显示，类别0和类别3的AUC分别达到0.8972和0.9005，曲线在所有类别上保持一致性凸性，验证了融合策略在局部HER2 IHC表达分类中的有效性。

**4. 患者水平分类性能**

为评估临床转化潜力，研究人员采用多数投票策略将斑块预测聚合为患者水平HER2 IHC评分，并与病理医生分配的原始评分比较。基于H&E的单模态基线取得66.67%（8/12 WSIs）的全切片级别准确率和64.58%的宏平均F1分数。所提出的双模态融合框架取得83.33%（10/12 WSIs）的总体准确率和79.76%的宏平均F1分数，表现出更优的患者水平一致性。

**五、讨论与结论**

研究人员指出，在虚拟染色合成方面，所提出方法在FID指标上优于现有生成模型，但PSNR和SSIM值相对较低。这一差异归因于相邻病理切片间固有的非刚性变形。由于PSNR和SSIM假设严格的像素级对齐，在真实HER2斑块与H&E输入未完美对齐时会惩罚临床上合理的生成结果。因此，FID在本研究设置中是评估生成HER2斑块病理真实性的更具信息量的指标。

在HER2 IHC表达分类任务中，残余的误预测主要涉及相邻IHC评分类别，且HER2 1+与2+之间的混淆最为显著。鉴于HER2低表达疾病的临床重要性日益凸显，准确区分HER2 1+与2+具有重要治疗意义。双模态方法显著减少了偏离对角线的误分类，证明生成的虚拟模态提供了分离视觉上模糊形态模式所必需的关键HER2定向线索。

临床角度而言，所提出框架有望作为HER2 IHC表达评估的低成本、高通量计算决策支持工具，而非标准IHC或分子检测的替代方案。该方法的局限性包括：单中心研究且队列规模有限、缺乏独立外部验证、回顾性研究无法评估观察者间一致性、仅纳入手术切除标本、不替代ISH/FISH分子检测、全切片聚合规则为探索性启发式方法。未来研究需纳入更大规模的多中心独立队列、前瞻性保留阅片者水平病理评估、纳入穿刺活检标本及更多样化的染色和扫描仪配置，并建立预定义的全切片和患者水平聚合策略。

**结论**：本研究提出了一个级联两阶段框架，用于从常规H&E染色切片直接进行HER2 IHC表达的斑块水平分类。通过整合渐进式领域知识约束和双模态特征融合，该方法合成虚拟HER2图像并将其作为互补模态加以利用，展示了作为HER2 IHC表达评估低成本计算工具的潜力。然而，在临床实施之前，仍需在更大规模多中心队列中进行广泛的外部验证。