Xstainer：一种基于先进深度学习技术的新型虚拟染色工具

《Advanced Intelligent Systems》：Xstainer: A Novel Virtual Staining Tool Powered by Advanced Deep Learning Techniques

　　摘要

传统上，组织病理学分析依赖于苏木精和伊红（H&E）染色。然而，全面的鉴别诊断通常需要额外的组织化学染色，这会增加诊断时间和成本。为了解决这些限制，我们推出了Xstainer，这是一种基于先进深度学习技术的新型虚拟染色工具。该系统能够将传统的H&E染色图像转换为多种组织化学可视化图像，标志着诊断组织病理学的一个重要进展。为了验证Xstainer的有效性，我们进行了一项涉及经验丰富的肾病学家的评估研究。使用OmniST数据集（一个精心策划的包含1,646张全切片图像的集合，代表了不同的患者样本，包括肾移植样本、肝脏切片、非恶性肾病以及幽门螺杆菌胃炎），并结合了标准染色方法（如Masson三色染色、Periodic Acid-Schiff染色、Jones甲胺银染色和Toluidine蓝染色），我们的工具接受了严格的临床评估。我们的虚拟染色切片使得经过认证的经验丰富的肾病学家能够达到与传统染色技术相当甚至更优的诊断准确性。Xstainer在各项评估基准测试中均表现优异，包括斑块级视觉图灵测试和切片级染色质量评估，并在Fréchet初始化距离比较中显示出良好的性能，进一步凸显了其变革潜力。总之，Xstainer为快速准确的组织病理学诊断提供了一种有前景的解决方案，具有显著的临床潜力。

1. 引言

组织切片的组织学评估在疾病诊断中至关重要，尤其是在可以进行组织采样时。苏木精和伊红（H&E）染色是这类评估的金标准，可提供关于组织结构和细胞形态的重要信息[1, 2]。在常规组织病理学中，H&E染色因其简单性、成本效益以及能够提供高对比度的细胞核（蓝色）和细胞外基质/细胞质（粉红色）可视化而得到广泛使用[3-5]。然而，仅凭H&E染色可能不足以区分各种组织成分和对于准确诊断至关重要的特定细胞结构[6]。因此，经常使用一系列其他组织化学染色方法，称为“特殊染色”，以识别特定的组织特征并支持或确认H&E染色初步评估的结果[7-9]（表S1）。在肾脏病理学中，特别是在诊断移植排斥反应时，病理学家依赖各种组织化学染色方法来评估对诊断至关重要的组织特征。例如，Masson三色染色（MT）可以通过将其染成蓝色或绿色来有效显示胶原蛋白，而肌肉纤维呈现为红色，细胞质呈现为粉红色。这种着色有助于评估纤维化和细胞外基质疾病，从而精确识别细胞核、肌肉纤维、细胞质和胶原蛋白[10, 11]。MT还用于突出显示结缔组织、肾小管细胞和基底膜，这些都是肾脏病理学中相关的。同样，Periodic Acid-Schiff（PAS）染色可以突出显示富含碳水化合物的结构，包括肾小球基底膜和肾小管结构，有助于识别肾小球疾病和糖尿病肾病[12]。它特别适用于突出显示特定成分，包括结缔组织、肾小管、肠刷缘、糖萼、黏液、基底膜和结缔组织的网状纤维[10]。Jones甲胺银（JMS）染色通过氧化碳水化合物成分将基底膜染成黑色[13]，常用于肾活检中评估肾小球和肾小管基底膜[14, 15]。Toluidine蓝（TB）染色增强了DNA和RNA富集结构的可视化[16]，有助于识别肥大细胞、黏蛋白和其他细胞成分，并对诊断发育不良、癌变以及其他与肾脏病理学相关的状况很有价值[17, 18]。尽管这些特殊染色方法具有诊断价值，但它们资源密集，需要严格的质量控制、专业知识和较长的处理时间。这些因素导致了成本增加和工作负担加重，尤其是在大型医疗系统中[19]。此外，当病理学家在初步H&E检查后要求进行特殊染色时，必须重复整个切片制备过程，包括额外的切割和染色，从而导致额外费用并延长诊断时间。这种诊断延迟对患者来说往往具有挑战性，尤其是在需要及时诊断的情况下。不同中心之间的染色协议差异以及临床医生之间的解读差异进一步复杂化了组织病理学诊断的标准化。人工智能（AI）的最新进展，特别是深度学习技术，为虚拟组织化学染色引入了有前景的替代方案，彻底改变了计算病理学领域。一种值得注意的方法是使用生成对抗网络（GANs）进行虚拟染色，它能够生成准确复制目标染色特征的人工染色组织图像[20]。已有研究展示了基于AI的将H&E转换为MT、JMS、PAS、PHH3和FAP-CK等染色的方法[19, 21, 22]。然而，这些研究是在有限的组织和染色上进行的，有些研究仅在斑块级别进行，而不是涵盖整个全切片图像（WSI）。此外，这些方法基于早期生成的Cycle-Consistent Adversarial Network[23]。Zhao等人[24]指出，未配对的模型在遇到形状变化、从图像中提取对象或忽略不重要的纹理时在训练过程中会面临挑战。与此相关，Yang等人[25]发现CycleGAN模型表现出怀疑态度，并倾向于在结果图像中引入多余的修改。此外，一些研究，如使用配对的H&E和免疫组化（IHC）图像进行HER2表达分析，仅限于单一生物标志物，而其他研究则局限于单一组织类型，这限制了它们的通用性和在更广泛病理工作流程中的适用性[26, 27]。为了克服先前模型的局限性，Xstainer引入了两项关键创新。首先，它采用了一种新颖的自正则化损失函数，提高了全切片图像（WSI）的水平完整性和一致性。其次，它在ResNet-9生成器架构中集成了混合空间注意力模块，有效减少了早期基于CycleGAN的模型中常见的冗余修改。图1展示了Xstainer的工作流程，包括数据集构建、模型训练和全切片虚拟染色。图1

2. 结果

我们通过使用多种组织-染色组合（图2）并将Xstainer应用于来自不同中心的WSI（图3）来展示该工具的多功能性。图4展示了MT、PAS和JMS染色的虚拟斑块以及从H&E染色的肾组织中得到的相应WSI。我们的虚拟MT染色准确地再现了细胞外结缔组织，其蓝色着色证明了这一点，模仿了传统组织化学方法的结果。该方法有效地捕捉了结缔组织的密度变化，在密度较高的区域产生了更深的色调。虚拟PAS染色成功突出了基底膜，并强调了它们在肾小球中的积聚。此外，我们的JMS染色方法选择性地染色了肾小管和肾小球之间的网状纤维，清晰地显示了肾小球毛细血管网络。这些结果无可辩驳地证明了我们基于AI的方法在生成跨不同环境的虚拟染色图像方面的有效性，突显了其在诊断应用和检测特定病理特征方面的潜力。图2

2.1 定量结果

2.1.1 Fréchet初始化距离结果

图5展示了使用FID分数对Xstainer与基线方法（CUT和FastCUT）在不同组织-染色组合上的定量比较。为了评估Xstainer的虚拟染色效果，我们使用了FID指标，该指标量化了真实图像和虚拟染色图像分布之间的距离。我们将Xstainer与两种常用的基线方法CUT和FastCUT进行了比较，这两种方法常用于非配对图像到图像的转换任务[28]。虽然CUT侧重于结构细节，FastCUT侧重于效率，但两者在保持全局一致性和细粒度准确性方面都有局限性。Xstainer、CUT和FastCUT的FID分数是在几种组织类型和染色方法上计算的，包括肾组织（MT、PAS、JMS）、肝组织（MT、PAS）和胃组织（TB）。对于用MT染色的肾组织，Xstainer的最终FID分数为56.19，显著低于CUT的72.34和FastCUT的78.19，表明它能够生成高质量的虚拟染色。在其他染色和组织类型上也观察到了类似的趋势，包括肾和肝样本中的PAS和JMS。例如，Xstainer对PAS染色的肾组织的FID分数为48.99，优于CUT（61.45）和FastCUT（64.45）；对于JMS染色的肾组织，Xstainer的分数为55.22，远低于CUT（70.12）和FastCUT（73.11）。较低的FID分数表明与真实图像的相似度更高，这些发现突显了Xstainer模型在实现高保真度虚拟染色方面的有效性，超过了通用风格转换模型。图5

2.1.2 定性结果

图6展示了用于切片级染色质量评估（SSQA）、斑块级视觉图灵测试（VTT）和读者研究的实验设计。图7总结了定性评估结果，包括读者研究结果（图7A）、斑块级VTT（图7B）和切片级SSQA分数（图7C）。图6图7：在PowerPoint的图查看器中打开

定性结果。(A) 条形图比较了三问题阅读研究中第一阶段（虚拟图像）和第二阶段（真实图像）对肾移植排斥诊断的正确诊断情况。(B) 病理学家在视觉图灵测试（VTT）中评估区分真实图像和虚拟图像的能力。(C) 使用1-4的评分标准（1=不可接受，2=可接受，3=非常好，4=完美）计算了病理学家对虚拟MT、PAS和JMS WSI特征的评估平均值和标准差，这些评估是在SSQA中进行的。

2.1.3 补丁级视觉图灵测试
VTT结果揭示了病理学家在区分真实和虚拟染色补丁方面的能力存在显著趋势。如图7B所示，与被正确识别为真实的图像相比，有更高比例的虚拟图像被错误地分类为真实图像。对于MT染色，27.5%的虚拟图像被分类为真实图像，而只有22.5%的真实图像被正确识别为真实图像。同样，对于PAS染色，26.5%的虚拟图像被错误地分类为真实图像，而23.5%的真实图像被正确识别。然而，对于JMS染色，结果略有不同：24.6%的虚拟图像被分类为真实图像，25.3%的真实图像被正确识别为真实图像。总之，这些结果表明病理学家在一致区分真实图像和虚拟图像方面的能力有限，尤其是在PAS和MT方面，这突显了虚拟染色补丁的真实感。

2.1.4 幻灯片级染色质量评估
图7C提供了参与病理学家进行的评估的全面报告。在四点量表（1：不可接受，4：完美）上，虚拟染色的平均得分介于2.80到3.30之间，表明其性能“非常好”，与真实染色相当。这些分数总体上表明虚拟染色技术达到了“非常优秀”的染色质量，并且所有参与病理学家的评估结果一致。调查结果提供了关于虚拟染色在复制传统染色视觉特征方面的有效性的宝贵见解。这些发现突显了虚拟染色技术可靠模仿传统染色方法视觉属性的能力。这一成功突显了其作为辅助诊断工具的潜力，为病理学家分析组织样本提供了一种一致且高效的替代方法。

2.1.5 阅读者研究（诊断测试）
为了评估虚拟染色的诊断效用，病理学家使用真实和虚拟染色回答了组织学问题。在第一阶段（虚拟图像）和第二阶段（真实图像）中，三个诊断问题的诊断准确性相当（图7A）。这些问题专注于识别关键诊断特征，如纤维化、基底膜完整性和细胞形态。分析得出的测试统计量为3.5，p值为0.58，表明两组之间的排斥诊断准确性没有统计学上的显著差异。这一结果表明，Xstainer生成的图像在临床决策中可能提供与真实染色图像相同的信息。为了进一步评估这一发现的临床相关性，使用非参数测试的标准公式计算了效应量：r = Z / √N，其中Z是标准化测试统计量，N是观察总数，得到的效应量为：r = ?0.0926（报告为绝对值：r = 0.07）。根据Cohen的指南（r < 0.1），这对应于一个小效应量，表明统计学上的不显著可能是由于样本量有限和因此统计功效较低所致。

3 材料与方法
3.1 研究设计
本研究包括来自六个中心的肾脏、肝脏和胃的组织样本，以确保染色变体和组织特征的多样性。仅包括来自WSI的补丁，并排除了人工痕迹或染色不规则的情况。评估过程结合了定量指标（如FID分数）、病理学家的专家评估以及对诊断影响的分析，特别关注肾移植排斥。本研究遵循《赫尔辛基宣言》中规定的伦理原则，并得到了伊斯坦布尔Yeni Yuzyil大学（批准号：2022/11-939）和Memorial Healthcare Group（批准号：95 – 11/04/2023）的机构伦理委员会的批准。

3.2 数据集
3.2.1 OmniST数据集收集
组织样本来自土耳其的五个不同中心：Ege大学医院、Yeni Yuzyil大学Gaziosmanpasa（GOP）医院、Kartal Dr. Lutfi Kirdar城市医院、Erciyes大学医院和Memorial Hospitals Group，创建了OmniST数据集。该数据集共包含1646个WSI，这些WSI来自2002年至2022年间收集的389例活检病例。OmniST数据集代表了来自肾脏、肝脏和胃组织的宝贵活检样本集合，用于不同类型的组织虚拟染色。数据集包括多种活检类型，包括移植肾脏、移除的肝脏以及在检测到幽门螺杆菌感染后的胃组织。这些组织在多年内分别用H&E、MT、PAS和JMS进行了染色。对于虚拟TB染色，从Kartal Dr. Lutfi Kirdar城市医院和Ege大学医院的幽门螺杆菌阳性胃组织样本中收集了总共80张组织切片（每个组织40张），然后进行了H&E和TB染色。数据集经过精心整理，包含了与特定疾病诊断相关的染色信息，确保与疾病诊断中使用的染色实践保持一致。OmniST数据集包含大量数据，由Ege大学医院的738个WSI和2,752,564个补丁、Yeni Yuzyil University GOP医院的475个WSI和1,989,079个补丁、Erciyes大学医院的214个WSI和792,736个补丁、Kartal Dr. Lutfi Kirdar城市医院的40个WSI和282,880个补丁以及Memorial Hospitals Group的179个WSI和2,827,360个补丁组成。这个基于患者的数据集包含了患者的年龄、性别、所有肾脏病例的活检日期、Banff评分以及移植病例的额外移植日期等信息。OmniST数据集的发布预计将鼓励数字病理学的进一步研究，并对该领域做出重大贡献。该数据集对于创建训练和独立测试队列非常有价值，预计将促进未来虚拟染色准确高效方法的发展。

3.2.2 训练集
模型分别针对每种组织-染色组合进行了训练。对于肾脏，训练使用了144个WSI和150,869个补丁进行H&E → MT组合训练，120个WSI和124,635个补丁进行H&E → PAS组合训练，105个WSI和53,629个补丁进行H&E → JMS组合训练，所有数据均来自Ege大学医院。此外，还使用了来自Kartal Dr. Lutfi Kirdar城市医院的40个WSI和50,036个补丁进行H&E → TB组合训练。对于肝脏，使用了42个WSI和10,000个补丁进行MT染色，以及来自Memorial Hospitals Group的39个WSI和10,000个补丁进行PAS染色。为了确保数据的完整性和准确性，进行了细致的筛选过程，排除了质量差、染色褪色或具有临床误导性的补丁。这一筛选过程确保了模型使用高质量数据进行训练，提高了结果的稳健性和可靠性。每种组织-染色转换的训练和测试数据集的详细特征，包括WSI数量、补丁数量、补丁大小和分辨率，总结在表1中。

3.2.3 测试集
数据被分为训练集和一到两个独立的测试队列，涵盖所有组织-染色组合。模型使用基于患者的数据进行测试，每个患者都有来自源域（H&E染色的WSI）和目标域（特殊染色的WSI）的WSI。对于肾脏，测试使用了36个WSI和37,725个补丁进行H&E → MT组合训练，20个WSI和31,158个补丁进行H&E → PAS组合训练，以及34个WSI和17,365个补丁进行H&E → JMS组合训练，数据来自Yeni Yuzyil University GOP医院和Erciyes大学医院。对于胃组织，从Ege大学医院获取了20个WSI和25,012个补丁进行H&E → TB组合训练。关于肝脏组织，从Memorial Hospitals Group获取了23个WSI和5,234个补丁以及20个WSI和5,415个补丁（未用于训练集）来测试虚拟染色过程。

3.2.4 WSI处理
使用了最先进的数字切片扫描仪，包括Leica Aperio AT2和Hamamatsu Nanozoomer s60来扫描玻璃切片。肾脏和肝脏切片以20倍放大率扫描，而胃切片以40倍放大率扫描，以便于区分幽门螺杆菌。使用了CLAM [29]算法进行准确的图像分析，能够在每个WSI中精确分割组织区域，同时排除组织中的孔洞。随后，从每个WSI中提取了512 × 512像素的图像补丁，没有重叠，以便进一步分析。训练和测试集经过精心整理，以确保最佳性能和可靠的结果。表1提供了有关训练和测试数据的详细信息。

3.2.5 网络架构
对于未配对图像之间的染色转换，我们采用了基于GAN的风格转换架构，如我们之前的工作[30]中所述（图8）。为了有效训练GAN，我们使用了对抗性损失、对比损失和自我正则化损失的组合。

图8：在PowerPoint的图查看器中打开

Xstainer网络架构[24, 25, 30]。(A) 过程概述。最初，用H&E组织化学染色的WSI被裁剪成512 × 512像素的正方形补丁。这些补丁作为输入传递给Xstainer网络，将其转换为虚拟染色补丁。然后，这些虚拟染色补丁被拼接在一起，创建最终的WSI供病理学家检查。(B) Xstainer网络的详细图示。嵌入在ResNet-9生成器中的SAB在网络架构中起着重要作用。生成器由具有不同滤波器大小的ResNet块（RB）组成。每个RB的滤波器大小在块末尾标明。SAB的输出随后传递给鉴别器，鉴别器由卷积层（C）组成，每个层的滤波器大小在层末尾用数字表示（例如，C128表示滤波器大小为128的卷积块）。鉴别器的输出与目标域（虚拟补丁）的图像连接在一起。对抗性损失结合了Lgen和Ldisc，鼓励生成的图像与目标域相似。为了强调内容保留并关注两个域之间的关系，整体目标函数包括SR（超分辨率）和逐个补丁的噪声对比估计损失。这种方法旨在捕捉输入图像中的长距离依赖性和通道间关系。此外，还结合了一个两层MLP网络来增强输入数据和生成数据之间的关联。(C) ResNet-9生成器中用于虚拟染色补丁合成的SAB的流程图。该图示展示了ResNet-9生成器中嵌入的SAB所涉及的顺序步骤，说明了合成虚拟染色补丁的过程。

生成器G(x)从真实的H&E染色补丁创建虚拟染色图像补丁。鉴别器D(y)努力区分输入补丁是由G(x)生成的虚拟染色补丁还是真实的染色补丁y。由于涉及复杂的细胞形态和组织结构，组织病理图像的转换提出了重大挑战。尽管对抗性损失在最小化真实染色补丁和虚拟染色补丁之间的差异方面起着关键作用，但确保在转换过程中保留诊断相关信息非常重要。为此，我们引入了一种噪声对比损失函数，旨在保留转换后补丁的内容。这个损失函数建立了目标域中虚拟染色样本块上的查询块与源域中真实H&E染色块之间的对应关系，两者位于相同的位置。比较的方式是产生相似块的正面配对和不同染色的负面配对。通过使用这种噪声对比损失函数，我们鼓励在有效转换组织病理学图像中的染色的同时保持关键的诊断特征。这确保了转换后的图像保持其诊断上的意义，提高了我们染色转换过程的准确性和可靠性。K个负面样本和查询样本（正面）分别映射到L维向量v? ∈ RM ×L和v, v+ ∈ RL。L个样本中的第m个负面样本用符号v?k ∈ RL表示。使用温度τ = 0.07来计算样本块和查询之间的缩放距离。计算交叉熵损失，表明倾向于优先处理正面样本。

生成器网络创建了具有空间位置的特征堆?，每个特征堆中的每一层l都描述了输入块的一个区域。随后，这些特征堆被作为输入传递给一个称为多层感知器（MLP）[31]的两层网络。由相应图像特征zs1形成的最终特征、输出域中的最终特征zs1以及不同的提取特征?s1、zS\s1表征了块噪声对比估计损失。

3.2.6 超参数
与传统的图像到图像转换模型不同，我们的网络架构在源域（真实的H&E图像）和目标域（虚拟染色图像）之间仅以一个方向进行操作，从而实现了更快的训练和更低的内存需求。我们对每种组织-染色组合分别进行了模型训练：MT（肾脏）、PAS（肾脏）、JMS（肾脏）、MT（肝脏）、PAS（肝脏）和TB（胃）。在训练过程中，我们使用了Adam优化器，初始学习率为0.0002，动量参数β1=0.5和β2=0.999，共进行了八个周期。我们采用了批量大小为1，Xavier权重初始化[32]和实例归一化[33]。混合损失函数中的损失权重是根据经验设置的：LsReg的权重设为0.03，λX和λY均设为1。

3.2.7 FID
为了客观评估虚拟染色的性能，我们使用了PyTorch标准框架[34]来计算FID指标。该指标通过比较学习到的潜在空间中的特征分布来量化虚拟染色和真实染色之间的统计相似性。所有染色类型的低FID分数表明虚拟染色和真实染色之间的视觉相似性很高，为病理学家的可解释性奠定了坚实的基础。该指标量化了真实图像和虚拟染色图像的高斯分布之间的差异，考虑了均值和标准差的差异。随着迭代的进行，FID分数稳步下降，而虚拟染色图像变得越来越真实、质量也越来越高。FID分数的计算公式如下：

3.2.8 块级VTT
使用肾脏组织样本进行了块级VTT，以评估病理学家区分真实染色块和虚拟染色块的能力。研究涉及150个块，每种染色（PAS、MT和JMS）各有25个真实块和25个虚拟块。这些块随机展示给12位有经验的病理学家进行评估。VTT的主要目的是评估病理学家正确识别真实块和虚拟块的准确性。这项调查的结果旨在提供关于虚拟染色技术的挑战及其对诊断工作流程潜在影响的见解。无法区分真实染色和虚拟染色可能表明AI生成的染色与传统方法在诊断可靠性方面的相似程度。

3.2.9 切片级染色质量评估
除了块级评估外，病理学家还审查了WSI（每种染色类型30张切片），并评估了整体染色质量，包括核细节、细胞质对比度和细胞外基质的可视化。为了从病理学家的角度全面评估WSI，我们调查了90张肾脏组织WSI。数据集包含每种染色类型（MT、PAS、JMS）的30张成功进行过虚拟切片级染色的WSI。来自土耳其和英国等国家的10位病理学家积极参与了这项调查。我们的目标是评估AI的整体染色性能及其可视化关键诊断特征的能力，包括核和细胞质细节以及细胞外纤维化。

3.2.10 阅读者研究
为了评估虚拟染色对肾移植排斥反应的切片级诊断过程的影响，进行了一项阅读者研究，参与者包括五位有经验的肾病学家。研究分为两个阶段，以便比较虚拟染色和传统染色方法。在第一阶段，病理学家浏览了30名患者的4张WSI，其中包括真实的H&E染色图像和虚拟染色的JMS、MT和PAS图像。他们的任务是根据这些图像提供诊断。在这项研究中，C4d评分被用作外部参考，以支持Xstainer虚拟染色的评估，特别是在抗体介导的排斥反应诊断背景下。经过认证的肾病学家在已知C4d评分的辅助下审查了Xstainer生成的虚拟染色图像。C4d评分基于传统的组织化学染色，范围从0到3：“0”表示没有C4d染色，“1”表示轻微的局灶性染色，“2”表示中度的局灶性染色，“3”表示强弥漫性染色。虽然Xstainer没有生成虚拟C4d染色，但现有的C4d评分允许病理学家进行交叉参考并验证虚拟染色与公认的诊断指标的一致性。在为期3周的 washout 期后，进入了第二阶段。这一阶段再次向病理学家展示了相同的患者WSI集，但这次只包括真实染色图像。病理学家被要求使用真实染色图像进行诊断。这种双阶段方法使得可以直接比较病理学家在虚拟染色和传统染色方法之间的诊断结果。病理学家的诊断过程首先确定是否存在排斥反应，然后在另外两个问题中确定排斥反应的类型：细胞性的、体液的，或者是两者的结合；以及急性的、慢性的或慢性活动性的。进行Wilcoxon符号秩检验以评估仅使用虚拟染色WSI与真实WSI相比所达到的准确性。Wilcoxon符号秩检验是一种非参数检验，用于比较配对样本以确定它们的总体均值是否不同。

4 讨论
在这项研究中，我们介绍了Xstainer工具，该工具能够对H&E染色的肾脏、肝脏和胃活检组织进行虚拟染色。我们利用了包含来自不同染色技术和不同中心的WSI的独特OmniST数据集，来展示Xstainer工具的临床有效性。尽管H&E染色仍然是常规组织病理学评估的基础，但在可视化某些诊断相关结构方面存在明显的局限性。例如，H&E染色无法准确检测基底膜增厚、微妙的系膜基质扩张和早期纤维化，这些在评估肾脏病理学时往往非常重要，尤其是在移植排斥和肾小球疾病中[35]。在临床实践中，通常会使用PAS和JMS等特殊染色方法来增强基底膜和富含糖蛋白的结构的可视化，而这些特征在单独的H&E切片上是不明显的。Xstainer通过实现H&E染色图像到多种特殊染色（如PAS和JMS）的虚拟转换，无需额外的组织切片或物理染色，从而克服了这一限制。这不仅保留了原始组织块的完整性，还允许快速、按需地获得增强的对比度和诊断可见性。在我们的读者研究中，肾病学家在虚拟PAS和JMS切片的帮助下能够更清楚地识别出组织学相关的特征——特别是那些涉及基底膜病理的特征，支持了Xstainer在诊断复杂病例中增强传统H&E分析的潜力。总之，虽然H&E染色仍然不可或缺，但虚拟染色提供了一种高效、可扩展且节省资源的解决方案，以克服其解释上的局限性，特别是在由于组织或时间限制而无法进行物理染色的情况下。我们使用了一个包含空间注意力块（SAB）的GAN来实现虚拟染色。GAN由生成器和鉴别器组成，它们竞争生成逼真的图像并区分真实图像和生成的图像。C4d 被认为是抗体介导的排斥反应的标志性指标，将其染色方法整合到常规临床实践中极大地提高了对异体移植排斥反应中抗体介导机制的理解。在本研究中，C4d 分数作为外部基准，用于支持 Xstainer 虚拟染色的诊断评估。虽然 Xstainer 不直接生成虚拟 C4d 染色结果，但 C4d 分数的可用性为肾病学家提供了评估抗体介导排斥反应的参考。通过将 Xstainer 生成的虚拟染色结果与已知的 C4d 分数进行对比，病理学家能够将组织形态与已建立的免疫反应标志物联系起来，从而增强虚拟染色方法的可靠性。这种结合凸显了 Xstainer 在诊断过程中的潜力，它提供了额外的数字染色信息，可以与传统的临床标志物（如 C4d）一起使用 [40]。读者研究在评估生成虚拟图像的临床实用性和有效性方面起着关键作用，为 Xstainer 的性能和诊断准确性提供了宝贵的见解。研究结果表明，Xstainer 生成的虚拟染色图像与传统染色结果非常相似，且不会影响病理学家的诊断准确性。这些发现强调了读者研究在验证虚拟染色临床有效性方面的必要性，并证实了其在病理学实践中的潜在价值。一个重要的考虑因素是分析的统计功效。尽管测试未显示出虚拟染色与实际染色在诊断准确性方面的统计学差异，但这一结果应谨慎解读，因为这可能是由于患者样本量较小导致的统计功效较低。未来的研究需要更大的样本量，以得出更稳健的结论并减少第二类错误的可能性。该方法的可能性得到了移植病理学家的支持，可能影响最终用户对 Xstainer 的看法，并促进其更广泛的采用。我们的研究为快速发展的虚拟染色领域做出了重要贡献，提供了一种比传统染色方法更快、更具成本效益且表现力更强的替代方案。虚拟染色带来了诸多优势，包括减少活检需求、保持组织完整性、节省时间和资源、提高图像对比度和分辨率，以及能够同时可视化多种生物标志物 [41]。它还解决了传统染色方法存在的局限性和挑战，如变异性、可重复性、标准化、质量控制和解释问题 [42, 43]。Xstainer 的独特功能在于它能直接将数字化的常规 H&E 染色图像转换为虚拟组织化学染色图像，从而在财务和运营上具有明显优势。根据土耳其病理实验室现行的采购数据，传统组织化学染色每张载玻片的成本通常为 12-14 美元，而在美国等高成本地区，平均成本在 20 至 40 美元之间。表 2 提供了美国和土耳其传统组织化学染色与基于 Xstainer 的虚拟染色的成本对比情况。

表 2. 美国和土耳其传统染色与虚拟染色的成本对比
| 成本项目 | 传统染色（美国） | Xstainer（美国） | 传统染色（土耳其） | Xstainer（土耳其） |
|---------------------------|---------------------------------------------------|---------------------------------------------|-------------------------------------------------------|--------------------------------------------|
| 每张组织化学载玻片的成本 | $30（范围 $20–40） | ~$3（仅数字化） | $13（范围 $12–14） | ~$3（仅数字化） |
| 年组织化学染色量（示例） | 50,000 张/年 | 50,000 张/年 | 10,000 张/年 | 10,000 张/年 |
| 年染色成本 | $1,500,000 | $150,000 | $130,000 | $30,000 |
| 硬件 + 软件维护（每年） | — | $2,000 | — | $1,000 |
| 许可证 + 软件更新（每年） | — | $1,000 | $500 |
| 年总成本 | $1,500,000 | $153,000 | $130,000 | $31,500 |

Xstainer 通过将 H&E 图像数字化转换为组织化学染色图像，显著降低了试剂、技术劳动力和额外组织切片等相关成本。这在土耳其估计每张载玻片可节省约 10-11 美元，在美国等基础成本较高的地区，潜在节省额甚至可达 20-35 美元。根据当前实验室支出，初步估计显示使用虚拟染色后可节省约 70-90% 的成本 [表 2]。这些节省主要来源于消除了额外的试剂、劳动力和物理切片准备成本，特别是在高volume的病理实验室中带来了显著的经济优势。因此，Xstainer 简化了操作流程，并大幅降低了组织化学染色的财务负担。它能够将常规 H&E 图像数字化转换为专用的组织化学染色图像，体现了其作为创新且具成本效益的工具的潜力，适用于全球的病理学实验室。与以往的研究不同，我们使用来自六个不同中心的 Whole Slide Images (WSIs) 和多种组织染色组合展示了 Xstainer 的适应性 [图 3]。此外，我们在 Xstainer 工作流程中加入了最后的拼接步骤，可在几分钟内生成虚拟染色的 WSI，便于将其整合到传统的病理学实验室工作中。我们还整理了一个包含 1,646 张用 H&E、MT、PAS、JMS 或 TB 染色的 OmniST 数据集，这将加快数据准备并促进数字病理学新方法的发展，特别是虚拟染色技术。尽管我们的研究表明 Xstainer 生成的虚拟染色具有很高的视觉真实性（如较低的 FID 分数和病理学家的评估结果所示），但单纯的真实性并不能保证诊断实用性。诊断准确性在读者研究中进行了专门评估。然而，我们认识到未来的研究应直接比较单独使用 H&E 与 H&E 结合虚拟染色的诊断结果，以更清晰地量化虚拟染色的附加价值。虽然我们的研究提供了有力证据，但仍需认识到一些局限性。病理学家的评估意见可能不能代表整个病理学界。因此，进行更大规模、更具多样性的读者研究，涉及来自不同背景和经验的病理学家，将有助于收集更多反馈并确保其更广泛的适用性。虽然从 H&E 转换到其他组织化学染色的技术颇具潜力，但它可能无法捕捉到原始 H&E 染色中可见的所有结构细节。转换的效果取决于每种染色方式所呈现的特征的复杂性和独特性。这种局限性是因为传统染色方法能够检测到的特定化学和分子相互作用，无法仅通过 H&E 染色图像的视觉信息完全推断出来。虽然 Xstainer 能够生成视觉上真实且具有诊断实用性的虚拟染色图像，但在虚拟染色与实际染色之间观察到了一些局部形态差异，包括腔大小和肾小球结构的小变化，以及某些区域（例如虚拟 JMS 和 MT 染色）中的偶发伪影。这些差异源于生成网络在尝试结合 H&E 输入的特征的同时合成目标染色的特性。重要的是，这些变化对高级诊断任务（如识别纤维化或评估肾小球异常）没有影响病理学家的诊断准确性。总体而言，尽管这些微小差异目前不影响虚拟染色的诊断实用性，但我们的发现显示了 Xstainer 作为病理学领域变革性工具的强大潜力和前景。进一步的研究，包括比较单独使用 H&E 与 H&E 结合虚拟染色的诊断准确性，将有助于量化虚拟染色在提升诊断工作流程方面的附加价值。本研究介绍了一种新型的虚拟染色工具 Xstainer，它在多个关键方面区别于现有方法。它能够高效生成多种染色类型，这使其优于许多仅限于特定染色或组织类型的现有方法。此外，它提供了多样化的功能，可以生成广泛的组织化学染色图像。其临床相关性得到了一个全面的、分两个阶段的读者研究的验证，该研究涉及经验丰富的肾病学家，结果显示与传统染色相比没有统计学差异，表明在样本量范围内性能相当。Xstainer 还显示出了有希望的定量性能，其 FID 分数低于通用风格转换模型。尽管定量结果令人鼓舞，但必须认识到与其他方法的比较应在模型设计的限制范围内进行。效率是另一个亮点，它可能节省宝贵的时间和资源。考虑到这些优势，Xstainer 成为病理学领域中虚拟染色的一个有前景且实用的解决方案。总之，我们的 Xstainer 工具证明了其从 H&E 染色活检生成高质量、真实且临床有效的虚拟染色图像的能力。性能评估包括定量指标、定性评估和诊断准确性，突显了虚拟染色在克服传统染色方法局限性的潜力。尽管结果令人鼓舞，但为了实现虚拟染色的广泛采用，还需要进一步改进和更广泛的临床验证。虚拟染色为提高组织病理学诊断的效率和准确性提供了有希望的途径，使研究人员和病理学家在各种临床环境中受益。未来的研究将专注于完善该工具，考虑更多病理学家的反馈，并探索其在更广泛临床环境中的适用性。

作者贡献：
M.T. 和 F.N.K. 负责所有研究步骤的规划、执行和协调。M.T.、F.N.K.、D.D. 和 K.B. 设计了实验。K.B.O. 和 F.N.K. 对结果进行了统计分析。D.D.、F.N.K.、G.S.、B.S.、C.U.、U.P.H.、F.O.、Y.N.E.、?.T. 和 K.B. 整理了 OmniST 数据集。F.N.K.、M.T.、D.D. 和 K.B. 设计了图表。F.N.K.、K.B.O.、D.D.、Y.A.、G.E.K.、E.C.K.、D.F.K.W. 和 K.B. 准备了手稿。M.T.、K.B.、Y.N.E. 和 D.D. 监督了研究。

致谢：
Mehmet Turan 得到了土耳其战略与预算局（TAM 项目编号 2007K12-873）的支持。Mehmet Turan 和 Fatma Nur Kinali 感谢土耳其科学技术研究委员会（TüB?TAK）通过“杰出研究人员国际奖学金”计划提供的支持。我们还要感谢 TüB?TAK ULAKB?M 提供的土耳其国家电子科学基础设施（TRUBA）集群和数据存储服务，这对 Mehmet Turan 和 Fatma Nur Kinali 的工作产生了便利。Yavuz Nuri Ertas 感谢土耳其科学院杰出青年科学家奖（TüBA-GEB?P）和土耳其科学技术研究委员会（TüB?TAK）的激励计划提供的支持。我们感谢“调查参与者”部分中列出的病理学家们提供的宝贵时间、见解和反馈。同时，我们也感谢 Ye?im Ya?an、Talha Akba? 和 Daye Tangül 在数据收集方面的帮助。

资金情况：
作者们没有需要报告的利益冲突。

调查参与者：
Yasemin Yuyucu Karabulut、Havva Serap Toru、Ezgi Ayhan Cinar、Nihan Haberal、Enes Emre Asman、Saniye Sevim Tuncer、Ezgi Hacihasanoglu、Yelda Dere。所属机构包括：土耳其梅尔森大学医学院；土耳其安塔利亚阿克德尼兹大学医学院病理学系；土耳其凡研究培训医院病理学系；土耳其安卡拉巴什肯特大学医学院病理学系；土耳其伊斯帕塔苏莱曼德米雷尔大学医学院病理学系；土耳其伊兹密尔省卫生局巴克尔恰伊大学奇格利区域教育医院；土耳其伊兹密尔耶迪特佩大学医学院病理学系；土耳其穆尔拉苏特克科奇曼大学医学院病理学系。

数据可用性声明：
所有代码均可在 https://github.com/DeepMIALab/Xstainer 获取。OmniST 数据集将根据请求提供。