MCS-Stain：通过多重细胞语义增强FFPE样本到HE样本的虚拟染色过程

《IEEE Transactions on Medical Imaging》：MCS-Stain: Boosting FFPE-to-HE Virtual Staining with Multiple Cell Semantics

针对FFPE样本传统HE染色效率低的问题，本文提出MCS-Stain模型，结合预训练细胞语义、细胞掩模及动态语义指导，显著提升虚拟染色质量与效果，并验证了其跨染色模型的有效性。

　　

摘要：

癌症的诊断主要依赖于用苏木精和伊红（HE）染色的病理切片。这些切片通常是由经过福尔马林固定并嵌入石蜡中的组织样本制备而成的（FFPE）。然而，传统的FFPE样本HE染色过程耗时且资源密集。近年来，受数字病理学和生成模型推动的虚拟染色技术取得了进展，为这一领域提供了有前景的替代方案。然而，FFPE图像中模糊的结构给实现高质量的FFPE到HE虚拟染色带来了独特的挑战。在此背景下，我们开发了一种新的多细胞语义引导的监督生成对抗模型MCS-Stain。具体来说，该模型的引导机制包括三个组成部分：（1）预训练的细胞语义引导，将真实图像和虚拟图像的强大中间特征对齐，这些特征嵌入在预训练的细胞分割模型（PCSM）中；（2）细胞掩码引导，引入可理解的细胞信息，作为输入传递给判别器；（3）动态细胞语义引导，在训练过程中将动态中间特征对齐到生成器中。在FFPE到HE数据集上的对比实验表明，MCS-Stain的性能优于现有的最先进方法（SOTA），在定性和定量方面都有显著提升。在不同PCSM和数据源上的测试结果进一步证实了其有效性和鲁棒性。值得注意的是，动态细胞语义引导在FFPE到HE虚拟染色之外的应用潜力也非常巨大，这一点通过从HE图像到免疫组化（IHC）图像的虚拟染色得到了进一步验证。总体而言，MCS-Stain为推进虚拟染色技术开辟了一条有前景的道路。代码可在以下链接获取：https://github.com/huyihuang/MCS-Stain。