《Journal of Pathology Informatics》:CellPrior-net: Prior-guided nuclei detection and classification for H&E whole-slide images
编辑推荐:
本研究开发了一种轻量级的细胞核检测与分类流程,利用H&E图像及苏木精(H)通道作为先验信息,将细胞核分为免疫细胞、肿瘤细胞和其他细胞三类。研究人员在来自不同器官、扫描仪、放大倍率及单器官和多器官全切片图像(WSI)的八个公开和私有数据集上,与现有最优流程进行了
本研究开发了一种轻量级的细胞核检测与分类流程,利用H&E图像及苏木精(H)通道作为先验信息,将细胞核分为免疫细胞、肿瘤细胞和其他细胞三类。研究人员在来自不同器官、扫描仪、放大倍率及单器官和多器官全切片图像(WSI)的八个公开和私有数据集上,与现有最优流程进行了广泛的基准测试。此外,研究人员开发了CellQuant-Net,该模型将质量评估(QA)流程与CP-Net相集成,在细胞核检测与分类之前先从WSI中去除伪影,随后通过细胞核连通性分析来建模细胞核空间关系。本研究还构建了ILCD数据集,该数据集包含伦敦帝国理工学院40张肝癌WSI,由专家病理学家手动标注,涵盖免疫细胞、肿瘤细胞和其他细胞三类。
**论文解读:CellPrior-net——基于先验引导的H&E全切片图像细胞核检测与分类**
**一、研究背景与问题**
全切片成像(Whole-slide imaging, WSI)技术将组织病理切片数字化为吉像素级图像,为计算病理学提供了丰富的组织学信息。由于WSI尺寸巨大,深度学习(Deep Learning, DL)模型无法直接处理,通常将其切分为较小的图像块(tile)后再输入网络,用于细胞定量分析、组织学亚型分类、基因组变异预测及治疗结局预测等任务。细胞核的检测与分类是其中基础而关键的任务,能够支持肿瘤微环境和免疫浸润的定量分析。为此,研究者提出了多种基于DL的细胞核检测与分类流程,从早期的卷积神经网络(CNN)方法如HoVer-Net,到基于视觉Transformer(ViT)的CellViT,再到基于基础模型(Foundation Model, FM)的CellViT++和CellSAM等。
然而,现有流程在准确性和泛化能力方面仍面临显著挑战。首先,细胞核形态在不同组织、癌症分级中差异巨大,且器官类型、染色流程、切片方式、扫描仪型号、放大倍率等因素均会引入域偏移(domain shift),导致模型在未见数据上性能显著下降。其次,大多数流程的模型结构复杂,后处理过程计算开销大,处理单张高分辨率WSI可能需要数小时甚至数天。第三,许多流程依赖预测的细胞核边缘掩膜通过后处理分离粘连细胞核,在20×放大倍率下因细胞核更密集、更聚集而常导致分类准确率下降。第四,现有流程在细胞核检测与分类之前或期间均未考虑质量评估(Quality Assessment, QA)以排除含伪影(如折叠、模糊、笔迹)的区域,而这些伪影会显著降低检测与分类精度。此外,大多数流程直接以完整的苏木精-伊红(H&E)图像作为输入,而细胞核信息主要存在于苏木精(H)通道中,分离H&E成分并利用H通道作为先验可增强细胞核区域并抑制背景噪声。
针对上述局限,本研究旨在开发一种轻量级、计算高效、跨放大倍率泛化的细胞核检测与分类流程CellPrior-Net(CP-Net),将H通道作为先验信息引导网络关注细胞核相关特征。同时,构建了包含QA、细胞核检测分类与空间连通性分析的完整定量流程CellQuant-Net,并新标注了肝癌ILCD数据集。
**二、主要技术方法**
本研究采用以下关键技术方法:首先,基于颜色反卷积的光密度(OD)域分析从H&E图像中分离出苏木精(H)通道。其次,对H通道图像在不同高斯尺度下计算多尺度高斯差分(Difference of Gaussians, DoG)响应并生成DoG掩膜,与原始H&E图像拼接为4通道输入。模型采用UniRepLKNet-N作为编码器,配合U-Net结构的解码器和两个独立分割头,分别预测细胞核二值分割掩膜和细胞核类型分类掩膜。训练采用交叉熵、Dice和Focal Tversky损失的加权组合,并在PanNuke数据集(40×放大倍率)上使用全部数据进行训练,不同于多数方法的三折交叉验证。后处理阶段设计了包含形态学腐蚀、欧氏距离变换、局部极大值标记、分水岭分割和小目标去除的流程以分离粘连细胞核,并针对20×和40×放大倍率分别优化了超参数。此外,CellQuant-Net集成了基于QA的伪影排除模块和细胞核空间连通性分析。
**三、研究结果**
**1. 跨数据集基准测试:** 在CoNSeP、Lizard、ILCD、NuCLS、PanopTILs、SegPath、TNMI-20×和TNMI-40×八个数据集上,与CellViT、CellViT++、Cerberus、HoVer-Net、NuLite、PointNu-Net、CellDetr、CellSAM、LKCell和TSFD等十种现有最优流程进行了综合比较。各流程的检测质量(DQ)、分割质量(SQ)和全景质量(PQ)指标平均值范围分别为0.07-0.46、0.22-0.62和0.05-0.34,表明跨数据集性能波动显著,现有流程泛化能力有限。CP-Net、CellViT和NuLite取得了总体最佳性能。
**2. 扫描仪类型影响:** 按扫描仪类型分组比较平均PQ,各流程在Omnyx VL120扫描仪上表现最佳,而在其他扫描仪组表现波动较大,表明扫描仪引起的色彩、对比度、清晰度差异会造成域偏移。
**3. 细胞核类型影响:** 各流程对肿瘤细胞核的平均PQ普遍高于免疫细胞和其他细胞。肿瘤细胞核因体积更大、形态特征更明显而易于识别,免疫细胞和其他细胞则更小、更密集、异质性更强。
**4. 放大倍率影响:** 各流程在40×放大倍率下的平均PQ优于20×,原因在于40×下细胞核更大、边界更清晰、形态和纹理信息更丰富,且多数现有流程主要在40×数据集上训练。
**5. 性能与效率权衡:** CP-Net、CellDETR和CellViT形成了帕累托前沿,其中CP-Net在保持高PQ性能(略低于CellViT)的同时推理时间最短,取得了最佳的效率-性能平衡。
**6. 泛化性验证:** 排除Lizard数据集中源自PanNuke和CoNSeP的图像块后重新评估,CP-Net性能仅轻微下降(PQ:0.20→0.18,DQ:0.28→0.25,SQ:0.56→0.54),表明性能并非主要来自源数据集重叠。
**四、CellQuant-Net与临床验证**
CellQuant-Net将WSI质量评估、CP-Net细胞核检测分类、邻域连通性分析和统计定量集成于一体。作为临床适用性概念验证,该方法应用于13张AB-real肝细胞癌(HCC)WSI,计算肿瘤浸润淋巴细胞(TIL)密度,发现高TIL密度组总生存期显著更长(log-rank p=0.006),与淋巴细胞浸润在HCC中既定的预后作用一致。鉴于样本量有限,该结果为探索性发现,但展示了从常规H&E图像中提取生物学和临床相关指标的能力。
**五、结论与展望**
本研究提出了CP-Net用于H&E WSI细胞核检测与分类,通过引入H通道先验信息引导网络关注细胞核相关区域,同时保持轻量级架构和快速推理速度。在八个公共和私有数据集上的广泛基准测试表明,CP-Net在保持高计算效率的同时取得了与现有最优流程相当的性能。研究结果也表明器官类型、扫描仪类型、细胞类型、组织构成和放大倍率会显著影响模型性能。此外,CellQuant-Net集成了QA、细胞核检测分类和空间邻域分析,支持多种定量指标提取。未来工作将聚焦于:收集多中心多器官数据集以建立统一评估框架;结合免疫组化(IHC)和RNA表达等正交模态验证生物学相关性;利用免疫荧光(IF)引导的标注扩展细胞核类别;探索三维病理成像以实现三维细胞核检测与分类。
**六、研究结论翻译**
本文提出了用于H&E WSI细胞核检测与分类的CP-Net。通过整合基于H的先验信息,CP-Net在保持轻量级架构和快速推理速度的同时,引导网络关注细胞核相关区域。对来自不同扫描仪、器官、放大倍率和临床中心的八个公共和私有数据集进行的广泛基准测试表明,CP-Net与现有最优流程相比取得了具有竞争力的性能,同时保持了较高的计算效率。结果还表明,器官类型、扫描仪类型、细胞类型、组织构成和放大倍率可显著影响模型性能。此外,本文介绍了CellQuant-Net,这是一个端到端的细胞核定量流程,集成了WSI质量评估、细胞核检测与分类以及空间邻域分析。该流程可提取多种定量细胞核指标,为下游计算病理学分析提供便利。