CPGNet：一种用于多标签全切片图像分类的基于层次化类别引导的多模态图学习方法

《IEEE Transactions on Big Data》：CPGNet: Multimodal Graph Learning With Hierarchical Category Guidance for Multi-Label Whole Slide Image Classification

　　

摘要：

数字病理学中全切片图像（WSI）类别的分析是临床医生对癌症患者进行诊断、治疗和预后决策的重要依据。然而，目前用于癌症类型识别的自动化方法主要被表述为单标签分类问题。这些方法通常依赖于样本相对平衡且丰富的数据集，其中每个样本属于单一类别。该方法与真实临床场景并不完全吻合，因为在真实临床场景中，癌症亚型往往表现出多标签特性和类别不平衡，带来巨大挑战。为了解决这一问题，本文提出了CPGNet，一种类别提示图网络，旨在作为更适合临床场景的多标签全切片图像分类器。CPGNet采用MaskSLIC算法对全切片图像进行超像素分割，有效捕捉细胞和组织结构的非线性空间分布。分割后的超像素连同其对应特征被编码为图节点，同时构建边和边特征以将WSI抽象建模为图。此外，该方法引入了图局部-全局特征交互模块，通过图神经网络聚合邻近节点和边的特征以捕获局部信息，同时利用多头自注意力机制建模全局依赖关系，模拟病理学家的诊断行为。另外，视觉-类别交互模块利用类别之间的语义关系引导视觉特征分类，为准确预测提供补充线索。为增强模型对难以分类的正样本的关注，我们还实施了重新加权策略。所提出的方法在一个私有数据集（YNLUAD）和两个公开挑战数据集（BCNB和AGGC22）上进行了评估。实验结果表明了该方法的优越性，...

查看更多

I. 引言

恶性肿瘤对人类健康构成重大威胁，客观准确的诊断对于指导个性化治疗和改善患者预后至关重要[1]、[2]。数字病理学利用全切片图像（WSI），已成为现代癌症诊断的权威依据[3]。然而，人工诊断过程以耗时和劳动密集型而闻名。病理学家必须在多种放大倍数下仔细审查庞大的十亿像素级WSI，这一工作流程对于生成传统全监督深度学习模型所需的密集像素级标注构成了巨大瓶颈[4]、[5]。