CRP-MIL：一种基于通道重新划分的全切片图像分类多示例学习方法

《Neural Networks》：CRP-MIL: A channel re-partitioning based multiple instance learning method for whole slide image classification

　　**摘要**全切片图像（WSIs）具有超高分辨率并包含丰富的病理信息，导致建模过程高度复杂。当前用于WSI分析的多示例学习（MIL）模型存在两个主要局限：（1）对肿瘤区域与相邻图像块之间上下文关系的建模不足，（2）MIL框架本身的内在约束。WSIs必须被分割成多个独立的图像块，这使得全局语义信息的有效建模成为该领域的重大挑战。为解决这些问题，本研究提出了一种基于通道重分区的WSI分析方法，以缓解MIL在局部-全局信息建模方面的局限性。该方法沿通道维度捕获局部关系信息，并在不同通道之间建立全局关系信息。与以往主要关注图像块级别关系的方法不同，CRP采用以通道为中心的方法捕获通道内和通道间依赖性，从而实现局部和全局信息更有效的融合。在三个公开数据集上的大量实验表明，CRP-MIL相比当前最先进的MIL方法取得了优越的性能。此外，CRP-MIL在不同的特征提取骨干网络上始终保持着优势。**引言**全切片图像（WSIs）被视为病理诊断的"金标准"。其十亿像素级的分辨率和丰富的组织学信息使其成为癌症亚型分类（Ilse et al., 2018）、预后预测（Chen, Lu, Weng, Chen, Williamson, Manz, Shady, Mahmood, 2021, Li, Yao, Zhu, Li, Huang, 2018, Yao, Zhu, Jonnagaddala, Hawkins, Huang, 2020, Zhu, Yao, Zhu, Huang, 2017）以及治疗反应评估（Cornish, Swapp, Kaplan, 2012, Litjens, Sánchez, Timofeeva, Hermsen, Nagtegaal, Kovacs, Hulsbergen-Van De Kaa, Bult, Van Ginneken, Van Der Laak, 2016, Pinckaers, Van Ginneken, Litjens, 2020）等临床任务中不可或缺的工具。WSI具有极高的空间分辨率，通常超过50,000×50,000像素。这使得像素级或图像块级别的标注成本极高且严重依赖专业知识。因此，传统的监督学习方法面临根本性挑战。为解决这一挑战，多示例学习（MIL）作为一种有效的弱监督学习范式被广泛采用（Lu, Williamson, Chen, Chen, Barbieri, Mahmood, 2021, Saillard, Dehaene, Marchand, Moindrot, Kamoun, Schmauch, & Jegou）。典型的MIL工作流程包含三个阶段：1）实例特征提取（通常使用预训练的卷积神经网络或视觉Transformer）；2）实例特征聚合（例如最大池化或注意力加权池化）；以及3）包级分类预测。近年来，基于注意力的MIL方法在WSI分析方面取得了显著进展（Chikontwe, Kim, Jeong, Sung, Go, Nam, Park, 2024, Fourkioti, De Vries, Jin, Alexander, & Bakal, Shao, Bian, Chen, Wang, Zhang, Ji, et al., 2021）。这些MIL方法大致可分为三类：基于实例重要性加权的方法、基于全局语义建模的方法以及基于局部结构感知的方法。第一类，以AB-MIL（Ilse et al., 2018）为代表，通过学习每个实例的注意力权重来实现可解释的特征聚合；然而，它将实例视为独立单元，忽略了空间相邻图像块之间的上下文依赖关系。第二类，如TransMIL（Shao et al., 2021）和DGR-MIL（Zhu et al., 2024），引入了Transformer架构或可学习的全局向量来捕获长距离实例关系并建模整体组织模式，从而有效地增强了全局语义表示能力。第三类则尝试建模局部邻域结构——使用区域注意力（Tang et al., 2024）或图神经网络（GNNs）（Chan, Cendra, Ma, Yin, Yu, 2023, Nakhli, Moghadam, Mi, Farahani, Baras, Gilks, Bashashati, 2023, Shi, Tang, Li, Zhang, Gao, Zheng, Wang, Gong, Li, 2023）——以提高对病变边界和浸润前沿等关键区域的敏感性。与现有主要关注实例级关系或空间结构的方法不同，本研究探索了沿通道维度的特征交互。基于通道重分区，我们提出了一种结构化机制，用于建模通道子空间内的局部上下文信息以及不同通道子空间之间的交互，从而增强WSI分类的特征表示能力。具体而言，我们提出了一种名为通道重分区多示例学习（CRP-MIL）的新型MIL框架，如图1(b)所示。该方法沿特征通道维度将实例特征划分为多个子空间，以促进局部上下文建模和全局特征融合。具体而言，CRP首先将高维实例特征均匀地分割为若干个低维通道子空间。每个子空间包含一组特征通道，并作为后续通道级特征建模的基础。在每个通道子空间内，通道内区域自注意力（IN-CRSA）模块采用多尺度窗口自注意力来捕获局部上下文信息，并在不同感受野尺度上聚合特征。此外，增强后的子空间特征被输入跨通道交互注意力机制（CCIM）中，该机制在不同通道子空间之间建立交互，以进一步增强全局特征表示。这种双阶段架构——首先在通道子空间内进行局部上下文建模，然后进行跨通道交互——实现了沿特征通道维度的局部-全局特征协同建模。本研究的贡献总结如下：- 我们提出了一种通道重分区策略，并开发了一种以通道为中心的MIL框架，沿通道维度进行特征建模。- 我们构建了一种双阶段注意力架构，融合通道内多尺度窗口自注意力与跨通道自注意力，协同增强局部和全局上下文表示能力。- 我们在三个WSI基准数据集上验证了所提出的CRP-MIL优于其他现有的MIL方法。本研究的其余部分组织如下。第2节回顾与MIL相关的工作。第3节介绍CRP-MIL框架，包括问题形式化、双阶段通道重分区注意力架构、特征聚合以及损失函数。第4节报告在两个基准数据集上的实验结果和消融研究。第5节通过包级特征的t-SNE可视化进一步验证所提方法的有效性。最后，第6节总结本研究并讨论潜在的未来研究方向。**章节概览****相关工作**本节回顾了与本研究密切相关的研究工作，重点介绍多示例学习（MIL）和Transformer架构在WSI分析中的应用。我们还清楚地指出现有方法的局限性，并突出本研究的关键区别。**所提方法**首先，我们全面回顾MIL的背景，概述支撑我们方法的基本概念。随后，我们介绍所提出的方法，其核心思想是沿通道维度将实例特征划分为多个子空间，通过多尺度窗口自注意力进行子空间内特征建模，并建立不同子空间之间的跨通道交互。具体而言，我们引入IN-CRSA来捕获局部...**数据集与评估指标**Camelyon16数据集是一个公开的全切片图像资源，旨在支持转移性乳腺癌检测研究。该数据集包含269张训练WSI和128张测试WSI，按照官方定义，测试集与训练集的比例约为1:3。为确保每张切片都参与训练和评估，并最大限度地减少数据划分策略和随机种子变化对模型评估结果的影响，本研究采用了3折...**可视化**为了直观评估不同MIL模型学习的包级特征表示的质量，我们对每种方法生成的包级特征进行了t-SNE可视化，如图5所示。在Camelyon16数据集上，ABMIL（图5a）的可视化结果表明，正类包特征和负类包特征之间缺乏清晰的类间边界，且类内分布相对分散，这表明传统的基于注意力的聚合机制...**讨论**为了解决深度特征中的通道冗余和分布式语义编码问题（Bonet, Ortega, Ruiz-Hidalgo, Shekkizhar, 2022, Wang, Mao, Guan, & Xue），本研究采用多头注意力中的"分而治之"原则（即先分割后并行处理）（Vaswani et al., 2017）。高维特征被划分为多个低维子空间以降低复杂性并挖掘相对更具判别力的信息。与标准多头注意力不同，标准多头注意力应用的是...**结论**本研究提出了CRP-MIL，一种基于通道重分区的多示例学习框架。该框架在特征通道维度建立了双路径机制，包括子空间内局部建模和子空间间全局建模。它有效地解决了传统MIL方法在捕获WSI分析中局部和全局上下文信息方面的局限性。实验结果表明，所提方法生成了更具判别力的包级表示，并且...**CRediT作者贡献声明****谢一宁：** 写作——审阅与编辑，监督，项目管理，方法论，概念化。**尹文超：** 写作——审阅与编辑，写作——原始草稿，方法论，调查。**刘泽群：** 写作——审阅与编辑，方法论。**齐浩辰：** 写作——审阅与编辑，项目管理。**赵晶：** 写作——审阅与编辑，项目管理。**胡小清：** 写作——审阅与编辑。**张子瑜：** 写作——审阅与编辑。**利益冲突声明**作者声明，他们没有已知的可能影响本研究中报告工作的竞争性经济利益或个人关系。**致谢**本研究由江西省重点研发计划（20252BCG330028）、黑龙江省重点研发计划（2024ZXDXC30）、中国博士后科学基金（2024M760378）和中国博士后科学基金（2025M771359）资助。