面向多模态组织病理学分析中多实例学习的基于层次化原型的领域先验

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis

　　

- 提出了一种用于联合病理诊断和预后的HPDP框架。
- MAPS将学习锚定到可解释的形态学原型上。
- SPE显式建模空间架构和组织几何结构。
- HCMA通过大语言模型引导的视觉优化弥合语义鸿沟。
- 在七个多样化的癌症队列中取得了最先进的性能。

**引言**

组织病理学检查是癌症诊断、肿瘤亚型分类和预后评估的临床金标准 [1], [2]。随着组织学检查的数字化发展为全切片图像（WSI），该领域经历了向计算病理学的范式转变，深度学习算法有望减轻病理医生的工作负担，同时提高诊断的客观性 [3], [4], [5]。鉴于WSI的十亿像素分辨率以及像素级标注的高昂成本，多示例学习（MIL）通过将一张切片概念化为一个包含多个补丁级实例的"包"，从弱监督中学习到鲁棒的切片级表示，从而确立了其主导地位 [5], [6], [7], [8], [9], [10], [11], [12]。该方法推动了自动化肿瘤检测和生存风险分层的重大进展，而无需密集的人工分割 [2]。

尽管取得了这些进展，当前的MIL范式面临着根植于其完全依赖数据驱动特征抽象的固有局限性 [13]。如图1所示，大多数现有方法将WSI视为无结构的补丁集合，有效丢弃了组织形态学中固有的丰富领域知识，而病理医生正是依赖肿瘤巢、间质和浸润性淋巴细胞等明确实体来形成诊断 [5], [7], [10]。传统的基于注意力机制或Transformer的MIL模型通常被要求从零开始重新发现这些已确立的模式，缺乏明确的指导，这种归纳偏置的缺失增加了过拟合背景噪声的风险，尤其是在数据有限的情况下 [14], [15]。

最近的面向实例的MIL方法探索了不同的策略来改进病理表示。PacMIL采用原型-实例对抗对比学习和概率分布注意力来增强单一分化实例，同时抑制模糊的多分化实例，取得了出色的分级性能和可解释性。其原型指导依赖于病理医生标注的实例，引入了额外的标注需求 [16]。PID-LRSC结合低秩子空间聚类与原型引导的语义解耦来减少冗余的非肿瘤信息并区分形态相似的组织 [17]。PG-CIDL整合潜在因子分组、反事实推理和实例效应重加权来解耦空间、语义和决策因子，从而产生可解释的因子级表示 [18]。HCF-MIL引入肿瘤引导的聚类过滤和增强聚合来抑制无关区域并强调代表性肿瘤证据，其中肿瘤引导实例为每个包提供额外指导 [19]。这些研究展示了原型引导、聚类和实例解耦的价值，但在用于指导表示学习的监督和组织证据方面有所不同。

这一问题的进一步恶化源于对组织微环境几何布局的忽视——将切片视为排列不变的包无法捕捉对准确预后至关重要的细胞间空间相互作用和相对位置。

在视觉领域之外，多模态上下文的融合代表了组织病理学中一个 largely untapped 的前沿领域 [14], [20]。虽然临床医生会将视觉线索与诊断背景知识相结合来评估患者，但计算模型很少能受益于这种高级语义指导。大语言模型（LLMs）提供了一个机会，可以利用从组织学图像生成的辅助描述来补充视觉表示，尽管有效地将这些文本表示与视觉特征集成仍然充满挑战 [21], [22], [23]。模态的简单拼接通常无法弥合语义鸿沟，并且使视觉表示无法通过特定的临床上下文进行调节 [24], [25], [26]。

为了解决这些挑战，我们提出了层次化原型领域先验（HPDP）框架，这是一种多模态方法，将形态感知原型、空间信息和大语言模型生成的文本上下文整合到统一的MIL-based WSI表示学习框架中。

如图2所示，HPDP在统一的表示学习框架内协调形态、空间和语义先验。具体而言，我们引入了形态锚定原型系统（MAPS），该系统使用可学习的"先验专家"来指导学习过程，这些专家通过无监督聚类导出的参考质心进行正则化以表示训练特征空间中反复出现的模式，同时采用"自适应专家"来挖掘微妙的且特定于任务的判别模式。作为形态学基础的补充，我们纳入了正弦位置编码器（SPE），将每个补丁的空间坐标映射到特征空间，以将二维位置上下文整合到补丁表示中。为了整合视觉和文本表示，我们的框架纳入了层次化跨模态对齐（HCMA）模块，该模块通过全局语义调制的两阶段过程来利用切片特定的生成描述，以及结构上下文传播。通过形态、空间和语义先验的协调交互，HPDP支持了病理信息引导的WSI表示学习。这一协调设计在多个癌症队列的分类和生存预测中取得了有竞争力的性能。

总之，本工作做出了以下贡献：

- 我们提出了层次化原型领域先验框架，应用于组织病理学中的诊断和预后任务。该框架引入了一种先验引导的MIL表示学习范式，整合了形态感知、空间和语义先验，将病理相关知识纳入WSI分析。
- 我们设计了一个形态锚定原型系统，通过可学习的先验专家纳入聚类导出的特征空间参考，并结合自适应专家来捕获互补的特定于任务的模式。与正弦位置编码器一起，该模型捕获了反复出现的形态模式和几何组织上下文。
- 我们引入了层次化跨模态对齐模块，以将视觉原型与大语言模型生成的辅助描述进行整合。通过全局语义调制和结构上下文传播，该模块将文本上下文纳入视觉表示以供下游预测使用。
- 我们在包含多种癌症类型的七个多样化数据集上进行了广泛的实验。结果表明，HPDP在分类和生存任务中都取得了有竞争力的性能，与现有的单模态和多模态基线相比，展现了更好的鲁棒性和可解释性。

**章节摘要**

**相关工作**

在本节中，我们从三个角度回顾了与我们框架相关的文献：WSI分析中的多示例学习策略、原型学习与领域先验的整合，以及病理学中多模态视觉-语言学习的最新进展。

**方法论**

在本节中，我们介绍了HPDP框架，这是一种新的多模态多示例学习方法，适用于组织病理学中的诊断和预后任务。以下是HPDP框架概述及其关键流程和模块的详细说明，包括信息处理流程、特征前馈和跨模态表示学习。

**数据集**

为了全面评估HPDP框架的有效性和鲁棒性，我们在一系列多样化的组织病理学数据集上进行了实验，这些数据集既包括公开基准，也包括内部私有队列。这些数据集涵盖了广泛的任务，从肿瘤诊断和亚型分类到生存风险预测。

**分类数据集：**

- **肺癌队列（LCEM）**：内部LCEM数据集包含1,291张肺腺癌WSI，用于二元分类的讨论...

**讨论**

在本研究中，我们提出了HPDP，这是一种多模态框架，旨在解决病理生存分析中的异质性和数据稀缺的双重挑战。通过整合MAPS、SPE和HCMA，我们的方法将形态原型、空间信息和生成的文本上下文结合起来进行WSI表示学习。实验证明了将形态原型、空间信息和生成的文本上下文结合用于分类和生存...

**结论**

在本工作中，我们引入了HPDP来解决多模态组织病理学分析中的语义脱节和缺乏空间感知的问题。MAPS、SPE和HCMA的整合在分类和生存预测中取得了有竞争力的结果，而LCEM到TCGA-LUAD的实验进一步证明了其跨队列迁移的潜力。通过整合形态感知原型锚定和纳入绝对补丁位置信息，HPDP朝着更结构化的方向迈进了一步...

**未引用参考文献**

缺失引用，表格3和6。

**代码可用性**

完整实现已公开发布于 https://github.com/7FFDW/HPDP。

**数据可用性**

本研究中分析的数据集可从以下公开库获取：TCGA数据集可通过GDC数据门户（https://portal.gdc.cancer.gov/）访问。Camelyon16数据集可在 https://camelyon16.grand-challenge.org/ 获取。BRACS数据集公开于 https://www.bracs.icar.cnr.it/。

用于开发和验证的内部数据集回顾性收集自中国一家医疗中心。由于患者隐私法规...

**CRediT作者贡献声明**

邱雪梅：撰写–初稿、方法论。范大为：撰写–审阅与编辑、概念化。黄业宾：验证。陈燕平：数据管理。魏丽芳：撰写–审阅与编辑、资金获取。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报道的工作。

邱雪梅 | 范大为 | 黄业宾 | 陈燕平 | 魏丽芳