《Expert Systems with Applications》：Detecting rare whole slide image via cross-space multi-prompt generation and collaboration
编辑推荐：
•采用跨空间多提示对齐技术，提升全切片图像的表示能力与特征区分度。•结合多分辨率视觉文本对比学习与全局局部关联建模技术。•对罕见肾细胞癌亚型可实现100%召回率，在零样本任务中表现优异。•在常见肾细胞癌分类任务中性能超越现有最优方法，可有效实现罕见亚型的精准筛查。引言病理检查目前
- •
采用跨空间多提示对齐技术，提升全切片图像的表示能力与特征区分度。
- •
结合多分辨率视觉文本对比学习与全局局部关联建模技术。
- •
对罕见肾细胞癌亚型可实现100%召回率，在零样本任务中表现优异。
- •
在常见肾细胞癌分类任务中性能超越现有最优方法，可有效实现罕见亚型的精准筛查。
引言
病理检查目前被公认为肿瘤诊断与亚型分型的金标准。肾细胞癌主要包含三种常见亚型：透明细胞肾细胞癌、乳头状肾细胞癌和嫌色细胞肾细胞癌，此外还有些罕见亚型。在肾细胞癌检测中，占比约95%的常见亚型往往掩盖了罕见亚型的存在。这些罕见亚型通常具有复杂的组织结构与多样的细胞形态，全切片图像中也常存在多个分布不规则的病灶区域。尽管罕见亚型与常见亚型在形态上存在一定相似性，但其整体特征更为复杂多样，这给特征表示学习带来了极大挑战，也限制了模型在实际临床应用中的准确性与稳定性（Lohmann, Valdeolivas, & Vasiljevi? 2025；Wang et al. 2025c）。随着深度学习在计算病理学领域的不断发展，基于全切片图像的分类方法在准确率与数据效率方面取得了显著进步（Asadi-Aghbolaghi et al. 2024；Duan, Xiong, Li, & Ding 2024）。多实例学习与视觉语言对齐等技术已被广泛应用于病理图像分析，有效支撑了癌症识别与分类、肿瘤区域分割等任务（Xie, Liu, Zhao, & Ma 2025c）。
如图1所示，现有方法通常采用直接的视觉文本对齐思路，即把整张图像映射为全局文本描述。但这种策略存在两个根本性瓶颈。首先，单分辨率特征提取与粗粒度的图像文本对齐难以捕捉全切片图像中不同尺度与区域之间的复杂形态与空间关系。因此，面对形态极为相似的罕见亚型与常见亚型时，这类方法无法挖掘出能够利用全局局部协同作用的区分性特征，进而无法清晰界定其特征边界。此外，训练数据的长尾分布也严重制约了这些方法的发展。模型参数会过度偏向样本量充足的常见亚型，导致罕见亚型的特征在特征空间中被常见亚型的特征“拉近”或“掩盖”。当罕见样本极为稀缺时，模型就会过度拟合多数类，从而导致性能急剧下降（Zhang, Gao, He, Li, & Mao 2025b），无法实现对罕见病例的有效筛查。
为解决这些问题，我们借鉴了临床病理学家的诊断流程。在查看全切片图像时，病理学家会动态切换不同放大倍率：首先用低分辨率观察肿瘤的位置与分布规律，接着用中等分辨率分析形态特征，最后再放大到高分辨率观察细胞细节以判断肿瘤是否发生浸润。这一诊断过程本质上依赖于不同空间尺度下视觉特征与语义理解之间的协同对齐。我们认为，这种多分辨率、多视角的分析方式是实现稳健特征表示学习的关键，尤其是对于罕见亚型而言（Koc et al. 2025；Zhang et al. 2024a）。因此，我们提出解决方案在于基于多分辨率视觉特征与多提示语义引导的跨空间协作机制。该机制能够明确建模不同尺度下的一致性与差异性信息，帮助模型捕捉更全面的形态-位置关系，从而提升特征的区分度。通过多提示技术设置更具挑战性的精细视觉文本对齐任务，模型无需依赖大量罕见类样本，就能有效区分形态相似的常见亚型与罕见亚型。我们将这种方法称为跨空间多提示协作。
本文我们提出了MPGCDet，这是一种基于对比学习的跨空间形态表示网络，旨在准确检测常见的与罕见的肾细胞癌病例。具体而言，我们构建了一个框架，整合多分辨率文本提示，并结合多分辨率视觉特征的全局局部关联学习，实现精确的跨模态相似度计算，进而达成以区分度为优先的特征聚类。MPGCDet从形态特征与跨模态语义的联合分布中提取区分性特征，重点关注多分辨率视觉文本对齐。此外，我们还基于特征重要性与多分辨率一致性构建了距离分布，以此缓解形态相似导致的相似度估计误差。
我们在795例临床病例上对MPGCDet进行了测试，其中包括722例常见亚型与73例罕见亚型，测试结果表明没有一例罕见亚型被误诊。此外，我们还在三种常见亚型上测试了该模型，将其性能与主流方法进行对比。从临床诊断的角度来看，MPGCDet有望大幅推动深度学习在医学图像分析中的应用，因为它无需依赖罕见病例的训练数据，即可实现常见与罕见癌症亚型的检测。
本文的主要贡献与研究发现可总结如下：
- •
我们提出了跨空间多提示协作机制，用于有效检测罕见亚型。通过在全联合学习中充分运用多提示协作，该方法显著提升了全切片图像表示的区分能力，为推进基于全切片图像的诊断技术提供了新思路。
- •
我们提出了一种新的多级视觉文本跨模态对齐方法。该方法根据多分辨率下的特征一致性与时序差异，生成具有不同距离的视觉文本分布，从而缓解因形态相似导致的特征表示不准确所引发的拟合瓶颈。
- •
实验结果。我们在标准的肾细胞癌分类与罕见亚型检测任务上开展了大量实验。实验结果表明：1）在零样本场景下，MPGCDet对所有罕见病例的检测灵敏度均为100%；2）在标准分类任务中，MPGCDet的性能优于现有最优方法；3）所提出的跨空间多提示协作机制成功建模了罕见与常见全切片图像中形态特征与语义信息之间的复杂关联。
章节要点
计算病理学中的罕见肾细胞癌诊断
肾细胞癌占所有肾脏恶性肿瘤的80%-90%，其发病率呈明显上升趋势。发达地区的发病率高于发展中国家（Rose & Kim 2024）。最新的肾细胞癌组织病理学分类方案（2022年WHO制定的方案）将肾细胞癌分为三种常见亚型：透明细胞肾细胞癌、乳头状肾细胞癌和嫌色细胞肾细胞癌（Moch et al. 2022）。对于罕见亚型，病理学家们仍在进一步研究基于分子特征的分类方法，而非仅依靠形态学特征进行检测（Moch et al.）。
方法论
在本节中，我们将详细介绍所提出的MPGCDet，该模型旨在构建一个高效准确的框架，用于识别全切片图像中的罕见亚型癌症。MPGCDet的整体架构如图2所示。在该框架中，我们提出了一种基于多分辨率视觉文本特征对齐机制的新型分类策略，用于生成学习到的特征表示。首先，我们使用改进后的骨干网络将多分辨率输入的全切片图像编码为完整的特征矩阵。接下来，我们
讨论与未来工作
MPGCDet通过整合多分辨率视觉文本对齐与跨模态相似度检索技术，为罕见亚型检测提供了一种全新思路。与TAD-Graph、PAMA等方法不同，后者常常高置信度地将罕见亚型误判为常见亚型（见表II），而我们的方法则借助文本引导的特征学习，提升了形态相似亚型之间的区分能力。这一点在零样本检索任务中表现得尤为明显，MPGCDet
结论
在本文中，我们提出了一种通用分类框架MPGCDet，仅需在训练阶段使用常见的全切片图像，即可区分“未见过”的数据与“见过的”数据。我们通过跨空间多提示生成与协作机制，结合视觉语义关联计算来确定各类数据的归属。值得注意的是，MPGCDet有效地整合了多分辨率视觉特征的全局局部关联与文本提示的跨模态语义，从而通过
CRediT作者贡献说明
余嘉辉：概念设计、方法论、软件开发、形式化分析、可视化处理、初稿撰写。杜涛：方法论、数据整理、实验研究、形式化分析、初稿撰写与修订编辑。李雅琪：数据整理、实验研究、验证分析、可视化处理、初稿撰写。马天宇：软件开发、数据整理、实验研究、验证分析、修订编辑。王艳丽：实验研究、资源协调、验证分析、修订编辑。
利益冲突声明
作者声明不存在任何可能影响本研究结果或解读的财务利益冲突或个人隶属关系。
Jiahui Yu|Tao Du|Yaqi Li|Tianyu Ma|Yanli Wang|Tianfeng Wu|Sakirin Tam|Hong Huang|Yingke Xu
