基于细粒度图文对齐的零样本脑肿瘤亚型分类方法FG-PAN

《Expert Systems with Applications》：Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment

本文提出了一种创新的细粒度图像块对齐网络（FG-PAN），通过整合局部特征优化模块（利用空间关系增强图像块特征）和细粒度文本描述生成模块（利用大语言模型LLM生成病理感知的语义原型），显著提升了全切片图像（WSI）在零样本设置下对脑肿瘤亚型进行细粒度分类的能力，在EBRAINS、TCGA等多个公共数据集上实现了最先进的性能。

　　

Highlight

讨论

本研究证明，所提出的FG-PAN框架显著增强了基于组织病理学全切片图像（WSI）的零样本脑肿瘤亚型分类能力。在EBRAINS、IPD-Brain、BRACS和TCGA等公共数据集上进行的大量实验证实，FG-PAN consistently outperforms 最先进的病理学基础模型和视觉语言基线。例如，在EBRAINS30数据集上，FG-PAN将Conch-v1.5的平衡准确率从0.493提升至0.572，F1分数从0.542提升至0.611。这些改进凸显了我们的方法在捕捉细微形态学变异方面的有效性，这对于区分具有高度相似性的脑肿瘤亚型至关重要。FG-PAN的成功主要归功于其能够通过局部特征优化增强视觉判别力，并通过LLM生成的、富含病理学知识的描述来丰富语义空间。此外，该框架在不同数据集上展现出的稳健泛化能力，突显了其在计算病理学中应对领域偏移挑战方面的潜力。

结论

在本文中，我们提出了FG-PAN，一个基于全切片图像（WSI）进行脑肿瘤亚型细粒度零样本分类的新颖框架。通过整合局部窗口注意力（local window attention）和门控特征融合（gated feature fusion），我们的方法有效建模了空间依赖性并增强了图像块级别特征的判别能力。此外，细粒度文本描述生成模块利用大语言模型（LLM）构建了语义丰富且具有病理学感知的类别提示（class prompts），显著改善了视觉与语义空间之间的对齐效果。在多个基准测试上的实验结果一致表明，FG-PAN在零样本脑肿瘤亚型分类任务中达到了领先性能，同时保持了出色的跨领域泛化能力。未来的工作将探索将FG-PAN扩展到多模态数据和更广泛的癌症类型分类任务中。