
-
生物通官微
陪你抓住生命科技
跳动的脉搏
多扫描Mamba驱动的全切片图像分类:基于多重实例学习的创新框架MSMMIL
【字体: 大 中 小 】 时间:2025年06月17日 来源:Knowledge-Based Systems 7.2
编辑推荐:
针对全切片图像(WSI)分类中长序列特征提取效率低下的问题,深圳大学团队提出多扫描Mamba多重实例学习框架(MSMMIL)。通过创新性网格扫描、层扫描策略和全局上下文注意力(GCA)模块,在TCGA-Lung和Camelyon16数据集上实现89.81%和92.87%的分类准确率,为计算病理学提供高效特征提取新范式。
在数字病理学快速发展的今天,全切片图像(Whole Slide Image, WSI)已成为癌症诊断的黄金标准。这些高达100,000×100,000像素的医学图像蕴含着海量信息,但同时也带来两大挑战:专业标注的耗时耗力使得通常只能获得WSI级别的弱标签;GPU内存限制阻碍了直接输入完整WSI进行深度学习分析。多重实例学习(Multiple Instance Learning, MIL)虽然通过将WSI视为"包"(bag)、图像块作为"实例"(instance)的方式部分解决了这些问题,但现有基于注意力机制的方法往往忽略实例间的空间关联,而Transformer模型又受限于二次方计算复杂度。
深圳大学的研究团队在《Knowledge-Based Systems》发表的研究中,创新性地将选择性扫描空间状态序列模型(Mamba)引入MIL框架,提出多扫描Mamba多重实例学习(MSMMIL)系统。该系统通过并行运行的三种扫描策略(创新的网格扫描、层扫描和传统扫描)捕获不同方向的特征依赖,配合轻量级全局上下文注意力(Global Context Attention, GCA)模块强化关键实例特征,在TCGA-Lung和Camelyon16数据集上分别取得95.44%和96.41%的AUC值,显著超越现有方法。
关键技术方法包括:1) 设计网格扫描策略模拟四方向特征捕获,通过棋盘式遍历降低内存消耗;2) 开发层扫描策略通过交错遍历保持癌变区域连续性;3) 构建包含三种扫描模式的Multi-scan Mamba(MSM)模块;4) 采用GCA块增强实例间关联并放大关键实例权重。实验使用TCGA-Lung(1,021例肺癌WSI)和Camelyon16(399例乳腺癌WSI)公开数据集验证性能。
MIL for WSI classification
研究指出当前MIL方法可分为实例级和嵌入级两类,前者依赖伪标签易引入噪声,后者通过注意力机制聚焦关键实例但忽略空间上下文。MSMMIL通过Mamba的线性复杂度特性,在保持长序列建模能力的同时显著降低计算负担。
MIL formulation
严格遵循MIL的弱监督学习范式:将WSI表示为Xi
={(xi,1
,yi,1
),...,(xi,L
,yi,L
)},其中仅当至少存在一个yi,j
=1时标记整个包为阳性。MSMMIL通过多方向扫描突破传统MIL的实例独立性假设。
Experiments and results
在TCGA-Lung数据集达到89.81%准确率(ACC)和95.44%曲线下面积(AUC),Camelyon16数据集上取得92.87% ACC和96.41% AUC,较最优基线方法提升3.2%和2.8%。消融实验证实网格扫描和层扫描的互补性:前者降低32%内存占用,后者提升连续区域识别率17%。
Discussion
MSMMIL的成功归因于:1) 多扫描策略协同建模方向依赖性,解决SS2D等方法的序列断裂问题;2) GCA块使关键实例权重提升2.3倍;3) 并行扫描设计在固定计算预算内最大化特征提取效率。局限性在于尚未整合病理分级等临床先验知识。
Conclusion
该研究首次将多方向扫描策略引入Mamba架构,通过MSM模块实现全局-局部特征协同捕获,GCA块增强实例关联建模。实验证明其在保持计算效率的同时,显著提升WSI分类性能,为计算病理学领域提供新研究思路。Haiqin Zhong等作者特别指出,该方法可扩展至其他医学图像分析任务,代码已在GitHub开源。
CRediT authorship contribution statement
显示研究由深圳大学团队完成,Haiqin Zhong负责核心算法设计,Tianfu Wang和Baiying Lei提供资源支持。基金信息表明工作获国家自然科学基金(62171312, U22A2024)和深圳市科技计划(JCYJ20220818095809021)等资助。
生物通微信公众号
知名企业招聘