基于Mamba状态空间建模与窗口注意力的可解释多类胃肠疾病内镜图像分类(GINet)

《Frontiers in Artificial Intelligence》:Mamba-based state-space modeling with window attention for explainable multi-class gastrointestinal disease diagnosis in endoscopic images

【字体: 大 中 小 】 时间:2026年09月18日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  摘要:引言:研究人员提出了一种新的混合深度学习架构,命名为GINet,用于利用内镜图像准确且高效地对胃肠道(GI)疾病进行分类。由于胃肠道疾病之间的视觉相似性和类别不平衡,自动诊断并非易事。方法:为克服这些挑战,所提出的模型基于EfficientNetV2进行

  
摘要:引言:研究人员提出了一种新的混合深度学习架构,命名为GINet,用于利用内镜图像准确且高效地对胃肠道(GI)疾病进行分类。由于胃肠道疾病之间的视觉相似性和类别不平衡,自动诊断并非易事。方法:为克服这些挑战,所提出的模型基于EfficientNetV2进行强大的特征提取,并辅以基于窗口的注意力机制来捕获细粒度的局部空间依赖关系。此外,添加了基于Mamba的状态空间模块,以线性计算复杂度对长距离全局上下文关系进行建模。研究提出了一条完整的数据预处理流程,包括类别过滤、通过增强进行不平衡管理以及无泄漏的训练-测试划分。数据集包含九个临床相关的胃肠道类别,并实现训练集的均衡分布。提取的特征进一步通过通道投影层进行细化,结合窗口注意力和Mamba模块使模型能够学习局部和全局表征。结果:大量实验表明,所提出的GINet在分类器微调后达到99.41%的验证准确率,在留出测试集上达到93%的准确率,并且在所有类别上均具有较高的精确率、召回率和F1分数。统计分析显示,与基线模型相比,性能提升显著。此外,可解释人工智能(如Grad-CAM所示)表明,模型关注具有临床意义的区域,从而提高了透明度和可信度。讨论:所提出的解决方案为胃肠道疾病的计算机辅助诊断提供了一种计算高效、准确且可解释的方案,代表了向胃肠道疾病计算机辅助诊断迈出的一步,但仍有待于在外部多中心数据上进行进一步验证。
胃肠道疾病是全球范围内的重要健康问题,早期准确诊断对改善患者结局至关重要。内镜图像的人工分析耗时、主观且高度依赖临床医生经验,尽管内镜监测仍以之为金标准,但随着内镜操作数量不断增加,对自动化、可靠且可扩展的计算机辅助诊断(Computer-Aided Diagnosis, CAD)系统的需求日益迫切。深度学习,特别是卷积神经网络(Convolutional Neural Network, CNN),已在医学图像分析中展现出显著效果,但传统CNN难以捕捉长距离依赖和细粒度的空间关系,而这些对于区分视觉相似的胃肠道疾病至关重要。此外,类别不平衡、缺乏透明度和可解释性以及混合CNN-Transformer模型计算成本高、特征冗余、过度依赖大型标注数据集等问题,进一步限制了现有方法在真实临床决策支持中的应用。

为此,研究人员提出了一种新的混合深度学习架构GINet,其结合了EfficientNetV2的特征提取能力、窗口注意力(Window Attention)的局部依赖建模能力和基于Mamba的状态空间模型的全局上下文建模能力。研究人员采用公开的GastroVision数据集(来源于多个中心)进行主要实验,经过类别过滤(移除样本数小于200的类别及临床意义模糊的类别)、混合平衡(对多数类进行下采样至每类600张,对少数类进行旋转、裁剪、翻转和颜色调整等增强)以及无泄漏的70:30训练-测试划分,构建了包含9个临床相关类别的均衡训练集(共5,400张图像),测试集保留原始不平衡分布以反映真实情况。此外,研究还将模型扩展到25类GastroVision任务,并在KvasirV2和HyperKvasir两个公开数据集上进行了跨数据集验证。训练采用两阶段策略:先冻结骨干网络仅训练分类头,再解冻全部层以较低学习率微调,最后仅更新分类头(仅占0.76%参数)并采用类加权损失和标签平滑进一步提升性能。

在技术方法上,GINet以EfficientNetV2-S作为骨干网络提取特征,通过1×1卷积通道投影层细化特征并减少冗余;随后使用窗口大小为7×7、头数为8的窗口注意力模块在局部非重叠窗口内计算自注意力,以捕获黏膜纹理、血管结构和病灶边界等细粒度局部线索;再经过Mamba模块——一种选择性状态空间模型(State Space Model, SSM),以其线性计算复杂度对全局上下文进行序列建模。窗口化特征图被展平为一维序列输入Mamba,其隐藏状态通过输入依赖的门控参数逐token更新,输出序列再重塑为空间特征图。最终经全局平均池化(Global Average Pooling, GAP)后送入由flatten层、dropout层(比率0.4)和softmax分类层构成的分类头。

在结果方面,GINet在9类GastroVision任务上取得了95.09%的平均五折交叉验证准确率,其中Dyed-resection-margins类别的F1分数最高(0.9984),Normal stomach和Terminal ileum相对较低(分别为0.9002和0.8972),可能与类间视觉相似和纹理重叠有关。经分类头微调后,验证准确率从95.46%提升至99.41%,留出测试集准确率为93%。在扩展至25类的实验中,GINet仍保持约89.73%的总体准确率,宏平均F1为85.0%,宏特异度达99.7%,表明其性能并非仅受益于9类平衡设置。在KvasirV2数据集上,模型取得91.63%的准确率和91.59%的宏F1;在HyperKvasir数据集上(21类)获得91.0%的准确率,多数类别F1超过87%,显示了跨数据集的泛化能力。

进一步分析中,与已有的CNN、Vision Transformer(ViT)及混合模型相比,GINet以21.72M参数和3.85 GMACs的轻量级设计取得了更高的分类性能(如优于ResNet50、DenseNet-121、Swin Transformer和GastroViT等)。消融研究发现,逐步加入窗口注意力、Mamba模块、类加权损失和分类头微调均带来准确率提升;Mamba相比标准自注意力在几乎相同准确率下具有更低的计算和内存成本。最佳学习率为1×10?3,AdamW优化器表现最优。统计检验(配对t检验和Wilcoxon符号秩检验)确认了相较于EfficientNetV2-S基线的显著性能提升。此外,Grad-CAM可视化显示,模型对正确分类样本的注意力集中于病灶区域,而错误分类样本的注意力区域仍具有解剖学合理性,错误主要发生在视觉相似的类别之间(如Normal stomach与Pylorus、Normal mucosa与Terminal ileum),说明模型决策具有临床可解释性。

讨论部分指出,GINet可作为实时第二读者、离线分诊工具和培训质控辅助工具嵌入内镜工作流程。但研究存在若干局限性:全部实验基于单一数据集,衡量的是内部泛化而非外部效度;类别平衡依赖数据增强而非新增病例;模型仅处理静态图像,未评估动态视频;交叉验证折叠存在训练数据重叠,p值仅作为描述性比较;由于公开数据集缺乏患者级标识,划分在图像层面而非患者层面,可能使留出性能略有乐观。未来工作包括在独立外部数据集(如HyperKvasir、Kvasir-Capsule)和合作内镜中心进行验证,发展时间感知的视频分析,采用联邦学习以利用多中心数据而不泄露隐私,以及开展临床医生结合模型辅助的读者研究。

结论部分,研究人员提出了一种新的混合深度学习模型GINet,用于从内镜图像中分类多类胃肠疾病。该架构结合EfficientNetV2提取特征、窗口注意力捕获细粒度局部空间依赖以及Mamba模块建模长距离全局上下文关系,使模型能够同时编码局部细节和全局结构模式,这对于区分视觉相似的胃肠道疾病至关重要。通过包含类别过滤、数据增强平衡和无泄漏划分的有效预处理流程,实验表明GINet具有高分类性能:五折交叉验证平均准确率95.09%,分类器微调后验证准确率提升至99.41%,留出测试集准确率93%,各类别F1分数一致。轻量级微调策略进一步提升了整体性能且不损害计算效率。Grad-CAM可解释性分析确认模型关注临床重要区域,使其在临床实践中更加透明可靠。总之,GINet框架为自动化胃肠疾病诊断提供了有效、高效且可解释的解决方案,未来将扩展至实时内镜视频分析、更大规模多中心数据集及架构优化,以推动临床落地。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号