基于Vision Mamba技术的多层上下文聚合网络在息肉分割中的应用

《Pattern Recognition》：Vision Mamba-enhanced Multi-level Context Aggregation Network for polyp segmentation

结直肠腺瘤性息肉自动分割面临多尺度特征融合与边界定位挑战，本文提出VMMCA-Net模型，通过Hierarchical Adaptive Mamba Block（HAMB）实现多尺度自适应特征提取，Cross-Feature Coupling Module（CFCM）增强跨层特征交互，Boundary-informed Conversion Module（BCM）注入边界感知信息，在五大数据集上取得最优分割精度。

　　

Jiaye Chen|Jian Ding|Tianyang Xu|Rui Wang|Xiaoning Song|Tao Zhou

江南大学人工智能与计算机科学学院，中国无锡214122

摘要

结肠腺瘤性息肉是结直肠癌（CRC）的主要前兆，而结直肠癌是一种在全球范围内具有较高发病率和死亡率的疾病。因此，在结肠镜图像中准确分割这些息肉对于可靠检测和有效临床干预至关重要。尽管取得了显著进展，但由于息肉的大小、位置和形态存在显著差异，以及它们与周围黏膜的边界往往不明显且容易混合，自动化分割仍然具有挑战性。为了解决这些挑战，我们提出了VMMCA-Net，这是一种基于Vision Mamba的多层次上下文聚合网络。我们的模型通过整合不同尺度上的多层次上下文信息来提高分割性能。具体来说，我们提出了一个分层自适应Mamba块（HAMB），该块利用Vision Mamba捕捉多尺度表示并适应息肉区域的大小变化。此外，我们还提出了一个跨特征耦合模块（CFCM），以融合不同网络层次之间的相邻特征，从而丰富上下文信息。另外，我们还提出了一个基于边界的转换模块（BCM），将显式的边缘感知特征纳入架构中，利用边界线索来提高分割精度。在五个公共数据集上的广泛实验表明，VMMCA-Net实现了最先进的性能，在定量指标和定性视觉评估中均优于现有方法。实现代码将在https://github.com/jamescjy98/VMMCA-Net处发布。

引言

在所有肿瘤病理学中，结直肠腺癌目前被认为是全球发病率第三高的癌症类型，其发展通常与腺瘤性息肉有关[1]。如果不加以处理，这些息肉可能需要10到15年才能转变为癌性病变。因此，早期检测和切除息肉对于预防结直肠癌和降低死亡率至关重要。临床医生通常通过找到腺瘤性息肉，然后在结肠镜图像中手动勾画它们来开始这一过程，这是一项非常困难的工作，需要大量的训练。不幸的是，这种策略耗时较长且可能存在主观性。这表明拥有能够正确分割息肉区域以供后续诊断使用的自动化息肉分割算法非常重要[2]。

息肉在大小和形态上的广泛变化，以及在不同发育阶段的特征多样性，使得息肉分割任务极具挑战性[3]，[4]。息肉与邻近的黏膜组织相似，使得分割变得困难。深度学习的最新进展为克服这些挑战提供了许多创新解决方案，显著提高了息肉分割的性能[5]。在一个值得注意的方法中，Akbari等人[6]开发了一种结合全卷积网络和Otsu阈值算法的混合方法，该方法在通过连通组件分析隔离主导息肉区域方面表现出色。同时，Sun等人[7]引入了一种改进的FCN设计，该设计整合了扩张卷积层，在获取全面的语义表示的同时成功保持了空间细节。UNet[8]及其变体通过编码器-解码器设计取得了显著突破。这些模型通过逐步上采样并将解码器的高层次数据与编码器的相应低层次特征通过跳跃连接合并，实现了改进的语义和上下文融合。像ResUNet++[9]和UNet++[10]这样的显著变体非常适合息肉分割任务，表现出色。然而，当前的一些方法侧重于勾画整个息肉区域，从而忽略了重要的边界细节。一些研究尝试通过在区域内整合边界限制或使用多任务框架来解决这个问题，从而提高了分割精度[11]。此外，Fan等人[12]使用了反向注意力模块来充分利用边界线索，从而提高了分割精度。

尽管自动化息肉分割已经取得了显著改进，但仍有许多挑战需要解决。首先，在涉及平坦病变或肠道准备不理想的情景中，息肉与周围组织之间的视觉对比度可能不足，导致分割错误。因此，整合边界感知信息对于准确捕捉息肉区域与其周围环境的空间关系至关重要。其次，尺度变化是一个重大挑战，需要进一步研究能够在卷积层内有效表征多尺度信息的方法。最后，尽管卷积神经网络（CNN）由多个在不同尺度上操作的层组成，但较浅的层捕获结构细节，而较深的层捕获识别息肉区域所需的高级语义特征。因此，将这些深层语义特征与结构信息有效整合起来，以生成准确可靠的最终分割图仍然是一个巨大的挑战。

虽然基于CNN的方法[13]在局部建模方面表现出色，但它们固定的感受野从根本上限制了它们捕捉长距离依赖关系的能力，从而影响了在大规模病变或模糊边界上的性能。尽管基于Transformer的方法[14]，[15]通过全局自注意力解决了这个问题，但它们的二次复杂性导致了过高的计算开销，特别是在密集预测的高分辨率特征上。相比之下，Vision Mamba采用了一种选择性的状态空间机制，以线性复杂性实现了全局上下文建模。这种效率使其非常适合在严格约束下的层次聚合，使我们的框架能够在不同尺度上保持精确的边界和语义一致性。

在本文中，我们提出了一种基于Vision Mamba的多层次上下文聚合网络（VMMCA-Net）用于息肉分割。我们的框架利用多层次和多尺度特征来收集跨越多个尺度的语义信息和特征。为了有效地在网络内部获取和整合多尺度信息，我们提供了一个分层自适应Mamba块（HAMB），该块利用Vision Mamba机制捕捉长距离依赖关系以提高分割精度。为了增强跨层次特征交互，我们设计了跨特征耦合模块（CFCM），它能够高效地整合相邻的层次特征，促进稳健的尺度不变上下文建模。此外，还开发了基于边界的转换模块（BCM），将边界相关线索注入分割过程，细化空间定位和结构勾画。总体而言，我们的框架将边界信息与语义特征结合起来，增强了特征层次结构，提高了分割的准确性。在多个结肠镜数据集上的实验结果表明，VMMCA-Net的性能优于其他最先进的息肉分割方法。此外，消融研究证实了每个模块的单独贡献，强调了它们在实现观察到的性能提升中的重要性。

本文的主要贡献总结如下：

• 我们提出了一种基于Vision Mamba的多层次上下文聚合网络（VMMCA-Net），该网络将边界线索与多层次语义表示相结合，实现了高精度的息肉分割。
• 我们提出了一个分层自适应Mamba块（HAMB），用于无缝整合多尺度卷积和自适应注意力机制，确保捕捉长距离依赖关系，从而增强特征表示。
• 我们开发了一个跨特征耦合模块（CFCM），有效地整合了相邻层次的特征，促进了稳健的跨层次融合，并解决了尺度变化问题，以提高分割精度。
• 我们设计了一个基于边界的转换模块（BCM），用于将边界相关线索纳入分割过程，从而减少预测不准确性。

相关研究

相关工作

在本节中，我们回顾了与所提出的框架相关的三种类型的研究工作，包括医学图像分割、结肠息肉分割和多尺度/层次特征表示。

网络概述

图1展示了所提出的基于Vision Mamba的多层次上下文聚合网络的架构，包括三个关键组件，即分层自适应Mamba块（HAMB）、跨特征耦合模块（CFCM）和基于边界的转换模块（BCM）。这些组件可以捕获多尺度、跨域和特定边界的特征，从而提高分割性能。具体来说，一个输入图像最初被输入

数据集和评估指标

数据集。我们在五个基准数据集上进行了比较实验，以评估我们方法的有效性，每个数据集的详细信息如下。CVC-ClinicDB [37]：该数据集包含612帧图像，每帧的分辨率为288 × 384像素。ETIS [38]：包含196张息肉图像，每张图像的尺寸为966 × 1225像素。CVC-ColonDB [19]：该数据集包含380张息肉场景图像，每张图像的尺寸为500 × 570像素。Kvasir [39]：该数据集包含1000张

结论

在本文中，我们提出了VMMCA-Net，这是一种用于息肉分割的新框架。虽然之前的基于CNN和Transformer的方法在跨尺度特征融合和边界模糊方面经常遇到困难，但我们的方法提供了更适应性的机制，用于全局上下文聚合和精确的边缘勾画。在多个公共基准测试上的广泛实验证实，VMMCA-Net的性能优于最近的最先进方法。尽管它具有很大的潜力

CRediT作者贡献声明

Jiaye Chen：撰写——原始草稿，验证，软件，方法论，形式分析。Jian Ding：调查，形式分析。Tianyang Xu：数据管理，概念化。Rui Wang：可视化，验证。Xiaoning Song：监督，项目管理，概念化。Tao Zhou：撰写——审稿与编辑，监督，资源，方法论，概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。作者是该期刊的编委会成员/主编/副主编/客座编辑，并未参与本文的编辑审查或发表决定。