基于视觉Mamba-CNN的涂鸦分割方法：在弱监督学习环境下应用于光声断层成像

《Expert Systems with Applications》：Visual Mamba-CNN for Scribble-Based Segmentation in Weakly Supervised Learning for Photoacoustic Tomography

光声成像（PA）器官分割面临标注数据不足和计算效率低的问题。本文提出融合CNN与Mamba架构的弱监督学习框架，结合MRI生成合成PA数据和多视图交叉伪标签机制，有效提升分割精度。实验证明该方法在模拟和真实小鼠腹部PA图像上均优于传统模型，显著改善边界划分和结构保留能力。

　　

周萌|任子音|谭秦林|杜欣|兰恒荣|高飞|Raymond Kai-Yu Tong

香港中文大学生物医学工程系，中国香港沙田

摘要

光声（PA）成像是一种强大的非侵入性医学成像技术，它结合了光学成像的高对比度和超声波的深组织穿透能力，能够提供组织和器官的结构和功能信息。通过对光声断层扫描（PAT）图像进行器官级别的分析，可以量化特定的形态和功能参数，这使得准确的器官分割成为基于PA图像分析的关键步骤。然而，大规模标注数据集的有限可用性仍然是一个主要挑战。为了解决这个问题，我们采用跨模态数据增强方法，通过MRI扫描生成合成PA图像。为了进一步减少人工标注的工作量，我们提出了一个基于弱监督学习（WSL）的框架，该框架利用了草图注释。由于许多深度学习模型难以从稀疏的标签中捕捉全局上下文，我们引入了一种新的架构，将传统的卷积神经网络（CNN）与Visual Mamba结合在一起，整合了局部和全局特征提取能力。这种混合设计在弱监督环境下提高了分割性能。我们在模拟的PA腹部数据集和真实的活体小鼠腹部PAT数据上验证了我们的方法，显示出在分割准确性和鲁棒性方面的显著改进。

引言

光声（PA）成像是一种非侵入性的混合生物医学成像技术，它结合了光学成像的高对比度和超声波的深组织穿透能力（Gao等人，2017年；Ly等人，2022年；Xiaohua、Fei和Yuanjin，2015年；Zhong、Duan、Lan、Zhou和高，2018年）。在PA成像方法中，光声断层扫描（PAT）作为一种强大的工具，能够提供关于组织形态和功能的见解。在PAT中进行准确的器官分割对于提取定量指标（如器官形状、大小、色素浓度和药物分布）至关重要，这些指标对于表征组织特性是必不可少的。

尽管深度学习的最新发展显著提高了PA图像分割的效果，但仍需解决一些关键限制。完全监督的方法通常需要像素级别的注释，但对于高分辨率的3D或时间序列PA数据来说，这样的标签很难获得。为了减轻人工标注的负担，研究人员越来越关注两种互补策略：合成数据生成和弱监督学习（WSL）。为了解决PA数据标注稀缺的问题，合成数据生成已成为一种越来越重要的策略。特别是，从解剖学MRI生成PA图像已被证明是一种可行且有效的方法。Lou等人（Lou、Zhou、Matthews、Appleton和Anastasio，2017年）开发了一个用于光声和超声乳腺成像的解剖学上真实的数值模型框架，为利用MRI衍生的结构进行模拟PA数据生成奠定了基础。这种基于模拟的方法也被几项最近的研究用于PA成像任务的模型训练和验证。例如，Yang和高（Yang和高，2019年）提出了EDA-Net，它使用模拟PA数据集准确估计了深层乳腺组织的血氧饱和度。同样，Zhang等人（Zhang等人，2023年）引入了一个数字PA脑模型，并证明合成数据可以有效支持基于深度学习的图像重建。这些研究共同支持了在真实数据有限的情况下使用MRI生成的合成数据训练深度PA分割模型的有效性。

同时，像草图标签这样的稀疏标注策略（Zhou、Xu、Zhou和Tong，2023年）允许在有限的监督下进行图像分割，显著降低了标注成本。然而，基于草图的监督通常在空间精度上存在局限，尤其是在物体边界附近，这会降低分割质量。

与此同时，PA成像数据的增长规模和复杂性要求更高效的计算模型。基于Transformer的架构（如ViT，Alexey，2020年）在医学图像分割领域取得了成功，尤其是在有限监督的情况下。然而，它们相对于输入大小的二次计算复杂性对高分辨率PA图像提出了实际限制。最近，结构化状态空间模型（SSMs）（以Mamba网络为例，Gu和Dao，2023年）被探索为实用的替代方案。这些模型结合了长距离依赖建模和线性复杂性，为高效图像分割提供了有吸引力的解决方案。基于Mamba的架构已经在各种医学成像任务中取得了成功（Li、Huang、Wang和Liu，2025年；Ruan和Xiang，2024年；Xing、Ye、Yang、Liu和Zhu，2024年），但它们在PA成像中的潜力尚未得到充分探索。

为了应对标注有限和计算限制这两个挑战，我们提出了Visual Mamba-CNN，这是一种新的混合分割框架，它将结构化状态空间的长距离依赖建模与卷积神经网络（CNN）的空间精度结合起来。所提出的方法适用于草图监督下的PA图像分割，并通过结合基于MRI的合成PA数据和多视图交叉伪标注机制得到了进一步增强。

我们的主要贡献如下：

• •
  我们提出了Visual Mamba-CNN，这是一种结合CNN和Mamba模块的混合架构，能够在弱监督下实现PA图像的准确和高效分割。
• •
  我们引入了一种使用MRI衍生的PA模拟数据进行合成数据增强的策略，以解决真实世界数据标注稀缺的问题。
• •
  我们采用多视图学习和交叉伪监督来提高弱监督环境下的分割准确性和鲁棒性。

章节摘录

深度学习在PA图像分割中的应用

深度学习技术在PA图像分析方面取得了显著进展，特别是在语义分割领域。CNN已有效应用于多种PA分割任务中。例如，Sparse U-Net（S-UNet）（Chlis等人，2020年）在多光谱光声断层扫描（MSOT）中展示了改进的血管分割性能，提高了不同波长下的鲁棒性，同时减少了对手动注释的依赖。在全身小动物成像中，

方法

我们提出的弱监督分割框架Visual Mamba-CNN的概述如图2所示。所提出的架构结合了卷积网络的空间细节提取能力和Mamba模块的长距离依赖建模，实现了具有局部和上下文理解的准确分割。这种设计是为草图监督下的PA图像分割量身定制的多视图学习方案。

讨论

为了在弱监督下提高分割性能，我们将Mamba框架与CNN结合在一起。利用Mamba建模长距离依赖性的能力，与传统CNN相比具有显著优势，特别是在分割标注稀疏或模糊的区域时。我们的实验结果表明，这种混合架构增强了边界划分，并更好地保留了解剖结构，解决了现有弱监督方法的常见限制。

结论

在这项研究中，我们通过结合真实的模拟PA数据生成和基于草图的注释，开发了一个用于PA图像分割的弱监督学习框架。具体来说，我们从MRI数据生成了合成PA图像，以解决标注数据集的稀缺问题，并提出了一个混合分割模型，该模型结合了CNN进行局部特征提取和Visual Mamba架构进行高效的全局上下文建模。

广泛的实验结果表明，

CRediT作者贡献声明

周萌：研究、可视化、监督、写作——初稿撰写、审阅与编辑、研究、方法论、验证、可视化、写作——初稿撰写。任子音：研究、可视化、写作——审阅与编辑。谭秦林：研究、可视化、写作——审阅与编辑。杜欣：研究、可视化、写作——审阅与编辑。兰恒荣：资金获取、监督、项目管理、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。