Spiking U-Mamba:结合SNN与U-Mamba的双路径超声心动图图像分割方法

《Electronics》:Spiking U-Mamba: A Dual-Pathway Method for the Segmentation of Echocardiographic Images by Combining SNN and U-Mamba

【字体: 大 中 小 】 时间:2026年08月29日 来源:Electronics 2.9

编辑推荐:

  摘要:超声心动图中心脏的自动分割能够显著提升心脏功能评估的效率与有效性,并为临床诊断、治疗方案制定和疾病筛查提供客观、可重复的定量证据。医学人工智能领域已取得许多优秀成果;然而,仍存在改进空间,例如超声心动图中时间信息的利用。本文提出了Spiking U-Ma

  
摘要:超声心动图中心脏的自动分割能够显著提升心脏功能评估的效率与有效性,并为临床诊断、治疗方案制定和疾病筛查提供客观、可重复的定量证据。医学人工智能领域已取得许多优秀成果;然而,仍存在改进空间,例如超声心动图中时间信息的利用。本文提出了Spiking U-Mamba模型,该模型引入了三个新颖模块,即MultiStepLIFEncoder、BidirectionalFeatureFusion和FeatureRefinementBlock。MultiStepLIFEncoder将静态特征编码为时空脉冲序列,以增强模型的边界分辨能力;BidirectionalFeatureFusion实现了Mamba全局特征与脉冲特征之间的双向交互和注意力增强;FeatureRefinementBlock进一步细化融合后的特征,并确保梯度的稳定传播。采用两个公开超声心动图数据集CAMUS和EchoNet-Dynamic对所提出的Spiking U-Mamba模型进行了评估。在CAMUS数据集上,Spiking U-Mamba在舒张末期(ED)阶段达到了90.16%的Dice系数,在收缩末期(ES)阶段达到了90.54%的Dice系数,优于其他SOTA方法;在EchoNet-Dynamic数据集上,Spiking U-Mamba同样表现良好。由于采用了脉冲神经网络(SNN),所提出的Spiking U-Mamba模型在分割精度和计算成本之间取得了良好平衡。
论文解读:

**研究背景与问题**

超声心动图是心血管疾病临床诊断和功能评估的首选影像学手段。准确分割左心室及相关心腔结构,对于计算射血分数、心室容积和心肌质量等核心临床指标具有决定性意义。然而,超声图像固有的低对比度、斑点噪声和模糊边界,加上传统手动分割方法效率低、主观性强和可重复性差等缺点,严重制约了超声心动图在精准医学和大规模临床中的应用。因此,开发自动、高精度且鲁棒的心腔分割技术成为当前领域的研究热点和挑战。

近年来,深度学习(DL)技术的突破为超声心动图自动分析带来了范式转变。Mamba模型凭借长序列建模和线性计算复杂度等优势,非常适合医学图像分割任务。然而,直接应用于医学图像时仍存在不足:其一,Mamba源于一维序列建模,直接用于二维或三维医学图像易破坏局部空间连续性;其二,单向扫描机制缺乏全局位置感知,对边界细节敏感度有限;其三,模型对输入分辨率缩放鲁棒性差,易受图像伪影干扰。针对超声心动图噪声强、边界模糊、时间动态复杂以及长程依赖建模与计算效率难以平衡等问题,已有研究尝试引入状态空间模型(SSM)和Mamba架构并做出针对性改进。例如,P-Mamba结合Perona-Malik扩散与Vision Mamba层;MSV-Mamba通过级联残差块和多尺度Mamba模块增强特征;HSS-Net利用层级设计捕获时空依赖。U-Mamba Bot模型通过混合CNN-SSM架构缓解了Mamba局部建模不足,但仍存在对超声心动图时间动态信息利用不充分、特征交互机制局限于Mamba层等问题。为此,本文提出Spiking U-Mamba模型作为改进方案。

**研究目的与模型架构**

研究人员在U-Mamba Bot基线基础上引入了三个创新模块:MultiStepLIFEncoder、BidirectionalFeatureFusion和FeatureRefinementBlock,构建了“脉冲时序编码—跨特征双向融合—融合后细化与残差保持”的三阶段增强流水线。MultiStepLIFEncoder通过多时间步LIF神经元建模和可学习时间注意力,将瓶颈特征转换为携带时间信息的脉冲序列,捕获心脏动态中的瞬态边界信息。BidirectionalFeatureFusion通过门控、双向特征变换和注意力增强,实现Mamba提取的全局上下文与SNN建模的时间动态之间的深度交互与互补集成。FeatureRefinementBlock对融合特征进行卷积细化和通道重标定,并以残差方式叠加原始瓶颈特征,增强语义表达同时保留最深层抽象信息。

**关键技术方法**

该研究主要采用了以下关键技术:脉冲神经网络(SNN)中的多步LIF神经元模型(MultiStepLIFNode),通过时间维展开和代理梯度方法实现可训练;Mamba架构中的选择性状态空间模型(SSM),利用并行扫描和输入依赖选择机制进行全局建模;双向特征融合策略,结合门控卷积、双向特征变换网络、通道注意力(Squeeze-and-Excitation)和空间注意力;特征细化模块(Post_Fusion)与全局残差连接;复合损失函数,结合Dice损失和二元交叉熵损失,并采用梯度裁剪和自动混合精度训练。实验基于CAMUS数据集(500例患者,其中450例训练、50例测试)和EchoNet-Dynamic数据集(10,030个心尖四腔心超声视频),输入图像大小分别为224×224和112×112,训练100轮并采用早停机制。

**实验结果**

在CAMUS数据集上,Spiking U-Mamba在舒张末期(ED)阶段和收缩末期(ES)阶段的Dice系数分别达到90.16%和90.54%,均优于其他SOTA方法;ES阶段的HD95指标也最佳。ED阶段的HD95略逊于ERDUnet,因为后者针对边界精度专门优化。在EchoNet-Dynamic数据集上,Spiking U-Mamba所有指标均达到次优值,仅次于U-KAN模型。研究人员认为,U-KAN在二值分割任务中因结构简单、参数高效而表现优越,但Spiking U-Mamba的Mamba+SNN架构在四分类边界判别上更具优势。

消融实验验证了三个模块的有效性。FeatureRefinementBlock通过Post_Fusion和残差连接保留了原始语义信息,改善HD95指标。MultiStepLIFEncoder与BidirectionalFeatureFusion协同作用,使模型同时利用空间结构和脉冲时序动态。时间步长(time_steps)实验表明,当时步设为4时,ED阶段Dice达到最高90.16%,故设定为4。模型参数量为17.51M,浮点运算量(FLOPs)为32.19G,训练时间为1.34小时,吞吐量达387.03张/秒。脉冲活动热图显示,在t=2时关注整体区域,t=4时细化细节部分。

**讨论与结论**

改进后的模型在脉冲编码策略上虽通过时间维扩展模拟了时间信息,但并未真正利用动态超声视频的帧间时序。未来工作拟探索更高效的脉冲编码策略,并引入双向Mamba或LSTM等时间建模模块,以利用连续帧的动态信息。总之,Spiking U-Mamba通过在U-Mamba Bot中引入三个创新模块,实现了脉冲神经网络与Mamba架构的深度集成,在CAMUS和EchoNet-Dynamic上取得优秀分割性能,同时在计算效率上达到良好平衡。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号