基于Mamba-Transformer混合架构的腹部超声图像AI辅助解剖结构识别与分割研究

【字体: 时间:2025年07月24日 来源:Frontiers in Artificial Intelligence 4.7

编辑推荐:

  这篇研究论文创新性地提出MaskHybrid框架,通过融合Mamba状态空间模型与Transformer架构(mAP15达74.13%),在34,711例腹部超声图像中实现肝静脉、胆囊等9类解剖标志物的高效分割(推理时间0.120±0.013秒),为临床实时诊断提供AI解决方案。

  

1 引言
腹部超声(US)作为临床常规检查手段,其图像解读面临分辨率低、器官边界模糊等挑战。传统深度神经网络(DNN)和Transformer模型在保持特征依赖性与计算效率间难以平衡。针对34,711张临床超声图像的分析显示,现有方法在同时识别多器官时存在局限,亟需开发兼顾精度与速度的新型架构。

2 材料与方法
2.1 数据集
研究采用CSMUH医院2,063例患者的腹部US图像,涵盖肝静脉、门静脉等7类器官和肝囊肿/肿瘤2类病变。通过GrabCut算法生成多边形标注,按6:2:2比例划分训练/验证/测试集。

2.2 算法创新
提出的MaskHybrid框架包含三大模块:

  • 混合骨干网络:前两阶段采用卷积块,后两阶段融合4层Mamba-2模块与4层多头自注意力块
  • 混合编码器:6层Transformer中替换1层为Mamba-2块,增强长程依赖捕捉
  • 纯Transformer解码器:9层结构避免小token场景下Mamba的交互不足

2.3 评估指标
采用mAP15(IoU阈值0.15)作为主要指标,兼顾临床实用性与筛查需求。

3 结果
3.1 性能对比
MaskHybrid以74.13% mAP15超越基线模型:

  • 大器官分割优异:胆囊(91.79%)、肾脏(95.47%)
  • 血管结构突破:肝静脉(60.71%)识别率提升显著
  • 推理速度达0.120秒,较Swin-T快2.5倍

3.2 可视化优势
如图4所示,模型成功识别基线漏诊的肝静脉(图A)和门静脉(图B),且避免假阳性肿瘤标记。

4 讨论
4.1 计算效率突破
Mamba的并行化循环机制将Transformer的O(N2)复杂度降至线性,实现精度与速度双提升。
4.2 临床适应性
低IoU阈值设计更符合实际筛查需求,如图6所示,模型甚至能补全专家漏标的肝静脉结构。
4.3 局限性
严重肠气干扰图像未纳入训练,且存在左右方位误判案例(如肝脾混淆)。

5 结论
该研究开创性地将Mamba与Transformer融合,为腹部超声实时AI诊断建立新范式,未来可拓展至肿瘤亚型鉴别等深度应用场景。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号