基于注意力驱动双流特征融合网络的稀疏光声图像重建新方法

《Photoacoustics》:Attention-Driven Complementary Information Fusion Network for Sparse Photoacoustic Image Reconstruction

【字体: 大 中 小 】 时间:2026年01月12日 来源:Photoacoustics 6.8

编辑推荐:

  本文针对有限视角稀疏采样光声成像中传统重建方法(如DAS)存在严重伪影和细节丢失,而现有深度学习方法难以从严重欠采样数据中准确恢复精细结构的问题,提出了一种名为DUAFF-Net的新型双流深度学习架构。该网络通过并行处理DAS重建图像和像素级插值原始数据,并采用多级注意力特征融合策略,在模拟视网膜血管、脑结构及小鼠腹部in vivo数据集上验证表明,DUAFF-Net能显著提升图像质量(PSNR提升约18.38 dB,SSIM提升约0.69),有效抑制伪影并保留精细解剖细节,为高质量光声断层成像提供了创新解决方案。

  
在生物医学成像领域,光声断层成像(PAT)作为一种新兴的混合模态,巧妙地将高光学对比度与高超声分辨率融为一体,以其非侵入性和数毫米至厘米级的组织穿透深度,展现出巨大的临床应用潜力。然而,完美的成像往往受制于现实条件。当传感器阵列因物理或几何限制(如昂贵的换能器、尺寸限制、深部组织复杂的声学窗口)无法实现全角度密集采样时,就会导致数据不完整,引发严重的有限视角和稀疏采样问题。传统的重建方法,如延迟求和(DAS),在这种情况下重建的图像通常被严重的伪影和模糊的结构细节所困扰,仿佛透过一扇布满雨渍的窗户观察世界,难以分辨真实景象。
近年来,深度学习(DL)为突破这一瓶颈带来了希望。研究者们尝试了多种策略,包括直接在信号域进行预处理、端到端地从传感器信号映射到图像,或者对传统算法初步重建的图像进行后处理增强。然而,这些方法各有局限:端到端方法处理高维、非对称的PAT数据时面临计算挑战;而后处理方法则严重依赖初始输入图像的质量,若初始图像本身已严重失真,网络便难以恢复丢失的精细特征。一些研究开始探索融合信号域和图像域信息的双域方法,例如Y-Net架构,但它们在有效挖掘和融合不同数据源(如图像域的结构信息和信号域的细节信息)的互补优势方面仍面临核心挑战,尤其是在数据极度不完整的极端条件下。
为了解决这些关键问题,汕头大学医学院的研究团队在《Photoacoustics》上发表论文,提出了一种名为DUAFF-Net(双流U-Net注意力特征融合网络)的新型深度学习框架。该网络的核心创新在于其独特的双输入流设计和分阶段、多层次的注意力特征融合机制。
研究人员为开展此项研究,主要运用了几项关键技术方法。首先,他们构建了模拟光声数据集,包括视网膜血管和脑MRI图像,并利用k-Wave工具箱生成光声信号数据,模拟64传感器180度半圆形阵列的有限视角稀疏采样条件。同时,他们使用了公开的in vivo小鼠腹部数据集(MSOT-Abdomen)进行跨域验证,并采用了迁移学习策略来适应真实生物成像场景。网络架构上,DUAFF-Net包含两个核心子网络:SFE-UNet(结构特征提取UNet)负责处理DAS重建图像,其核心是引入了多尺度残差注意力模块(MSRA-Module)以增强多尺度特征表示;PFE-UNet(像素级特征提取UNet)负责处理经过像素级插值预处理的多通道空间映射数据,集成了选择性核注意力(SK-Attention)和深度可分离卷积以灵活捕捉多视角特征。最关键的是其融合策略:设计了MIAF-Module(多级流间注意力融合模块)在网络的浅层和中间层实现双流特征的早期交互和初步融合;并在网络末端设计了GCDF-Module(全局上下文与密集特征融合模块)进行深层特征的全局整合与优化。损失函数则结合了Smooth L1损失和均方误差(MSE)损失,以平衡结构保真度和像素级精度。
2.3.2. Structural Feature Extraction UNet(SFE-UNet)
SFE-UNet是DUAFF-Net中处理DAS图像的关键分支。其核心改进是在经典U-Net架构中全面采用MSRA-Module替代标准卷积层,该模块通过并行处理不同感受野的分支,并结合CBAM注意力机制,能有效解耦DAS图像中不同尺度的伪影和真实结构,从而提取出更鲁棒和信息丰富的宏观结构特征。结果表明,SFE-UNet在SSIM和PSNR指标上均显著优于仅使用标准U-Net处理DAS图像的基线模型。
2.3.3. Pixel-Level Feature Extraction UNet(PFE-UNet)
PFE-UNet是处理像素级插值数据的并行分支。其优化包括在编码器阶段结合SK-Attention和深度可分离卷积,以自适应调整感受野,灵活捕捉不同视角和尺度的信息;在瓶颈层整合扩张卷积和自注意力机制以捕获多尺度上下文特征和全局关系。实验表明,PFE-UNet能够从插值数据中有效学习并恢复出初步的血管结构,其性能远优于标准U-Net处理同类输入的结果。
2.3.4. Feature Fusion
特征融合是DUAFF-Net成功的关键。研究表明,其两阶段融合机制(MIAF-Module和GCDF-Module)协同工作,显著提升了重建质量。MIAF-Module采用物理先验引导的非对称检索策略,以DAS特征为Query,像素插值特征为Key和Value,使网络能够利用可靠的结构骨架从插值流中“检索”缺失的高频细节,实现了早期的信息互补。GCDF-Module则通过全局上下文建模和密集特征细化,在终端深度整合双流高层特征。消融实验证实,完整的DUAFF-Net(同时使用MIAF和GCDF)取得了最佳性能,其SSIM和PSNR显著高于仅使用简单末端融合或单个融合模块的配置。
3. Experiments
在模拟视网膜血管数据集上的实验表明,DUAFF-Net的重建结果在视觉上最接近真实图像(GT),能清晰、完整地重建血管分支和锐利边缘,有效抑制伪影。定量评估显示,其平均SSIM(0.9014)和平均PSNR(20.6815 dB)均显著优于DAS、U-Net、Y-Net、SwinIR和AS-Net等对比方法。在更具挑战性的模拟脑结构重建任务中,DUAFF-Net同样在视觉清晰度和定量指标(SSIM: 0.861, PSNR: 27.025 dB)上全面领先,能准确恢复灰白质边界等自然精细结构。在in vivo小鼠腹部数据上的跨域验证进一步证明了DUAFF-Net的泛化能力和临床适用性,其重建图像具有最清晰的解剖边界和最少的伪影。消融研究系统验证了SFE-UNet、PFE-UNet以及MIAF、GCDF各个模块的有效性和贡献,表明即使是在简单的U-Net骨架上,所设计的双流融合策略带来的性能增益也显著高于单流增强模块。
4. Discussion
讨论部分指出,DUAFF-Net的卓越性能归功于其整体架构和创新模块的协同作用。MSRA-Module增强了SFE-UNet对DAS图像的特征表示能力,为融合提供了高质量的结构先验。MIAF-Module建立的早期信息通路至关重要,它通过跨流注意力机制实现了宏观结构和微观细节的互补,有效纠正了有限视角引起的结构偏差,并避免了幻觉细节的产生。GCDF-Module则通过全局上下文和密集连接确保了最终融合特征的质量和一致性。通过迁移学习策略,DUAFF-Net成功地将从模拟数据中学到的特征适应到真实的in vivo成像领域,证明了其解决仿真到现实域差异的潜力。同时,研究也指出了当前工作的局限性,如未来需要集成不确定性量化技术,以及将框架扩展到原生3D重建以适应3D波传播特性。
5. Conclusion
综上所述,本研究针对有限视角稀疏采样光声图像重建的挑战,成功提出并验证了DUAFF-Net这一新型深度学习框架。该网络通过其创新的双输入流和分阶段多层次注意力特征融合机制,有效融合了DAS初始重建图像提供的宏观结构信息与像素级插值数据蕴含的丰富细节特征,实现了宏观结构与微观细节的协同捕获。在模拟视网膜血管、脑结构以及in vivo小鼠腹部数据上的大量实验证明,DUAFF-Net在重建质量和客观评价指标上均显著优于传统方法和现有先进深度学习模型。系统的消融研究验证了网络核心组件(SFE-UNet, PFE-UNet, MIAF-Module, GCDF-Module)设计的合理性和有效性。DUAFF-Net为高质量光声断层成像,特别是在数据不完整的苛刻条件下,提供了一种高效且稳健的解决方案,对推动高精度光声成像技术的发展和临床应用具有重要价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号