基于拉普拉斯滤波注意力与风格迁移GAN的脑肿瘤MRI缺失序列修复研究

【字体: 时间:2025年10月12日 来源:Scientific Reports 3.9

编辑推荐:

  为解决多模态脑肿瘤MRI数据缺失导致的模型偏差问题,研究人员开发了LASTGAN模型,结合拉普拉斯滤波注意力机制与风格迁移技术,实现了高质量缺失序列合成。实验表明该方法在SSIM、NRMSE等指标上优于现有模型,并能有效支持数据增强与插补任务,对医学人工智能应用具有重要意义。

  
在医学人工智能领域,多模态数据联合训练通常能显著提升深度学习模型的鲁棒性与准确性。然而,脑肿瘤磁共振成像(MRI)临床实践中常面临序列缺失或损坏的挑战——患者可能因扫描设备限制、运动伪影或存储故障导致部分序列不可用。这种数据不完整性会引入显著模型偏差,尤其对胶质母细胞瘤(GBM)和低级别胶质瘤(LGG)等疾病诊断产生关键影响。传统生成对抗网络(GAN)虽能合成医学图像,但1-to-n转换方法难以充分捕捉特定序列的域特征(如增强肿瘤在T1Gd序列中的显影特性),而多输入模型又易出现棋盘伪影或结构失真。
为解决这些问题,首尔国立大学研究团队在《Scientific Reports》发表研究,提出拉普拉斯滤波注意力风格迁移生成对抗网络(LASTGAN)。该框架通过创新性融合图像插补与图像到图像翻译技术,实现了从任意可用MRI序列(T1、T1Gd、T2、FLAIR)中合成高质量缺失序列。核心突破在于引入拉普拉斯滤波注意力模块——利用边缘检测算子强化解剖结构与肿瘤区域的细节保存,同时通过风格编码器与风格映射器注入域特异性风格向量,使合成图像既保持整体脑结构一致性,又精准呈现肿瘤的序列特异性表征。
研究采用BraTS 2016-2017数据集(含750例患者的多模态MRI),通过预处理将图像归一化至[-1,1]范围并应用N4偏置场校正。关键技术方法包括:①生成器双编码器架构(图像编码器+掩码编码器)与AdaIN风格注入;②拉普拉斯滤波注意力模块实现多尺度特征强化;③多周期一致性损失(MCC)与对抗训练策略;④基于结构相似性指数(SSIM)、归一化均方根误差(NRMSE)与感知相似性(LPIPS)的量化评估。

网络架构

LASTGAN包含四个子网络:生成器G、判别器D、风格编码器E和风格映射器M。生成器通过双路径编码器提取可用序列与肿瘤掩码的特征,经拉普拉斯注意力模块计算注意力图并注入解码器。风格系统通过回归预测缺失域风格向量,最终通过AdaIN层实现域特定合成。实验证明该设计有效避免多输入数据混淆问题。

拉普拉斯滤波注意力机制

该模块通过卷积层与拉普拉斯算子(Laplacian filter)提取边缘特征,生成权重图与原始特征相加。消融实验显示,移除该模块导致SSIM指标平均下降14%,证明其对保持肿瘤边缘与解剖结构的关键作用。

定量评估结果

与StarGAN v2、CollaGAN和ResViT对比,LASTGAN在SSIM(0.9142)、NRMSE(0.01921)和PSNR(25.5582)指标上均取得最优值。肿瘤区域专项评估中,NRMSE(0.14919)与PSNR(68.02320)显著优于对比模型,证明其肿瘤特异性合成能力。

数据增强与插补验证

通过U-Net分割实验表明,使用LASTGAN合成数据增强50%时,DICE系数提升至0.6742(基线为0.6594)。在序列随机缺失的插补场景下,50%插补率可使DICE从0.5679恢复至0.6321,证明合成数据可有效缓解缺失数据引起的性能退化。
研究结论强调:LASTGAN首次将拉普拉斯滤波与注意力机制结合用于MRI合成,解决了多模态学习中风格解耦与结构保真的平衡问题。尽管存在对肿瘤掩码依赖性与计算资源消耗的局限,但该框架为罕见病数据扩充与临床模型训练提供了新思路。未来工作将探索多类别肿瘤掩码与增强序列合成的优化方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号