AttCL-GAN：基于注意力对比学习的生成对抗网络，用于医学图像的多模态补全

《Knowledge-Based Systems》：AttCL-GAN: Attentional Contrastive Learning-based Generative Adversarial Network for Modality Completion of Medical Images

多模态医学图像生成模型AttCL-GAN通过注意力引导对比学习、增强型AdaIN生成器及风格代码多样性损失，解决病灶生成不足、细节缺失和模态相似度高的问题，显著优于现有GAN方法，并在BraTS数据集验证生成与分割效果。

　　
该研究针对多模态医学图像分析中普遍存在的模态缺失问题展开创新探索。传统多模态模型对数据平衡性要求较高，而实际临床场景中常因设备差异、隐私保护或检查遗漏导致部分模态数据缺失。作者团队通过改进StarGAN v2架构，提出具有临床实用价值的AttCL-GAN模型，在医学图像生成与分割任务中取得突破性进展。

在问题分析层面，研究揭示了现有StarGAN系列模型在医学应用中的三大局限：其一，病灶样本在正常组织包围下易被忽略，导致生成模型对病理区域的表征不足；其二，跨模态转换时对血管结构、细胞排列等微观组织特征的捕捉能力有限；其三，不同模态生成的图像存在显著风格趋同现象，影响下游分析的判别效度。这些发现为改进多模态生成模型提供了明确的技术路径。

核心创新体现在三个协同优化模块的集成应用。首先，注意力引导的对比学习模块通过动态选择关键区域（如肿瘤边缘、脑脊液界面）作为锚点，构建多尺度特征对比机制。该模块创新性地将空间注意力图与通道注意力特征融合，引导模型在跨模态转换时优先学习解剖结构不变性，有效解决病灶生成能力不足的问题。实验数据显示，在BraTS数据集的脑膜瘤分割任务中，该模块使病灶生成完整度提升27.6%。

其次，注意力增强的自适应实例归一化（AdaIN）模块重构了生成网络的特征融合方式。传统AdaIN仅利用通道注意力特征进行风格迁移，而本方法通过融合空间注意力图与原始特征图，形成多维特征融合输入。这种改进显著提升了组织纹理的保真度，在对比实验中，生成的T2加权像的灰度分布与真实样本的Kolmogorov-Smirnov检验差异降低至0.013，较基线模型提升41.2%。

第三，风格代码多样性损失的创新设计解决了模态混淆问题。该损失函数通过计算不同模态生成风格的欧氏距离，强制模型在保持解剖结构一致性的同时，实现色彩分布、纹理风格等视觉元素的差异化表达。在PET-CT转换任务中，该机制使生成图像的模态辨识度提升至92.3%，较原始StarGAN v2提升34.7个百分点。

研究团队构建了包含四类模态（T1加权、T2加权、FLAIR、DWI）的BraTS 2021数据集，该数据集包含230例多模态MRI影像，每个病例存在0-3种模态缺失的复杂场景。实验采用双阶段评估策略：首先通过Isometry指标验证生成质量，其次在U-Net++分割模型上测试生成数据对下游任务的提升效果。

关键实验结果显示，AttCL-GAN在四类模态转换任务中均达到SOTA水平。以T1→DWI转换为例，PSNR值达到28.76dB，SSIM指数0.9321，较最优对比模型提升12.3%。在分割任务中，生成的模态缺失数据使Dice系数平均提升19.4%，其中脑膜瘤分割的Dice值从0.781提升至0.864。

技术验证部分通过消融实验证实各模块的必要性：单独启用ACL模块时，病灶区域生成完整度仅提升8.2%；AttAdaIN模块缺失时，组织细节的FID分数增加37.6%；SCD损失引入后，模态间IS metric差异扩大至0.89（基准模型为0.63）。这表明三大创新模块形成了互补增强的优化体系。

该模型的临床应用价值体现在两个方面：首先，通过模态补全技术，使单模态影像诊断准确率提升18.7%（以CT为基础的脑出血诊断为例）；其次，建立的跨模态生成基准允许临床医生快速验证不同影像模态的转换质量。社会影响层面，模型可降低医疗设备采购成本达40%，同时减少患者多次检查的放射暴露风险。

研究最后提出模块化部署方案，允许医疗机构根据实际需求选择启用特定模块。在硬件资源受限的基层医院，可仅启用基础生成模块；而在三甲医院的多模态中心，则可完整部署ACL+AttAdaIN+SCD组合。这种灵活架构使模型在30-2000张影像的设备上均能稳定运行，推理速度保持在4.2-8.5帧/秒，满足实时临床辅助需求。

该成果为解决多模态医学影像中的数据不平衡问题提供了新范式，其模块化设计思路可推广至其他跨模态生成任务。后续研究将重点优化小样本学习机制，并探索在术中实时影像融合中的应用潜力。