一种结合了卷积神经网络（CNN）和Transformer的生成对抗网络（GAN），通过互信息和基于灰度的损失函数来实现医学图像中的模态转换

《Biomedical Signal Processing and Control》：A GAN integrating CNN and transformer with mutual information and grayscale-based loss functions for modality translation in medical image

医学图像多模态缺失问题研究中，本文提出条件生成对抗网络（cGAN）结合跳跃卷积块（SLC）和多头卷积块（MHCB）的特征传递机制，并设计三重混淆特征模块（TSFM）和融合对比损失与域差异损失的函数，有效生成解剖结构合理的缺失模态图像。实验在肝脏CT、脑MRI和OCT数据集上验证，MAE 0.08-0.12，PSNR 21.32-27.33，SSIM 0.62-0.83，FID 28.94-88.57。

　　在医学影像分析领域，深度学习技术的快速发展为辅助诊断和治疗提供了强大的支持。然而，实际临床应用中，由于患者个体差异、设备故障以及数据存储问题，常常出现多模态数据缺失的情况，这直接限制了深度学习模型的训练效果和泛化能力。特别是在多相多模态数据基础上建立的分类和预后模型，数据缺失问题更加突出，导致模型性能下降，难以准确反映目标器官或病变的真实特征。为了解决这一挑战，研究人员提出了多种图像生成方法，其中生成对抗网络（GAN）因其在图像合成方面的出色表现而被广泛应用。

生成对抗网络通过生成器和判别器的对抗过程，能够生成与真实数据高度相似的图像。然而，传统GAN在处理医学图像时存在一些局限性。例如，现有生成器结构往往难以同时提取局部细节和全局语义信息，导致生成图像在结构和内容上与真实数据存在偏差。此外，判别器在识别生成图像时可能无法准确捕捉细节特征，影响模型的判别能力。另外，多数研究直接采用自然图像GAN中的损失函数设计，未能充分考虑医学图像的灰度特性和模态间的差异性，导致训练过程中的收敛速度和生成质量受到影响。因此，针对医学图像生成任务，亟需一种更高效的生成器架构和更精准的判别机制，以及能够反映医学图像特性的定制化损失函数。

针对上述问题，本文提出了一种新的生成对抗网络方法，称为DualMedGAN。该方法通过设计一种结合卷积神经网络（CNN）和视觉变换器（ViT）的双路径生成器，增强了模型在多模态数据缺失情况下的图像合成能力。生成器中引入了跳层卷积块（Skip-layer Convolutional Block, SLC）和多头卷积块（Multi-Head Convolutional Block, MHCB），这两个模块分别负责在梯度传递过程中保留源图像的特征信息，并在不同尺度上提取图像的局部细节和全局语义。这种结构设计不仅提高了生成图像的结构真实性，还增强了模型对源图像和目标图像之间信息差异的适应能力。

在判别器方面，本文提出了一种三重洗牌特征模块（Trigeminy Shuffle Feature Module, TSFM）。该模块通过三个并行分支分别处理图像的局部区域和全局上下文信息，从而增强判别器的特征编码能力。TSFM的设计使判别器能够更准确地识别真实图像与生成图像之间的差异，提升了模型的判别精度。此外，为了进一步优化生成效果，本文引入了一种融合对比项和差异项的新型损失函数，该损失函数不仅考虑了医学图像的灰度特性，还量化了源图像与目标图像之间的信息差距。通过在损失函数中嵌入互信息（Mutual Information）这一指标，模型能够在训练过程中更有效地调整生成策略，加速收敛至更具解剖学意义的输出结果。

本文的实验部分涵盖了肝部CT、脑部MRI和视网膜OCT三种医学影像数据集。实验结果表明，DualMedGAN在合成解剖学上合理的结构方面表现出色，包括血管、肿瘤和病变等关键组织结构。通过对比传统方法，DualMedGAN在多个评价指标上均取得了显著提升，例如平均绝对误差（MAE）在0.08到0.12之间，峰值信噪比（PSNR）在21.32到27.33之间，结构相似性指数（SSIM）在0.62到0.83之间，以及Frechet Inception Distance（FID）在28.94到88.57之间。这些指标的有效提升表明，DualMedGAN在解决多模态数据缺失问题上具有良好的应用前景。

DualMedGAN的生成器架构是本研究的核心创新之一。传统生成器往往仅关注局部特征提取，而忽略了全局语义信息的融合。本文提出的生成器通过结合CNN和ViT的优势，能够同时处理图像的局部细节和全局结构。CNN作为经典的卷积神经网络，擅长于提取图像的局部空间特征，而ViT则能够捕捉长距离的语义依赖关系。通过将这两种网络结构整合到生成器中，DualMedGAN能够在图像合成过程中更全面地保留源图像的信息，同时生成具有较高语义一致性的目标图像。此外，SLC的引入使得源图像的特征信息能够通过跳层连接传递到生成器的解码阶段，从而在生成过程中保持对源图像的忠实再现。MHCB则通过多头机制，分别提取图像的局部细节和全局语义，增强了生成器在不同尺度上的信息获取能力。

在判别器设计方面，TSFM的引入是本文的另一项重要贡献。传统判别器往往难以同时处理图像的局部和全局信息，导致其在识别生成图像时存在一定的局限性。TSFM通过三个并行分支分别处理局部区域和全局上下文，使得判别器能够在不同尺度上提取图像的特征信息。这种多尺度特征提取能力不仅提高了判别器的特征编码效率，还增强了其对生成图像细节的识别能力。此外，TSFM的结构设计还允许判别器在训练过程中更灵活地调整特征权重，从而提升其对生成图像的判别精度。

在损失函数设计上，本文提出了一种融合对比项和差异项的新型损失函数，该损失函数能够更好地适应医学图像的特性。医学图像通常具有较高的灰度对比度和特定的解剖结构，因此传统的自然图像损失函数可能无法准确反映医学图像的生成质量。本文的损失函数不仅考虑了图像的灰度分布，还引入了互信息作为量化指标，用于衡量源图像和目标图像之间的信息差异。通过在损失函数中嵌入互信息项，模型能够在训练过程中更有效地调整生成策略，从而提升生成图像的结构和语义一致性。此外，该损失函数还能够帮助模型更快地收敛至更具临床意义的输出结果，减少训练时间并提高生成效率。

DualMedGAN的实验部分在三个不同的医学影像数据集上进行了验证。其中，BraTS2018是一个多模态脑部MRI数据集，包含了285名患者的T1和T2相数据。通过将T1相作为源图像，T2相作为目标图像，DualMedGAN在生成T2相图像时能够有效保留T1相的结构信息，同时生成具有较高语义一致性的图像。实验结果表明，DualMedGAN在该数据集上的生成效果优于现有方法，特别是在图像的结构真实性和语义一致性方面表现突出。此外，本文还使用了一个私有的肝部CT增强数据集，该数据集包含了多种CT相数据，但由于某些患者无法接受增强扫描，导致部分数据缺失。通过使用DualMedGAN进行缺失CT相的合成，模型能够生成与真实数据高度相似的图像，从而弥补数据缺失带来的影响。最后，OCT2017数据集用于验证DualMedGAN在视网膜图像生成中的表现，实验结果同样显示该方法在生成结构合理、语义清晰的视网膜图像方面具有显著优势。

本文的研究成果对于临床诊断系统具有重要的应用价值。在实际医疗场景中，由于设备限制、患者禁忌症或数据存储问题，多模态数据往往存在缺失。这种数据缺失不仅影响了模型的训练效果，还可能导致诊断结果的偏差。通过使用DualMedGAN进行缺失模态的合成，可以有效提升诊断模型的泛化能力和准确性。此外，该方法还可以用于数据增强，帮助研究人员在有限的数据集上训练出更鲁棒的模型，从而提高医学影像分析的可靠性和实用性。

本文的研究还表明，医学图像生成任务需要综合考虑图像的结构特征、语义信息以及模态间的差异性。现有的方法往往过于依赖单一的网络结构或损失函数设计，而未能充分考虑医学图像的特殊性。DualMedGAN通过结合CNN和ViT的优势，引入了SLC和MHCB模块，以及TSFM判别器结构，为医学图像生成任务提供了一种更加全面和高效的解决方案。这种多模态、多尺度的生成策略不仅提高了生成图像的质量，还增强了模型在临床环境中的适用性。

此外，本文的研究还强调了医学图像生成过程中隐私保护的重要性。由于医学数据涉及患者隐私，因此在生成过程中需要确保数据的安全性和匿名性。本文提出的方法在生成图像的同时，能够有效保留源图像的关键信息，同时避免直接使用患者原始数据，从而在一定程度上保护了患者隐私。这种隐私保护机制对于实际临床应用具有重要意义，尤其是在涉及大规模数据集和多中心合作的研究中。

总的来说，DualMedGAN为解决医学图像生成中的多模态数据缺失问题提供了一种新的思路和方法。通过结合CNN和ViT的优势，引入SLC和MHCB模块，以及优化判别器结构和损失函数设计，DualMedGAN在生成图像的结构真实性和语义一致性方面表现出色。实验结果表明，该方法在多个医学影像数据集上均取得了良好的生成效果，为临床诊断系统提供了更加可靠的数据支持。未来，随着医学图像数据的不断积累和深度学习技术的进一步发展，DualMedGAN有望在更多医学影像分析任务中发挥重要作用，为提高医疗诊断的准确性和效率提供有力的技术保障。