DTMG-Net：结合MoE（Multi-Head Encoder）和多尺度扩张注意力机制的扩散模型，用于直肠癌（CRC）舌部图像的生成增强

《BMC Medical Imaging》：DTMG-Net: diffusion model with MoE and multi-scale dilated attention for CRC tongue image generative augmentation

　　

摘要

背景

基于深度学习的图像生成和分类技术显著推动了计算机辅助诊断的发展。然而，用于结直肠癌（CRC）诊断任务的高质量标注舌部图像数据集的稀缺性严重限制了模型的泛化能力。传统的数据增强方法无法模拟复杂的临床相关病理变化，而生成式数据增强则提供了一种有前景的替代方案。

方法

本文提出了一种改进的DDIM生成增强框架DTMG-Net。我们将DeepSeekMoE模块嵌入到去噪U-Net中，以实现多尺度病理特征的适应性建模。在瓶颈处引入了多尺度扩张注意力（MSDA）块，以同时捕捉全局舌部结构和细微的局部病变纹理。此外，我们设计了一种结合标准噪声估计和样本内多样性正则化的联合损失机制，以减轻模式崩溃并扩大合成舌部样本的视觉多样性。我们使用FID和IS来定量评估生成图像的质量，并在四个主流模型上进行了下游分类实验，以验证合成数据的有效性。

结果

与VAE、DCGAN、PNDM和原始DDIM相比，DTMG-Net在CRC和健康舌部样本上的FID值分别为73.83和58.99。尽管这些数值绝对值仍然较高，但我们的方法在小样本舌部图像设置下实现了所有比较模型中最小的分布差异。消融实验表明，DeepSeekMoE和MSDA都提升了生成性能，而提出的多样性约束在不明显降低FID的情况下提高了图像质量。在下游分类任务中，使用DTMG-Net合成图像增强的训练集在WideResNet、ResNet50、MedMamba和ViT等模型上取得了更高的数值AUC、F1分数和准确率。

结论

所提出的DTMG-Net能够生成高多样性、高保真的舌部样本，有效扩展小规模数据集。样本内多样性损失机制在重建质量和生成内容的视觉丰富性之间取得了平衡。这种基于扩散的生成增强方案无需复杂的预处理操作，在各种分类模型上通常实现了最高的数值分类性能，这表明改进的MoE和多尺度注意力模块组合适用于小样本舌部图像增强任务。