编辑推荐：
为解决组织病理切片制备复杂、成本高，现有深度学习方法生成图像存在局限性等问题，研究人员开展基于空间和频域特征融合的生成对抗网络（GAN）研究。结果显示该方法在多项指标上优于 8 种模型，对推进自动组织病理图像生成有重要意义。
在医学的微观世界里，组织病理切片是医生们洞察疾病奥秘的 “显微镜”。通过观察这些切片，医生能精准诊断癌症、感染和炎症等各类疾病。然而，制备高质量的组织病理切片就像一场艰难的挑战。从组织样本的采集，到固定、脱水、石蜡包埋、染色和切片等一系列复杂步骤，每一步都容不得差错，任何失误都可能导致组织变形、细胞结构难以辨认。而且，获取合适的组织样本困难重重，尤其是在罕见病研究领域，样本稀缺严重限制了研究的进展。此外，高分辨率成像设备成本高昂，使得获取高质量的组织病理图像成为一件难事。
在这样的困境下，深度学习技术成为了医学研究人员的希望之光。研究人员期望通过它来生成高质量的组织病理图像，解决样本不足和图像获取困难的问题。此次来自澳大利亚新南威尔士大学、南昌大学第二附属医院等机构的研究人员，针对现有深度学习方法主要聚焦空间域信息，忽略频域信息及其互补关系的不足，开展了基于空间和频域特征融合的生成对抗网络（Generative Adversarial Network，GAN）研究。他们的研究成果发表在《BMC Bioinformatics》上，为医学图像领域带来了新的突破。
为开展此项研究，研究人员运用了多个关键技术方法。首先是基于 StyleGAN 构建的生成器架构，它由风格生成网络和合成网络组成，能对生成图像的风格进行有效控制。其次是可变窗口混合注意力模块（Variable Window Mixing Attention Module），结合局部固定窗口注意力和可变窗口注意力机制，在降低计算复杂度的同时有效捕捉图像中的长距离依赖关系。然后是频谱滤波模块（Spectral Filtering Module），利用快速傅里叶变换（Fast Fourier Transform）将空间域特征转换到频域，提取图像的周期性特征，增强模型对图像全局结构的理解。最后是交叉注意力融合模块（Cross-attention Fusion Module），避免简单拼接融合的信息冗余问题，实现空间域和频域特征的高效融合 。研究使用 Patch Camelyon（PCAM）200 数据集进行实验，该数据集包含 327,680 张 512×512 像素的彩色图像，实验时随机选取 2000 张（肿瘤和正常组织各 1000 张）用于训练。
下面来看看具体的研究结果：
- 生成器架构设计：基于 StyleGAN 设计的生成器架构，通过映射网络将输入的潜在向量映射到中间潜在空间，再经风格调制网络注入到合成网络的各层，从而控制生成图像的风格属性。合成网络从低分辨率到高分辨率逐层生成图像，在这个过程中，向特征图中注入风格向量，并添加缩放噪声，使生成图像更真实、多样。
- 可变窗口混合注意力模块优势：提出的可变窗口混合注意力模块结合了局部固定窗口注意力和可变窗口注意力机制。该模块在处理图像时，能根据图像内容动态调整注意力窗口大小，有效捕捉局部细节和全局上下文信息。定性和定量实验表明，去除该模块会导致图像质量下降，如细胞核质分布异常、细胞质颜色不均等，这充分证明了其在图像特征提取和细节保留方面的重要作用。
- 频谱滤波模块作用：频谱滤波模块利用快速傅里叶变换将空间域特征转换到频域，通过可学习的滤波器选择频域特征，突出重要信息，抑制冗余信息，再经逆快速傅里叶变换将处理后的频域数据转换回空间域。实验显示，去除该模块会使图像出现细胞质斑驳、细胞模糊等问题，表明它对捕捉图像频域信息、增强图像自然度至关重要。
- 交叉注意力融合模块效果：交叉注意力融合模块先融合空间域和频域特征，再通过交叉注意力机制优化信息，避免了传统拼接融合方法的信息冗余问题。该模块使模型能更精准地聚焦于重要特征，提高特征提取的有效性和准确性，进而生成更高质量的图像。
- 模型性能评估：研究人员使用了 Fréchet Inception Distance（FID）、Inception Score（IS）、Kernel Inception Distance（KID）、MA Score 和 Natural Image Quality Evaluator（NIQE）等多种评估指标，对生成的组织病理图像质量进行全面评估。在与 GAN、GANformer、StyleGAN2 等 8 种方法的对比实验中，该研究提出的方法在多项指标上表现优异。例如，在 FID 指标上，该方法取得最低值，表明生成图像与真实图像在特征空间的差异最小；在 KID 指标上，同样表现最佳，显示出其在捕捉图像细节和特征分布方面的卓越能力。
研究结论和讨论部分指出，该研究提出的基于空间和频域信息的生成对抗网络，能有效生成高质量、多样化的组织病理切片图像。通过采用可变窗口注意力机制和快速傅里叶变换，模型在捕捉局部和全局信息、处理图像频率成分方面表现出色，大大提升了生成图像的清晰度和细节。交叉注意力融合模块实现了空间域和频域信息的深度融合，增强了图像的宏观结构一致性和微观细节保真度。这一研究成果显著提高了医学图像分析的质量和效率，为医学研究和诊断提供了有力支持。未来，研究人员计划进一步优化模型结构，降低模型复杂度和参数数量，使其更轻量化，同时将该研究扩展到其他图像领域，如医学成像、遥感图像和自然图像等，有望为这些领域提供更高效、准确的图像处理和分析工具，推动相关领域的科研和实际应用发展。
