FS-FCN：用于MR图像脑肿瘤分类的频率-空间融合卷积网络

《Frontiers in Neurology》：FS-FCN: a frequency–spatial fusion convolutional network for brain tumor classification in MR images

　　

摘要

引言：使用磁共振成像（MRI）进行脑肿瘤分类对于计算机辅助医学图像分析具有重要意义。然而，不同的脑肿瘤类型可能表现出高度相似的灰度模式、纹理和边界。传统卷积神经网络主要依赖空间域卷积，并未显式建模频域信息。此外，高频细节（如边缘和纹理）往往在多级下采样过程中被削弱，而空间域与频域特征之间的交互仍然有限。因此，肿瘤类别之间的细微差异可能无法被有效捕获。

方法：为解决上述局限性，研究人员开发了一种用于脑肿瘤MRI分类的频率-空间融合卷积网络（FS-FCN）。在该卷积网络中引入了参数化小波下采样（PWD）模块和频率-空间卷积（FSConv）模块。在多级编码和深度特征学习过程中联合建模空间域与频域信息，以改善关键结构、局部纹理和边缘细节的保留及判别性表征。

结果：在Cheng脑肿瘤MRI三分类数据集上，FS-FCN通过五折交叉验证取得了98.53% ± 0.35%的平均分类准确率。通过四分类实验进一步评估了该模型在不同分类设置下的适用性。

讨论：结果表明，联合建模空间域与频域信息可改善脑肿瘤MRI特征的表示，并为脑肿瘤MRI分类提供了一种有效的特征学习方法。

# FS-FCN：一种用于MR图像脑肿瘤分类的频率-空间融合卷积网络

脑肿瘤是一类严重威胁人类健康的神经系统疾病，其异常生长会破坏脑组织的结构和功能。根据组织来源和病理类型，常见的脑肿瘤包括胶质瘤、脑膜瘤和垂体瘤，这些肿瘤在解剖位置、组织来源和MRI表现上存在差异，但在灰度、纹理和边界上可能高度相似，给精确分类带来困难。磁共振成像（Magnetic Resonance Imaging, MRI）凭借优良的软组织对比度和解剖细节，已成为脑肿瘤检测和分类的主要影像手段。然而，传统诊断高度依赖放射科医师的经验，耗时且易受主观因素影响。卷积神经网络（Convolutional Neural Network, CNN）在医学图像分析中已广泛应用，但常规CNN主要进行空间域卷积，没有显式建模频域信息，且在多层下采样中会丢失边缘、纹理等高频细节，空间域与频域特征交互不足，导致难以有效区分肿瘤类别间的细微差异。为此，研究人员提出了频率-空间融合卷积网络（Frequency–Spatial Fusion Convolutional Network, FS-FCN），相关成果发表于《Frontiers in Neurology》。

在该研究中，研究人员使用公开的Cheng脑肿瘤MRI三分类数据集（含3064张对比增强T1加权图像，包括1426张胶质瘤、708张脑膜瘤和930张垂体瘤图像），采用分层五折交叉验证。提出的FS-FCN由卷积块、参数化小波下采样（Parametric Wavelet Downsampling, PWD）模块和频率-空间卷积（Frequency–Spatial Convolution, FSConv）模块组成。PWD模块并行执行Haar小波变换与分组卷积，并利用通道注意力融合，以在下采样时保留结构纹理信息；FSConv模块将特征分成空间与频率分支，通过离散小波变换分解出低频和高频分量，建模全局结构、边缘细节并与空间特征交互。训练中使用随机旋转和水平翻转增强，采用Adam优化器、交叉熵损失，并设置学习率衰减与早停。此外，在包含3264张图像的四分类数据集（含无肿瘤图像）上进行了补充实验。

## 三分类实验结果

在Cheng三分类数据集上，FS-FCN经五折交叉验证获得了98.53%±0.35%的平均准确率，精确率、召回率和F1分数分别为98.42%±0.34、98.26%±0.51和98.33%±0.40。其中垂体瘤分类性能最高，胶质瘤次之，脑膜瘤略低（精确率97.58%±1.03，召回率96.19%±1.77，F1分数96.87%±0.79）。混淆矩阵显示误分类样本极少；ROC曲线显示各类别AUC值分别为0.9995、0.9989和0.9999，宏平均AUC为0.9995，表明模型具有较强的判别能力。

## 补充四分类实验

在四分类数据集上，总体准确率为97.10%。垂体瘤的精确率、召回率和F1均达到100%，无肿瘤类召回率为100%，胶质瘤和脑膜瘤的F1分数分别为95.29%和95.56%，表明FS-FCN在增加无肿瘤类别时仍能有效分类。

## 消融实验

通过移除或添加模块的消融实验，仅使用PWD时准确率为95.95%±0.99，仅使用FSConv时准确率为97.26%±0.70，完整FS-FCN为98.53%±0.35。结果表明FSConv对性能贡献更大，PWD补充了互补特征，二者结合提升了准确率和稳定性。

## FSConv位置验证

将两个级联FSConv置于PWD1之后（浅层放置）时准确率为97.71%，而置于PWD4之后（深层放置）时准确率提升至98.53%。深层特征包含更丰富的结构和类别判别信息，因此有利于频域与空间域特征融合。

## 可视化分析

利用梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）和深度特征响应图（Deep Feature Response Map, DFRM）进行定性分析。结果显示，FS-FCN的高响应区域主要集中在肿瘤病灶及邻近区域，DFRM的强响应也与异常结构存在空间对应，表明模型使用了肿瘤相关的结构和纹理信息进行分类。

## 与代表性深度学习模型的比较

与ResNet50、ViT-B/16、ConvNeXt-Tiny、Swin-T、EfficientNetV2-S和MedViT-Small对比，FS-FCN在各项指标上均最优，准确率提升幅度为1.30至2.61个百分点，95%置信区间均不包含零，差异具有统计学意义。Grad-CAM对比显示FS-FCN的响应区域更集中于肿瘤区域。

## 与其他方法的比较

与以往在Cheng数据集上报告的结果（如Shaik等人、Tummala等人、Saurav等人、Khan等人、Montoya等人、Rahman等人、Alhassan等人、Li等人）相比，FS-FCN取得了最高的98.53%准确率，较次优方法（Rahman等人，98.13%）提升了0.40个百分点。

总结讨论部分：研究通过消融实验、位置验证、可视化分析和多组对比实验，证实了PWD和FSConv联合建模的有效性。讨论也指出了局限性：目前模型不能取代放射科医生的综合诊断；主要实验基于二维对比增强T1加权MRI，对T2加权和FLAIR等其他序列的适用性需进一步验证；所使用数据源和成像条件有限，未进行独立多中心外部验证；Grad-CAM和DFRM分析主要为定性，缺乏基于病灶标注的定量评估。未来计划包括使用多序列多中心临床数据进行验证，以及开展更系统的定量可解释性分析。

研究结论：为了解决传统卷积神经网络对频率信息利用不足以及下采样过程中细节丢失的问题，研究人员开发了FS-FCN用于脑肿瘤MRI分类。通过联合频率域与空间域建模，在特征压缩过程中保留了结构性和纹理细节，实现了局部纹理与全局结构的联合表示。在Cheng三分类脑肿瘤MRI数据集上，FS-FCN通过五折交叉验证取得了98.53%±0.35%的平均准确率。消融实验证实了PWD与FSConv结合的有效性，位置实验表明将两个级联的FSConv模块置于PWD4之后可获得最佳整体性能。定量比较显示其整体分类性能优越，定性Grad-CAM可视化显示其响应更集中于肿瘤相关区域及邻近区域。四分类实验进一步支持了FS-FCN在不同分类设置下的适用性。总体而言，这些结果表明，联合频率域与空间域建模为脑肿瘤MRI分类提供了一种有效的特征学习方法。