《Scientific Reports》：MSF-VMDNet for multi class segmentation of skin cancer whole slide images using a multi frequency dual encoder network
编辑推荐：
为解决皮肤癌组织病理切片中肿瘤与多种正常组织交织、形态相似导致的精细分割难题，研究人员提出了结合U-Net与Vision Mamba的双编码器网络MSF-VMDNet。该研究通过引入改进的AFNO谱分解模块和频谱注意机制，在频域强化了类别区分特征，显著提升了10类组织的分割精度。在皮肤癌组织数据集上，模型取得了95.37%的MIoU和95.11%的Dice系数，并在ISIC 2018、PanNuke和Synapse等多个数据集上验证了其优越的泛化能力，为自动化病理诊断提供了高效、精准的新工具。
皮肤，作为人体最大的器官，是我们抵御外界伤害的第一道屏障。然而，紫外线照射、环境污染等因素导致皮肤癌的发病率在全球范围内持续上升，已成为一个严峻的公共卫生问题。在临床诊断中，皮肤镜检查（Dermoscopy）能提供皮肤表面的高清影像，但要获得更精确的诊断，通常需要结合皮肤穿刺活检和染色组织切片进行显微镜下观察。病理医生需要在这些复杂的全切片图像（Whole-Slide Images, WSI）中，手动勾勒出病变区域，并区分出多达10种不同的组织类型，如肿瘤、表皮、真皮、毛囊、汗腺、脂肪等。这个过程不仅耗时费力，更因医生经验与主观判断的差异，可能存在诊断不一致的风险。尤其棘手的是，各种上皮组织和真皮组织形态特征相似且相互交织，使得精确的自动化分割异常困难。
传统的深度学习模型，如U-Net及其变体，在医学图像分割中取得了显著成功，但在处理这种高分辨率、多类别、边界模糊的皮肤癌组织切片时，往往力有不逮。它们可能在整体结构分割上表现尚可，却难以捕捉细微的纹理差异和长程的上下文依赖，导致肿瘤边界模糊，或误将正常组织归类为病变区域。随着视觉Transformer（Vision Transformer）和视觉状态空间模型（Vision Mamba）等新架构的出现，为同时建模局部细节和全局信息带来了新思路，但如何高效地融合这些不同来源的特征，并针对组织病理图像特有的频域信息（如表征形状的低频和表征纹理边界的高频）进行优化，仍是待攻克的挑战。
为此，一项发表在《Scientific Reports》上的研究提出了一种创新的解决方案——基于多频域注意力的双编码器网络（MSF-VMDNet）。该研究旨在破解皮肤癌组织病理图像多类语义分割的难题。研究人员设计了一个并行双编码器架构，巧妙地将经典的U-Net与新兴的Vision Mamba结合起来。U-Net编码器侧重点在于高分辨率的局部特征提取，并集成了一个改进的自适应傅里叶神经算子（AFNO）模块，在频率域对特征进行分解与重建，强化了多类语义信息。Vision Mamba编码器则基于线性状态空间模型（SSM），以近乎线性的计算复杂度高效建模长程依赖，增强模型对全局上下文和局部特征的感知。更重要的是，研究引入了多频域注意力机制，将组织切片中细微的、具有类别区分性的特征映射到频域进行增强。在解码阶段，通过空间与通道重建卷积（SCConv）模块，实现了不同频域和空间层级特征的深度融合。
这项研究的意义在于，它不仅是将两种先进架构简单结合，更是通过创新的频域分析视角，让模型学会了像人类专家一样，同时从“整体形态”和“微观纹理”两个维度来解读病理图像，从而实现了更清晰、更准确的分割，为开发高效、可靠的计算机辅助诊断（CAD）系统奠定了坚实的技术基础。
为开展此项研究，作者主要运用了以下几项关键技术方法：研究基于公开的皮肤癌组织病理学数据集（NMSC数据集，包含290张H&E染色切片，涵盖BCC、SCC和IEC三种亚型）、ISIC 2018皮肤镜图像数据集、PanNuke细胞核数据集以及Synapse多器官CT数据集进行模型训练与验证。核心方法为构建MSF-VMDNet深度学习模型，该模型采用U-Net与Vision Mamba并行的双编码器架构。在U-Net分支中，集成了改进的空间增强型AFNO模块进行频域特征分解与多尺度空间聚合；在Vision Mamba分支中，引入了频谱注意力块（Spectral Block）和SS2D模块。解码器则使用SCConv模块进行特征融合。模型训练采用交叉熵损失函数和Adam优化器，并在多个数据集上使用平均交并比（MIoU）、Dice系数等指标进行性能评估与比较。
网络架构
为了解决肿瘤区域与周围正常组织交织、边界模糊的难题，研究提出了如图1所示的MSF-VMDNet双编码器网络结构。该结构包含并行的U-Net编码器和Vision Mamba（VMamba）编码器。U-Net编码器通过集成改进的AFNO谱分解机制，在频域提取高分辨率的多类语义信息，并增强边界检测能力。VMamba编码器则结合频谱层和多头自注意力层，优化对长程依赖的建模，提升了对形态相似区域的区分度。解码阶段引入的SCConv模块，有效融合了来自不同频域和空间层级的特征，从而提升了整体分割性能。
空间增强的AFNO多频域机制
在U-Net编码器中，研究提出了空间增强的AFNO多频域机制（结构如图2所示），以优化从频域到空间域的映射。该机制首先通过离散傅里叶变换（DFT）将特征转换到频域，利用参数化的权重张量和双层MLP（多层感知机）进行自适应的特征混合。随后，通过频谱门生成高、低频特征图，并与动态学习的光谱权重结合，再经逆快速傅里叶变换（IFFT）重建空间特征。此外，通过多尺度特征金字塔生成和通道注意力加权，该机制聚合了从细胞间质到精细边界的不同尺度信息，有效提升了在复杂形态和模糊边界区域的分割准确性。
VMamba编码器中的频谱注意力机制
在VMamba编码器中，研究引入了频谱注意力机制以增强病理区域的上下文表征。该机制利用快速傅里叶变换（FFT）将图像特征映射到频域，通过频谱门控动态调整高、低频成分的权重，例如增强肿瘤区域的高频成分以锐化边界，同时抑制无关的低频背景干扰。加权后的频谱特征经IFFT转换回空间域，再与归一化和MLP结合。此过程与SS2D（状态空间二维）模块协同工作，SS2D基于Mamba的选择机制，动态调整状态空间模型（SSM）参数，有效捕获长程依赖。如图3所示，这种设计实现了频域与空间域信息的有效集成，提升了对复杂图像结构的表征能力。
解码阶段的SCConv模块用于谱空间特征融合
在解码阶段，研究采用了SCConv模块来优化谱空间特征的融合与表示。如图4所示，SCConv由空间重建单元（SRU）和通道重建单元（CRU）组成。SRU通过分组归一化和门控机制分离并重建空间特征中的高、低信息成分。CRU则通过分组卷积、逐点卷积和深度可分离卷积，优化通道特征。两者协同工作，以“分割-变换-融合”的策略，有效压缩了冗余信息，增强了特征表达能力，使网络能更好地处理复杂的形态学结构，实现U-Net和VMamba编码器特征的高效融合。
实验结果
在皮肤癌组织病理数据集上的对比实验表明，MSF-VMDNet在多项评估指标上均超越了U-Net、Attention U-Net、DeepLabV3Plus、TransUNet以及Hms-UNet、VM-UNet等当前先进模型。其MIoU达到95.37%，Dice系数达到95.11%，MPA和Accuracy也分别达到96.23%和96.46%，综合性能最优。可视化结果（图6）显示，在染色深浅不一、肿瘤形态多样（点状、块状、条状、弥漫状）的复杂场景下，MSF-VMDNet能更清晰地区分肿瘤与上皮、毛囊等周围组织，边界更为精确。针对腺体、毛囊、炎症和细胞癌等特定类别的分析（图7，图8）也证实了该模型的优越性。
消融实验
消融研究（表7及图9）系统地评估了各模块的贡献。以U-Net为基线，逐步加入VMamba、AFNO、频谱注意力（Spect）和SCConv模块。实验发现，单独加入VMamba或AFNO能分别提升局部细节和频域特征感知，而将它们与Spect结合能协同提升全局上下文建模。最终，集成所有四个模块的完整MSF-VMDNet取得了最佳性能，证明了局部特征、全局上下文、频域分析和精细卷积增强之间的协同效应对于提升模型在复杂分割任务中的稳定性和泛化能力至关重要。
泛化能力验证
为了验证模型的泛化能力，研究在ISIC 2018皮肤镜图像数据集、PanNuke细胞核病理图像数据集和Synapse多器官CT数据集上进行了扩展实验。在ISIC 2018上，MSF-VMDNet取得了93.62%的MIoU，在处理光照变化和毛发遮挡的复杂病变区域时表现出色（图10）。在PanNuke数据集上，面对多种细胞核类型交织的复杂背景，该模型在MIoU和Dice系数上分别达到92.15%和93.05%，展示了强大的多类核分割能力（图11）。在Synapse腹部CT多器官分割任务中，MSF-VMDNet同样以94.21%的MIoU和95.36%的Dice系数领先于其他对比模型（图12），证实了其在不同成像模态和医学图像分割任务中的广泛适用性。配对t检验结果（表11）进一步表明，MSF-VMDNet在四个数据集上相对于基线模型的性能提升均具有统计学显著性（p<0.05），证明了其改进的稳健性。
结论与讨论
本研究成功提出并验证了MSF-VMDNet，一种用于皮肤癌组织病理图像多类分割的创新深度学习模型。该模型的核心贡献在于创造性地构建了U-Net与Vision Mamba并行的双编码器架构，并引入了贯穿始终的多频域注意力机制。通过U-Net分支中改进的AFNO模块，模型实现了对高分辨率语义信息的频域增强与空间重建；通过Vision Mamba分支中的频谱注意力与SS2D模块，模型以高效的方式强化了长程依赖建模与全局-局部特征感知。解码器的SCConv模块则确保了跨域特征的有效融合。
实验结果表明，MSF-VMDNet在皮肤癌组织病理数据集上实现了当前最优的分割精度，显著提升了肿瘤边界的清晰度和多类组织的区分度。更重要的是，其在皮肤镜图像、细胞核图像及CT多器官图像等多个异构医学影像数据集上均表现出了卓越的泛化性能。这充分证明了该模型架构与频域分析策略的有效性和普适性。
该研究的意义深远。首先，它为解决组织病理图像中因组织形态相似、交织所导致的精细化自动分割这一长期难题提供了新颖且强大的解决方案。其次，模型展现出的高精度与强泛化能力，使其有望集成到临床计算机辅助诊断系统中，辅助病理医生进行快速、客观、一致的诊断，减轻其工作负担，并可能提高早期诊断的准确率。最后，研究所探索的“多频域注意力”与“双编码器融合”范式，也为其他复杂的医学图像分析任务，如肿瘤亚型分类、预后预测等，提供了可借鉴的技术思路。未来，研究可进一步向全切片级别的特征提取、结合临床信息的多模态诊断模型等方向深化，推动人工智能在精准医疗领域发挥更大价值。
