跨模态双域双向特征交互网络：提升医学影像语义分割精度的创新方法

《Scientific Reports》：Cross-modal dual-domain bi-direction feature interaction network for medical imaging semantic segmentation

本研究针对多模态医学图像分割中空间特征与频域特征依赖关系被忽视、细粒度频域特征融合不足的问题，提出了一种创新的跨模态双域双向特征交互分割网络DBW-Net。通过设计"频域到空间"的跨模态特征提取器(CMFE(F->S))和"空间到频域"的跨模态特征耦合器(CMFC(S->F))，在肺肿瘤和脑肿瘤分割任务中显著提升了分割精度，为早期病灶精准识别提供了有效的技术支撑。

　　

在精准医疗时代，医学影像分析已成为早期发现恶性肿瘤的关键手段。随着多模态医学成像技术的发展，如何有效融合不同模态图像的互补信息成为研究热点。传统的多模态分割方法主要聚焦于空间特征的提取与融合，然而医学图像中的病灶区域往往呈现出复杂的形态结构和模糊的边界，仅依靠空间域方法难以捕捉全局语义信息和模态间的互补关系。

如图1所示，医学图像的边界、纹理和背景在频域的不同频率分量中具有清晰的分布特征。低频信息反映了图像的主要背景和大尺度结构，如肿瘤轮廓或组织分布；高频信息则强调了物体的边界特征，如肿瘤边界和微小结构的细节。这种分布特性使得频域分析在处理复杂病灶结构时更具优势。

为了解决多模态医学图像分割中的这一关键问题，北方民族大学计算机科学与工程学院的研究团队在《Scientific Reports》上发表了题为"Cross-modal dual-domain bi-direction feature interaction network for medical imaging semantic segmentation"的研究论文。该研究创新性地提出了DBW-Net网络，实现了"从频域到空间"和"从空间到频域"的双向特征交互，有效解决了多模态空间特征与频域特征依赖关系利用不足的问题。

研究人员采用的关键技术方法包括：基于三个编码器和一个解码器的网络架构设计，分别处理PET/CT、PET和CT模态特征；基于二维离散余弦变换(2D DCT)的跨模态特征提取器(CMFE(F->S))，通过多频率跨维度注意力机制生成精细化频域注意力图；基于离散小波变换(DWT)的跨模态特征耦合器(CMFC(S->F))，在瓶颈层实现空间特征与频域特征的语义对齐。实验使用90例临床多模态肺肿瘤数据集和Brats2019公共脑肿瘤数据集进行验证。

网络架构设计

DBW-Net采用三个编码器和一个解码器的架构，三个编码器分别用于提取PET/CT、PET和CT的特征。这种设计充分利用了PET和CT分支的模态信息来补充PET/CT主分支的信息，增强了特征表达能力，实现了更准确的多模态医学图像分割。

跨模态特征提取器(CMFE(F->S))

该模块位于编码器中，通过二维离散余弦变换(2D DCT)将空间图转换为多个频谱图，利用多频率跨维度注意力捕获不同维度间多个频谱图特征的相关性，生成精细化频域注意力图。这些注意力图用于增强模态特征并融合跨模态交互，完成对输入特征图的重新校准。

S))'>

跨模态特征耦合器(CMFC(S->F))

该模块位于瓶颈层，通过空间频域特征提取器将多模态信息映射到空间和频域，利用跨域耦合注意力融合多模态细粒度频域特征与空间特征之间的语义差距。该模块通过充分整合多模态跨域信息，显著提高了模型在肿瘤分割任务中的准确性和可靠性。

F))'>

实验结果分析

在肺肿瘤分割任务中，DBW-Net的Miou(平均交并比)、Dice(相似系数)、Voe(体积重叠误差)、Rvd(相对体积差异)和Recall(召回率)分别提高了3.02%、2.32%、4.66%、2.63%和4.16%。在脑肿瘤分割任务中，相应指标分别提高了3.06%、2.31%、4.68%、2.64%和5.76%。

与U-Net、AttUnet、SeResUnet、UTNet、MsTGANet、TransUnet、DconnNet等单模态网络以及Guide-Ynet、C3TMUNet、MEAUNet、MdCo-Unet等多模态网络相比，DBW-Net在各项评价指标上均表现出明显优势。特别是在处理复杂形状病灶分割时，该模型表现出高精度和相对较低的冗余度。

技术优势与创新

DBW-Net的创新之处在于首次实现了跨模态空间频域特征的双向交互。通过"频域特征对空间特征的补偿+空间特征对频域融合的反馈"机制，使模型在病灶结构复杂、模态差异显著的区域具有更强的特征表达能力。频域分析方法的引入，使得模型能够更好地捕捉病灶边界的细微特征和纹理信息，从而显著提升了分割精度。

研究意义与展望

该研究不仅证明了频域信息在医学图像分割任务中的重要性，还为多模态图像处理提供了新思路。通过引入二维离散余弦变换和二维小波变换来捕获频域特征，实现了跨模态空间频域特征的双向交互，有效弥合了多模态图像间的语义差异，具有良好的泛化能力和应用潜力。

未来研究方向包括将该空间频域交互方法扩展到其他多模态医学图像分析任务，如心脏图像分割和乳腺肿瘤分割；结合自监督学习和跨模态预训练等先进学习机制进一步提升模型性能；优化计算效率，通过更高效的频域转换算法或深度压缩技术降低计算和内存开销。

这项研究为精准医学提供了重要的技术支撑，通过创新性的跨模态双域双向特征交互机制，显著提升了医学图像分割的准确性和鲁棒性，为早期病灶的精准识别和诊断开辟了新的技术途径。