基于傅里叶引导风格融合与原型对齐的多模态医学图像鲁棒少样本分割方法

《Biomedical and Environmental Sciences》：Robust Few-Shot segmentation for multi-modal medical images using Fourier-Guided style fusion and prototype alignment

本文提出MedXNet框架，针对多模态医学图像少样本语义分割（FSS）中的域偏移问题，创新性地融合傅里叶风格混合（FSCM）与任务感知跨尺度特征迁移（TCFT）模块，结合自监督ViT（DINOv2）骨干网络，在五个公开数据集上显著提升跨域泛化性能，为临床少标注场景提供解决方案。

　　

Highlight

我们的核心贡献可总结如下：

(1) 我们引入了傅里叶风格混合模块（FSCM），它结合了频域风格分解与局部扰动。该设计通过将目标域的高频纹理嵌入到源图像的结构骨架中，实现了模态感知的图像增强——有效缩小了域间外观差异，同时保留了解剖结构的完整性。

(2) 我们开发了任务感知跨尺度特征迁移模块（TCFT），该模块统一了原型投影和交叉注意力机制，以促进支持集和查询集特征之间的精确语义对齐。这一机制在目标区域小、边界模糊或分布稀疏的情况下（这在临床分割场景中很常见）增强了特征的可区分性。

(3) 我们利用自监督视觉Transformer（ViT）编码器（DINOv2）来提取域无关的全局表征。其建模长距离上下文依赖关系的能力，提高了模型在低对比度、高噪声和模态偏移条件下的鲁棒性——这对于现实世界CD-FSS应用中的泛化至关重要。

Conclusions

本工作介绍了MedXNet，一个用于医学成像中跨域少样本语义分割（CD-FSS）的统一且可泛化的框架。为了解决监督有限、域偏移和模态差异的挑战，MedXNet集成了三个关键组件：基于傅里叶的风格融合与CutMix增强、基于DINOv2的全局编码器以及TCFT模块。这些组件共同使MedXNet能够提取域不变特征、注入目标域特定的纹理线索，并实现细粒度的语义对齐。