基于模态特征调制与层级融合的食管癌内镜伪单模态图像分割方法

针对内镜多模态图像因异步采集导致的病灶分割难题，研究团队提出ModFusion框架，通过自适应特征调制模块（AFMM）消除模态差异，结合层级融合模块（SFM）恢复细节，在自建食管癌数据集EsophagealSEG上实现MAE 0.68、mIoU 2.83%的突破，为跨模态医学影像分析提供新范式。

　　

食管癌是全球高发的恶性疾病，早期诊断依赖内镜筛查。然而，临床常用的白光内镜（WLE）、窄带成像（NBI）和碘染色（IS）等多模态图像存在采集不同步问题，导致病灶特征难以对齐。传统分割方法在由此构建的"伪单模态"数据上表现不佳，亟需能消除模态差异、保留细节的新方法。

为解决这一难题，中国研究人员基于GC-ViT架构提出ModFusion框架。该模型通过自适应特征调制模块（AFMM）在编码阶段提取模态无关特征，利用层级融合模块（SFM）在解码阶段重建细节，有效克服了多模态数据中的形状模糊和细节丢失问题。研究采用自建食管癌数据集EsophagealSEG和三个公开数据集验证，ModFusion在伪单模态任务中MAE降至0.68，mIoU提升2.83%，同时在单模态场景也展现优势。

关键技术包括：1）构建伪单模态数据模拟临床异步采集场景；2）AFMM模块通过特征调制消除模态特异性；3）SFM模块采用频率感知的层级融合策略；4）基于GC-ViT的混合架构平衡全局建模与细节捕捉。

研究结果

1. 伪单模态数据特性分析：对比实验显示，传统方法在WLE单模态数据中早期即可识别病灶形状（Block 2），但在伪单模态数据中特征模糊，证实模态差异干扰模型判断。
2. 模块有效性验证：消融研究表明，AFMM使特征相似度提升37.6%，SFM将边缘细节恢复率提高29.4%，证实双模块协同作用。
3. 跨数据集测试：在Kvasir-SEG等公开数据集上，ModFusion的Dice系数达91.2%，超越TransUNet等基准模型1.8%。

结论与意义
该研究首次系统解决内镜伪单模态图像分割难题，其创新性体现在：1）提出模态差异量化指标，为多模态医学图像分析建立新标准；2）AFMM-SFM架构可扩展至其他器官的跨模态分割；3）轻量化设计（参数量仅增加3.2%）适合临床部署。论文成果发表于《Knowledge-Based Systems》，获国家自然科学基金（62406205/U24A20341）支持，为AI辅助癌症早诊提供重要技术储备。