MANet：一种用于非配对多模态食管病变分割的模态感知网络

《Neurocomputing》：MANet: Modality-aware network for unpaired multi-modal esophageal lesions segmentation

　　马洛|杨志友|陈克宇|牟毅|胡兵|张璐璐|李帆|袁向磊|陈文宇中国电子科技大学计算机科学与工程学院，四川成都，611731摘要通过内镜筛查实现食管癌的早期诊断至关重要，尤其是结合多种成像技术（如白光内镜、窄带成像和碘染色）来获取全面的宏观特征并推断病理线索。然而，实际临床实践中产生的混合模态数据通常存在严重的空间位移和模态差异性。现有的多模态分割模型试图将这类异构数据映射到共享的潜在空间中，但往往会出现跨模态特征干扰和表示质量下降的问题。为了解决这些挑战，我们提出了模态感知网络（MANet），这是一种专为无配对混合模态病变分割设计的新型框架。该框架借鉴了临床诊断流程，将分割过程视为基于模态先验的认知循环。其架构创新之处在于通过独立的辅助模态识别模块（AMRM）显式提取空间先验，然后通过辅助融合块（AFBs）将这些先验有针对性地注入主网络以实现条件特征校准，同时在瓶颈处利用先验条件调制块（PCMB）进行深度表示解调，从而有效抑制模态带来的干扰。在解码阶段，先验驱动上采样块（PDUBs）逐步细化高频拓扑细节，以精确恢复病变边界。大量实验验证了MANet的临床适用性和稳定性。在我们自建的食管SEG多模态数据集上，MANet的性能优于现有最先进方法，平均Dice相似度系数（mDSC）提升了0.61%，平均交并比（mIoU）提升了0.55%。此外，MANet在三个公共胃肠道基准数据集上也表现出出色的泛化能力，并在混合模态数据集上保持了高稳定性，证明了其作为自动内镜分析工具的潜力。该方法的实现代码可在https://github.com/Romeeee15/MANet地址获取。引言食管癌是全球第八大常见癌症，也是第六大癌症死亡原因[1]。早期诊断食管癌可显著降低相关死亡风险[2]。虽然内镜检查是临床上的金标准，但传统的白光内镜往往无法发现早期的平坦型病变。因此，如图1(a)所示，临床实践需要采用三模态检测方案：(a)白光内镜可提供宏观结构信息；(b)窄带成像可通过血红蛋白对窄带光谱的吸收来显示上皮内乳头状毛细血管环；(c)碘染色则通过特定化学反应识别出缺乏糖原的卢戈尔染色阴性病变。值得注意的是，本研究使用的数据是由医生选定的关键帧，且是在离线状态下标注的，并非连续视频流中的帧。因此，每个样本都是独立的静态图像，而非连续视频序列中的某帧。不过，跨不同模态的手动分析工作量很大，需要频繁切换思维模式来综合评估结果。这种主观依赖个体专业知识的分析方式会带来较高的认知负担，还会导致不同观察者之间的结果差异较大，进而成为早期诊断的瓶颈。自动化的病变分割技术可以减轻这些诊断负担。现有的分割模型在单模态内镜分析中已展现出优异性能[3][4]，但由于无法处理多模态数据，其性能存在固有限制。传统的多模态融合方法，包括输入级拼接[5][6]和特征级双流交互[7]，在此类场景中也难以满足需求。这些方法大多是为空间对齐的配对数据设计的（图1(c)），而实际的内镜筛查会产生无配对的混合模态数据（图1(b)）。在这种情况下，三种模态（白光内镜、窄带成像和碘染色）共存于同一数据集中，但由于每种模态都需要不同的探针配置，再加上探针角度、插入深度以及患者体动等因素，各模态之间的图像无法实现空间对齐。因此，分割模型在每次推理时只能接收单模态图像，无法获得任何同步的跨模态对应数据。近期的一些无配对多模态学习研究试图绕过严格的图像对齐步骤。为了减少模态差异，这些研究将异构输入投影到共享的潜在空间中[8]，通常通过共享卷积[9][10]或模态特定的归一化处理[11][12]来实现。但这种方法在内镜成像领域仍存在问题。内镜模态反映的是根本不同的物理和生化反应，而非单纯的风格差异[13][14]。如图2(a)和(b)所示，这种处理方式会导致特征严重退化。在图2(a)的蓝色框中，仅基于白光内镜训练的模型能够保持清晰的病变轮廓，而当使用相同模型处理无配对模态数据时，预测出的轮廓会出现明显退化，如图2(b)中的蓝色框所示。图2(b)中的红色框区域进一步说明了这一现象：在白光内镜下，病变相关的信号会被周围的黏膜结构干扰，从而导致轮廓模糊；在窄带成像中，激活信号会扩散到病变区域之外，出现明显的注意力分散现象；而在碘染色中，边界定位会变得不那么清晰，预测出的掩膜还会出现局部粘连和变形。这些由模态差异导致的退化现象表明，将高度异构的内镜模态强行投影到共享潜在空间中，会迫使网络学习到一种妥协性的表示方式。由于缺乏针对不同模态的独立映射能力，为某一模态优化的特征提取规则不可避免地会与其他模态的规则产生冲突，从而导致跨模态特征干扰，削弱模型聚焦当前模态所需关键特征的能力。为从根本上解决由共享潜在空间投影引起的表示质量下降问题，我们提出了模态感知网络（MANet），用于无配对混合模态病变分割。该框架借鉴了内镜医生的临床诊断流程[15]，将病变识别过程抽象为基于模态先验的认知循环。具体而言，它首先会根据输入图像的模态类型动态激活相应的认知表征，随后再根据模态先验对这些深度表征进行条件解调，从而抑制冗余干扰并逐步恢复病变边界。基于这一设计理念，MANet的架构被分为两个部分：负责感知模态先验的编码器，以及负责基于先验进行解调和分辨率重建的解码器。在编码阶段，独立的辅助模态识别模块（AMRM）被用来捕获不同尺度、具有模态特性的视觉认知表征，这些提取出的空间先验会通过辅助融合块（AFBs）被有针对性地嵌入主网络中，这些模块会利用联合注意力机制来清理侧向特征并进行仿射调制。在推理阶段，AMRM会识别输入图像的模态类型，并据此生成相应的认知先验，这些先验随后会通过AFB和PCMB模块被注入编码器。因此，分割预测结果是在基于所检测到的模态类型进行的单次前向传播过程中生成的，所有调制信号都仅依赖于当前输入图像内的特征信息。在最关键的瓶颈处，引入了先验条件调制块（PCMB）来执行显式的特征解调。该模块利用最高级别的模态先验，动态整合多感受野的表征，并进行模态条件下的空间重新校准，从而有效抑制跨模态特征干扰。最后，在解码阶段，先验驱动上采样块（PDUB）被用来进行跨层次动态细化处理。该机制利用解调后的深度语义信息来重新调整浅层跳跃连接特征，有效抑制与模态无关的背景噪声。最近的频域分析还表明，根据奈奎斯特-香农采样定理，空间下采样和跨层次融合在理论上容易引发高频混叠现象[16][17]，这也从原理上说明了为何需要在整个分割过程中保留高频边界细节。此外，为了构建更稳定的优化空间，还在中间解码阶段加入了密集头结构，以便在训练过程中实现深度监督。这种多尺度辅助引导机制逐步约束特征重建过程，确保能够精确恢复真实的病变边界。我们在由医学专业人员收集的食管SEG数据集上对MANet进行了测试，该数据集用于食管癌的分割任务。实验结果表明，MANet在mDSC和mIoU指标上表现优异，充分证明了其在无配对混合模态数据上的有效性。此外，我们还在三个公开的胃肠道基准数据集上对MANet进行了测试，包括Kvasir-SEG[18]、CVC-ClinicDB[19]和ETIS-LaribDB[20]，结果显示我们的模型具备很强的跨领域泛化能力。综上所述，我们的主要贡献如下：1. 我们提出了MANet，用于处理无配对混合模态图像中的食管病变分割任务，该方案能够真实反映实际临床场景中的数据采集情况。2. 我们通过独立的AMRM模块显式提取模态先验，同时提出了AFB和PCMB模块，用于实现条件特征校准和深度表示解调，从而有效利用这些模态特异性特征的信息。此外，我们还设计了PDUB模块来逐步精细化病变区域。3. 在我们自建的無配对多模态数据集（EsophagealSEG）以及三个公共的单模态数据集（Kvasir-SEG[18]、CVC-ClinicDB[19]和ETIS-LaribDB[20]）上的定量实验表明，MANet在分割性能上始终具有明显优势，并且具备较强的跨领域泛化能力。本文的其余部分结构如下：第2节回顾相关研究，第3节介绍所提出的MANet及其架构和实现细节，第4节阐述实验设置、关键结果及消融实验，最后第5节对全文进行总结，并探讨未来的研究方向。章节摘录医学图像分割深度学习为医学图像分割带来了更高的效率、精度和自动化水平，极大地推动了医学图像分析的发展。早期的医学图像分割任务大多基于卷积神经网络。作为该领域应用卷积神经网络的开创性工作，U-SNet[21]提出了一种由编码器和解码器构成的U形架构，通过跳跃连接实现两组分之间的特征传递，有效保留了高分辨率特征。方法在本节中，我们将详细介绍所提出的模态感知网络（MANet）的技术细节。首先概述无配对混合模态病变分割的处理流程，然后详细说明MANet的三个核心组成部分：1）预训练的辅助模态识别模块（AMRM），2）用于感知模态先验的编码器，3）负责基于先验进行解调并恢复分辨率的解码器，从而实现准确的病变识别。实验我们在自行收集的EsophagealSEG数据集，以及三个公开的二维医学图像分割数据集上，对所提出的MANet进行了性能测试。评估过程首先介绍了这些基准数据集、实现细节以及评估指标，随后我们将该方法与现有的最先进方法进行了比较，最后通过消融实验验证了所提架构设计思路的合理性。结论在本文中，我们提出了MANet，旨在更好地解决无配对混合模态数据中的食管病变分割问题。通过将分割过程设计为基于模态先验的认知循环，MANet实现了更优异的性能。具体而言，我们设计了AMRM模块来显式提取模态特定的空间先验，同时通过AFB模块实现侧向特征校准，借助PCMB模块实现深度表示的优化，从而有效利用这些模态先验信息。作者贡献声明马洛：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、研究分析、形式分析。杨志友：写作——审阅与编辑、研究分析、形式分析。陈克宇：写作——审阅与编辑、研究分析、形式分析。牟毅：数据整理。胡兵：资源协调、项目管理。张璐璐：数据整理。李帆：写作——审阅与编辑、研究分析。袁向磊：写作——审阅与编辑、资金筹集、数据整理。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本文得到了国家自然科学基金（项目编号：62406205、U22B2061、U24A20341）和四川省自然科学基金（项目编号：2026NSFSC0429）的支持。马洛于2021年在中国西安的西安电子科技大学获得计算机科学技术学士学位，目前他正在中国电子科技大学计算机科学与工程学院攻读计算机科学技术博士学位，他的研究兴趣包括神经网络、深度学习和计算机视觉领域。