HMPFormer：基于多视角特征学习的层次视觉Transformer在息肉分割中的精准应用

《Image and Vision Computing》：HMPFormer: Hierarchical vision transformer with multi-perspective feature learning for precise polyp segmentation

本文提出HMPFormer框架，通过多视角特征学习（MPFL）模块整合动态/可变形/标准卷积，结合跨尺度上下文融合（CSCF）模块和层次互补注意力机制（HCAM），在五个基准数据集上实现息肉分割（PS）的SOTA性能，为结直肠癌早期诊断提供重要技术支撑。

　　

亮点

本研究提出了一种新颖的层次视觉Transformer与多视角特征学习框架（HMPFormer），通过创新性的多视角卷积组合和跨尺度注意力机制，显著提升了结肠镜图像中息肉分割的精度和鲁棒性。

提出的HMPFormer网络

HMPFormer架构专为医学内窥镜图像中的精准息肉分割（PS）而设计，融合了层次视觉Transformer的优势并引入了动态特征聚合与渐进式解码的新组件。该架构包含四个核心部分：（1）基于PVT Transformer的主干网络用于多尺度特征提取；（2）多视角特征学习（MPFL）模块通过并行动态卷积、可变形卷积和标准卷积增强特征多样性；（3）跨尺度上下文融合模块（CSCF）建立双向跨分辨率交互；（4）配备层次互补注意力模块（HCAM）的渐进解码器，通过残差注意力学习实现反向精细化。

实验分析

本节通过五个主流息肉分割数据集的综合实验评估所提方法，采用平均绝对误差（MAE）、加权F值（F_β^w）、S度量（S_α）、平均E度量（mE_ξ）、平均Dice系数、平均IoU、平均敏感性和平均特异性等指标进行量化对比。通过消融实验验证各模块贡献，并与其他SOTA方法进行系统性性能比较。

结论

本文提出的HMPFormer框架在息肉分割任务中实现了突破性性能。该架构通过多视角特征学习（MPFL）模块融合动态/可变形/标准卷积，有效捕捉多样化的空间模式和边界信息；跨尺度上下文融合（CSCF）模块显著增强了多尺度特征整合能力；层次互补注意力机制（HCAM）则通过互补掩码策略精准聚焦易被忽略的息肉区域。在五个挑战性数据集上的实验表明，该方法在复杂结肠镜场景下具有卓越的泛化性和鲁棒性。