X-Net：用于精确结肠息肉分割的混合Transformer–CNN框架与多方位注意力

《AI》：X-Net: Hybrid Transformer–CNN Framework with Multi-Aspect Attention for Precise Colon Polyp Segmentation

　　

准确确定结肠息肉的位置对结肠癌的早期诊断至关重要。本文提出了一种新型网络架构X-Net，该架构整合了金字塔视觉变换器（Pyramid Vision Transformer，PVT）和EfficientNet-B0。研究人员选择EfficientNet-B0是因为其优化设计和计算效率，能够有效捕获细粒度的局部特征。同时，研究人员使用PVT V2-b1（Pb1），因为其层次化结构和自注意力机制增强了模型保留多尺度特征的能力。通过在解码器的一部分中拼接这两个网络，所提出的模型有效利用了局部和全局特征。此外，X-Net架构引入了三个模块：形状感知增强模块（Shape-Aware Enhancement Block，SAEB）、多尺度特征模块（Multi-Scale Feature Block，MSFB）和多方位注意力模块（Multi-Aspect Attention Block，MAAB）。SAEB利用从编码器提取的初始层特征之间的差异来滤除息肉图像中的噪声。MSFB从骨干网络中提取并增强多尺度特征，有效整合语义信息，从而提高息肉分割精度并增强对不同息肉大小和形态变化的鲁棒性。最后，MAAB利用来自MSFB和SAEB输出的高层特征来关注前景、背景和边界。为了解决类别不平衡问题，研究人员提出了一种结合Tversky损失和二元交叉熵损失的混合损失函数。在评估中，研究人员在四个息肉数据集上训练了所提出的网络：Kvasir-SEG、CVC-ClinicDB、CVC-T和ETIS。结果表明，该模型在不同图像质量和特征的数据集上均表现良好。

论文解读：X-Net在结肠息肉分割中的研究与应用

结肠癌的早期诊断对于及时治疗至关重要，而结肠息肉是结肠癌的主要癌前病变。准确分割结肠息肉是评估其恶性风险和治疗决策的关键步骤。然而，传统的结肠镜检查依赖医生的经验和手工操作，存在较高的漏诊率（约22%–28%），且延迟诊断会导致生存率显著下降。因此，开发基于计算机的自动分割技术具有重要的临床意义。息肉图像本身存在大小、形态、颜色差异大，前景与背景像素分布不均，以及息肉与周围组织颜色相似导致边界难以提取等问题，给分割算法带来了巨大挑战。近年来，基于卷积神经网络（CNN）和Transformer的深度学习模型在医学图像分割中取得了显著进展，但仍难以同时准确捕获局部细节、全局上下文以及复杂的边界信息。为此，研究人员提出了X-Net，一种融合CNN与Transformer的混合编码器架构，并引入三个专用模块以增强息肉分割性能。该研究发表在《AI》。

研究人员设计并评估了一种名为X-Net的新型分割网络。其编码器由冻结的Pyramid Vision Transformer V2-b1（Pb1）和可训练的EfficientNet-B0（ENB0）并行组成，通过门控ECA融合模块动态平衡全局上下文与局部细节特征。针对息肉的形状、尺寸和边界特点，提出了三个核心模块：形状感知增强模块（SAEB）通过计算编码器不同层级特征间的差异来滤除噪声并增强形状和边界；多尺度特征模块（MSFB）通过多分支空洞卷积和自注意力捕获多尺度语义信息；多方位注意力模块（MAAB）通过三条独立卷积分支分别学习前景、背景和边界表示，并加以融合以精确定位复杂区域。此外，结合Tversky损失（权重0.65）和二元交叉熵损失（权重0.35）构建混合损失函数，以缓解类别不平衡问题。实验使用了四个公开息肉数据集：Kvasir-SEG（1000张）、CVC-ClinicDB（612张）、CVC-T（60张）和ETIS（196张），并设置了域内评估和跨数据集评估两种协议。

研究结果部分包含以下关键发现：

学习能力（Learning Ability）：在Kvasir-SEG数据集上，X-Net的mDice达到0.946，mIOU为0.898，加权F-measure（F^w_β）为0.944，S-measure（S_α）为0.989，平均绝对误差（MAE）为0.010，均优于APCNet、SAFE-Net等方法；在CVC-ClinicDB数据集上，mDice达0.949，mIOU为0.903，同样表现最佳。在跨数据集测试中，X-Net在CVC-T上mDice为0.915、mIOU为0.843，在ETIS上mDice为0.843、mIOU为0.728，均超过对比方法。

消融实验（Ablation Study）：首先确定最佳骨干配置为冻结Pb1、训练ENB0。在此基础上，将三个模块（MSFB、SAEB、MAAB）分别或组合加入基线（Pb1+ENB0）。结果表明，MSFB在ETIS这类小息肉数据集上提升显著（mDice提高1.1%），SAEB有助于边界保留和减少假阳性，MAAB增强了特征融合，完整X-Net在四个数据集上达到最优性能（参数为28.69M）。损失函数消融显示，Tversky损失与BCE按0.65:0.35加权组合效果最佳。

分割结果可视化与失败分析（Segmentation Results and Failure Analysis）：可视化实验显示，对于小息肉图像，X-Net表现最好，Pb1单独使用时误差最大；对于中等息肉，MAAB和SAEB对边界检测至关重要；对于大息肉，多数模型表现良好但Pb1仍存在边界问题。失败分析表明，模型在低对比度边界和模糊区域仍存在误分割，假阳性多源于周围结构相似，假阴性则出现在弱定义区域。

研究结论与展望：研究提出了一种融合Transformer和CNN的X-Net架构，通过SAEB、MSFB和MAAB三个模块分别增强形状、多尺度特征和多方位的注意力，结合混合损失函数有效解决了类别不平衡问题。在四个公开数据集上的实验证明该模型具有很强的分割精度和泛化能力。然而，对于极大或极小的息肉仍存在挑战。未来工作将集中在提高对极小和极大息肉的鲁棒性、探索更低分辨率输入以降低计算成本，并将该框架推广到其他类别不平衡的医学图像分割任务中。