《Frontiers in Oncology》：Deep learning-based classification of colonoscopic images using an attention-enhanced ConvNeXt V2 architecture
编辑推荐：
引言：结肠镜图像的正确判读对于早期检测和诊断息肉、炎症性肠病等结直肠疾病具有重要意义。然而，此类图像复杂的视觉模式及较高的类内相似性使得自动化分类任务面临挑战。方法：本研究提出一种基于ConvNeXt V2的注意力增强深度学习框架，用于结肠镜图像鲁棒的多类分类
引言：结肠镜图像的正确判读对于早期检测和诊断息肉、炎症性肠病等结直肠疾病具有重要意义。然而，此类图像复杂的视觉模式及较高的类内相似性使得自动化分类任务面临挑战。方法：本研究提出一种基于ConvNeXt V2的注意力增强深度学习框架，用于结肠镜图像鲁棒的多类分类。该方法在ConvNeXt V2架构中引入卷积块注意力模块（Convolutional Block Attention Module, CBAM），通过强调诊断相关区域并忽略无关背景信息以改善特征表示。研究人员使用包含盲肠（正常）、息肉和溃疡性结肠炎三类各500张、空间分辨率统一为720×576像素的平衡数据集，并对训练集进行数据增强以提升模型泛化能力，采用5折分层交叉验证对模型性能进行广泛评估。结果：实验结果显示，所提方法平均分类准确率约为95%，显著优于基线ConvNeXt V2模型的约90%准确率；此外，所提模型平均精确率（Precision）达95.1%，F1分数（F1-score）达94.9%，表明对所有类别均具有可靠分类能力；注意力可视化的定性分析揭示模型能够聚焦于与病理特征相关的临床相关区域。讨论：结果证明了嵌入注意力机制的现代卷积架构在提升结肠镜图像分析诊断性能方面的有效性；所提框架为结直肠疾病的自动分类提供了强大且高效的工具，可辅助临床医师决策。
该研究发表于《Frontiers in Oncology》。研究背景方面，结直肠癌是全球癌症相关死亡的第二大常见原因，包括结肠癌、息肉及溃疡性结肠炎等在内的结直肠疾病对全球发病率与死亡率贡献显著，通过结肠镜评估早期准确诊断对降低死亡率、改善患者预后至关重要。结肠镜图像的判读在临床上重要但困难且耗时，胃肠道组织在视觉特征上存在高度相似性与类内变异，尤其是息肉与炎性病变；且在伪影、光照变化与运动模糊存在下诊断更为困难，医师手动评估耗时且受观察者间变异性影响导致诊断不一致。近年来人工智能特别是深度学习成为医学图像分析的有力工具，卷积神经网络（Convolutional Neural Networks, CNNs）在医学图像分类、分割与目标识别等任务中表现有效，应用于结肠镜图像时对在息肉与炎性区域等异常检测显示出良好结果；更近期的复杂架构如EfficientNet与Vision Transformer可学习更复杂特征表示从而带来更好性能。然而现有方法仍有重要局限：主要障碍是原始卷积模型无法聚焦于治疗重要区域而忽略无关背景，常导致复杂医学图像中特征表示次优与分类性能不佳；许多研究使用薄弱评估方法或未充分利用如分层交叉验证等强验证方法，结果可能缺乏泛化性。为此，本研究提出专为结肠镜图像分类设计的注意力增强深度学习框架，在ConvNeXt V2架构中配备卷积块注意力模块（CBAM）以通过自适应突出重要空间与通道信息促进特征提取，使用盲肠（正常）、息肉和溃疡性结肠炎三类的Kvasir数据集平衡子集（每类500张，共1500张，分辨率720×576像素）进行评估。研究人员修改现有ConvNeXt V2模型并引入CBAM以改善多类结肠镜图像分类中的特征描述，使用强且通用的5折分层交叉验证评估协议，实验显示性能较基线ConvNeXt V2明显提升，分类准确率接近95%，基于注意力的可视化定性见解有助于理解模型对临床相关区域的聚焦；结果表明所提方法可提高分类准确率与鲁棒性，可作为医师结直肠疾病诊断的有用辅助工具。
为开展研究，研究人员使用的关键技术方法主要包括：采用公开Kvasir数据集仓库中的子集，选取盲肠（正常）、息肉、溃疡性结肠炎三类各500张构成平衡数据集，通过分层随机采样构建并保持原始720×576像素分辨率，使用ImageNet均值与标准差进行归一化；对训练集采用Albumentations库实施随机旋转（±15°，概率0.5）、水平翻转（概率0.5）、亮度与对比度调整（因子±0.2，概率0.5）、高斯模糊（核3×3至7×7，sigma 0.1–1.0，概率0.3）、随机缩放裁剪（比例0.8–1.2，概率0.5）的数据增强；提出在ConvNeXt V2-Tiny骨干网络末端集成单次卷积块注意力模块（CBAM，依次执行通道注意力与空间注意力）的架构，特征图经全局平均池化（Global Average Pooling, GAP）后接入全连接层与softmax分类器；训练采用Adam优化器（学习率0.0001）、分类交叉熵损失函数，最大60轮训练并结合早停策略（耐心8–10轮），批次大小16，输入尺寸720×576，类别数3；评估采用5折分层交叉验证，在NVIDIA GeForce RTX 3090 GPU上基于PyTorch 2.1.0框架实现，设置随机种子42以保证可复现性；外部验证使用独立HyperKvasir数据集构建同类平衡测试集（每类500张，共1500张）且不微调直接评估；基线对比包括ResNet50、DenseNet121、EfficientNet-B3、ViT-Base、Swin Transformer-Tiny在相同条件下训练评估，并进行CBAM组件消融研究（仅通道注意力、仅空间注意力、两者结合）。
研究结果部分保留原文小标题并说明如下：
4 Results：研究人员通过定量与定性分析评估所提模型性能，基于5折分层交叉验证实验获得混淆矩阵与性能对比图。混淆矩阵显示对角线元素远高于非对角线元素，盲肠类在所有折中分类准确率最高，息肉与溃疡性结肠炎间存在少量误分类但因视觉相似（炎症模式与不规则纹理），模型总体判别力与准确率良好且各折间稳定。每类敏感性（Sensitivity）与特异性（Specificity）采用一对余法计算：盲肠类平均敏感性98.60±0.55%、特异性96.60±0.65%；息肉类敏感性93.60±1.14%、特异性97.10±0.42%；结肠炎类敏感性92.80±0.84%、特异性98.80±0.45%，息肉类在敏感性与特异性间保持有利平衡。折线图显示各折准确率约94%–96%，平均分类准确率超95%，精确率与F1分数趋势相似，折间低方差表明对特定数据划分不敏感。统计分析与95%置信区间显示平均准确率95.00%（标准差0.82%，CI [94.28%, 95.72%]），平均精确率95.07%（±0.81%，CI [94.36%, 95.77%]），平均F1分数94.99%（±0.82%，CI [94.27%, 95.71%]）。与近期五项胃肠内镜图像分类研究对比（多在完整8类Kvasir数据集），所提ConvNeXt V2+CBAM框架在3类子集上取得可比性能，准确率、精确率、F1分数分别为95.00%、95.07%、94.99%，优于部分单模型方法并在多指标上平衡。通过CBAM生成的注意力图定性评估可解释性：正常结肠黏膜注意力图呈相对均匀低强度激活伴血管模式稍高关注；息肉案例注意力强烈集中于隆起黏膜病变及其不规则表面；溃疡性结肠炎图像注意力图突出黏膜红斑、正常血管模式消失与浅表溃疡区域，抑制非诊断区域如管腔内容物，符合Mayo内镜子评分与溃疡性结肠炎内镜严重指数（Ulcerative Colitis Endoscopic Index of Severity, UCEIS）所用内镜特征。CBAM组件消融研究显示同时含通道与空间注意力的模型性能最高（准确率95.00%、精确率95.07%、F1分数94.99%），仅通道或仅空间注意力性能明显降低，证明两者协同对特征细化与分类准确至关重要。
4.1 External validation：为评估所提注意力增强ConvNeXt V2模型在训练分布外的泛化能力，在独立HyperKvasir数据集（含23类10662张标注图像，同临床环境但成像条件与病理表现更多样）进行外部验证，构建平衡外部测试集（每类500张，共1500张，溃疡性结肠炎聚合可用严重程度等级以匹配3类问题），无微调直接评估。结果显示外部验证整体准确率90.87%、宏平均精确率90.12%、宏平均召回率90.45%、宏平均F1分数90.28%，较内部评估下降约4%–5%；盲肠类下降最小（97.2%→93.4%，-3.8%），息肉类下降较大（93.8%→88.6%，-5.2%），溃疡性结肠炎类94.8%→90.2%（-4.6%），表明模型在分布偏移下仍保持鲁棒性能，盲肠类因正常解剖结构稳定表征学习较好，息肉因外部数据形态变异更大致下降明显。
4.2 Comparison with baseline architectures：在相同实验条件下对比多种常用深度学习架构（均用Kvasir平衡3类子集、5折分层交叉验证、相同增强与优化设置）：ResNet50（准确率91.47%、精确率91.65%、召回率91.32%、F1分数91.48%、参数25.6M、FLOPs 4.12G、推理时间13.8ms）；DenseNet121（92.35%、92.48%、92.21%、92.34%、8.0M、2.88G、11.5ms）；EfficientNet-B3（93.82%、93.95%、93.71%、93.83%、12.0M、1.84G、9.7ms）；ViT-Base（Patch 16）（92.68%、92.81%、92.54%、92.67%、86.0M、17.58G、24.6ms）；Swin Transformer-Tiny（93.95%、94.12%、93.81%、93.96%、28.3M、4.52G、14.2ms）；所提ConvNeXt V2+CBAM（95.00%、95.07%、94.92%、94.99%、28.6M、4.68G、12.4ms）。所提模型在准确率与F1分数上最高，优于常规卷积网络与基于Transformer模型；参数规模与Swin-Tiny相当且显著轻于ViT-Base，虽多于EfficientNet-B3但准确率更高，在准确率与计算成本间取得有利权衡；ConvNeXt V2的大核卷积与倒瓶颈结构利于细粒度局部纹理与更广上下文提取，CBAM显式建模通道与空间依赖使网络动态强调诊断关键区（如息肉边界、黏膜炎症区）并抑制无关背景，在该3类医学影像任务中比Transformer模型数据效率与特征判别力更好。5折交叉验证统计总结：准确率95.00±0.82（标准误0.37），精确率95.07±0.81（标准误0.36），F1分数94.99±0.82（标准误0.37）；配对Wilcoxon符号秩检验显示较所有基线架构提升具统计显著性（p<0.05）。
讨论部分总结：研究人员比较所提模型与基线ConvNeXt V2架构的性能提升并详细分析注意力机制；息肉与溃疡性结肠炎等疾病分类内视觉相似性显著，结肠镜图像具复杂纹理与细微模式，典型卷积架构可能遗漏细微区别，所提模型通过将CBAM集成至ConvNeXt V2骨干增强有用特征并抑制无关背景信息，改善类识别尤其在仅存微小视觉差异的困难情形；数据与分层交叉验证提升模型泛化性并捕获不依赖数据分布的鲁棒特征。通道与空间注意力分别帮助网络学习最重要特征通道与图像最相关区域，对结肠镜图像分析尤为重要（临床相关区如息肉或炎症组织常仅占图像极小部分），无注意力机制的特征提取可能被无关信息污染，CBAM的纳入通过更好聚焦于诊断重要区域提高分类准确率与预测可靠性，各折结果一致证实此点。所提模型在准确率、精确率与F1分数上均更优，表明有助于减少总体误差与类特定误分类误差，证明将注意力过程集成至现代卷积架构特别适合需区分细粒度特征的医学图像分类问题；学习曲线显示所提模型在早期训练阶段收敛更快（特征学习效率更高），训练与验证曲线差距较小（过拟合更少、泛化更好），基线模型验证表现稍差且收敛较慢；性能指标条形图显示所提模型在各指标均优于基线，医学图像分类中5%准确率提升意义重大，准确率与F1分数提升表明假阳性与假阴性间权衡改善。HyperKvasir外部验证表明框架鲁棒性，虽较内部Kvasir结果下降4.1%–5.2%，但在完全未见数据上三类均超88%准确率；CBAM集成使模型即便面对成像条件与分布变异仍能聚焦于临床相关特征，盲肠分类下降较小（3.8%）表明模型有效学习正常解剖结构稳定表示，息肉检测下降较大凸显跨数据集泛化多样息肉表现的固有挑战，支持所提注意力增强ConvNeXt V2架构在真实临床场景的潜在适用性，也强调外部验证对评估真正泛化性能的重要性。对测试集误分类案例的定性错误分析显示多数误分类发生于息肉与溃疡性结肠炎之间及正常黏膜与息肉之间：具明显黏膜不规则、红斑与表面结节的息肉被误分为溃疡性结肠炎（视觉相似致混淆）；正常结肠黏膜中显著天然黏膜皱褶或病变被模型解释为息肉样结构（区分良性解剖变异与真病变困难）；严重黏膜肿胀、结节与炎性渗出的溃疡性结肠炎呈息肉样形态被误分为息肉；这些发现强调不同结直肠状况间固有视觉重叠，需在具重叠炎症与息肉样特征案例中更鲁棒的特征判别。未来工作将探索多模态数据整合（结合图像特征与临床报告及病史的文本嵌入，用预训练语言模型与早期融合或交叉注意力机制）、其他可解释AI技术（如Grad-CAM++与SHAP）以获模型决策更全面定量见解、模型优化技术（量化、剪枝、知识蒸馏）以促进临床环境实时部署（降低内存占用与计算需求、消除冗余参数、将知识转移至更小高效学生模型以维持诊断准确率并显著提升推理速度）。局限性包括：聚焦选取Kvasir数据集8类中的3类（盲肠、息肉、溃疡性结肠炎）虽实现平衡严格评估但可能限制直接适用于更广泛多类胃肠疾病分类场景；外部验证仅用单一独立数据集（HyperKvasir），虽表现合理泛化与适度下降，仍需在多中心多厂商结肠镜数据集进一步验证以确认多样临床环境下的鲁棒性；可解释性分析主要基于CBAM模块生成的注意力图，虽提供有用定性见解，纳入额外可解释AI技术可获模型决策过程更全面定量理解；本研究基于固定高分辨率静态图像，未来应探索模型在视频序列上的表现并研究低计算开销实时临床部署的优化策略。
研究结论部分原文翻译：在本研究中，研究人员提出一种注意力增强的ConvNeXt V2框架，用于将结肠镜图像多类分类为三个临床相关类别：正常（盲肠）、息肉和溃疡性结肠炎。通过在ConvNeXt V2骨干中集成卷积块注意力模块（CBAM），模型通过聚焦于诊断重要区域改善了特征表示。使用Kvasir数据集的平衡子集与5折分层交叉验证，所提模型达到平均准确率95.00%、精确率95.07%与F1分数94.99%，显著优于基线ConvNeXt V2模型。注意力机制的纳入使模型能够通过强调细微病理特征有效区分视觉相似类别。这些结果证明了将现代卷积架构与注意力机制相结合用于结肠镜图像准确且可解释分析的可行性。未来工作将聚焦于扩展框架至更大更多样数据集、纳入额外可解释AI技术，并为实时临床部署优化模型。
