《Frontiers in Endocrinology》：A hybrid ViT-L/32–MaxViT-L architecture with adaptive gated fusion for multiclass gastrointestinal disease detection and multi-method post-hoc explainability
编辑推荐：
**摘要**
**引言**：由于显著的类间相似性、类内变异性和异质性病变表现，从内镜图像中准确检测胃肠道疾病仍然具有挑战性。卷积神经网络（CNN）能有效捕捉精细黏膜纹理，但其有限感受野限制了全局上下文推理。相反，Transformer架构可建模长距离依赖，
**摘要**
**引言**：由于显著的类间相似性、类内变异性和异质性病变表现，从内镜图像中准确检测胃肠道疾病仍然具有挑战性。卷积神经网络（CNN）能有效捕捉精细黏膜纹理，但其有限感受野限制了全局上下文推理。相反，Transformer架构可建模长距离依赖，但可能不足以表征局部结构细节。
**方法**：本研究提出一种双分支混合Transformer框架，将ViT-L/32的全局令牌级推理与MaxViT-L的层次化空间建模相结合。引入自适应门控融合机制，以在每个样本基础上动态调节局部与全局表示的相对贡献，实现内容感知的跨尺度整合。研究人员在基于云计算的模型评估服务（Amazon SageMaker）的支持下，使用多类胃肠道内镜数据集，通过全面的定量指标、类别分析、消融研究、置信区间估计和统计验证对该模型进行了评估。此外，研究人员还利用多种互补的可解释人工智能（XAI）技术研究了事后可解释性。
**结果**：所提出的框架在八个胃肠道疾病类别上持续表现出高准确率、灵敏度、特异性和受试者工作特征曲线下面积（AUC），优于若干先进的Transformer和混合架构。XAI分析进一步证实了病灶聚焦的激活一致性和稳定的决策过程。
**讨论**：研究结果表明，通过门控融合实现自适应局部-全局特征整合可增强诊断性能和可解释性，支持混合Transformer架构在可靠计算机辅助胃肠道疾病分类中的潜力。
**基于混合ViT-L/32–MaxViT-L架构与自适应门控融合的胃肠道疾病检测研究解读**
**研究背景与问题**
胃肠道疾病（包括炎症、癌前病变和恶性肿瘤）的准确检测对临床管理至关重要。内镜成像虽为首要诊断手段，但人工判读存在操作者依赖性及观察者间变异，尤其当区分细微炎症、小息肉、染色的边界或视觉相似的解剖结构时，漏诊或误分类可能延误治疗。深度学习尤其是卷积神经网络（CNN）在息肉检测、溃疡识别等任务中表现优异，能捕捉局部纹理模式；但CNN依赖局部感受野，难以建模全局上下文依赖。视觉Transformer（ViT）通过自注意力机制建模长距离依赖，却可能低估局部结构细节。现有混合架构常采用固定融合策略（如拼接、相加或交叉注意力），无法根据输入样本动态平衡局部与全局特征的贡献。此外，可解释性（XAI）工具多作为辅助可视化层，而未被系统评估为与模型行为一致的部分。为此，研究人员提出一种双分支混合Transformer架构，融合ViT-L/32的全局令牌级推理与MaxViT-L的层次化多轴空间注意力，并引入自适应门控融合机制，以实现动态、样本自适应的跨尺度整合。该研究发表在《Frontiers in Endocrinology》。
**技术方法**
研究人员使用公开Kvasir内镜数据集（共4000张图像，8个类别：Dyed-Lifted Polyps、Dyed-Resection Margins、Esophagitis、Normal Cecum、Normal Pylorus、Normal Z-line、Polyps、Ulcerative Colitis，每类500张）。主要方法包括：双分支编码器（ViT-L/32分支将图像分为32×32不重叠补丁，经24层自注意力提取全局嵌入；MaxViT-L分支通过卷积茎和层次化多轴注意力提取多尺度空间特征），将两分支嵌入线性投影至共享潜在空间（维度D
f=1024），通过轻量级多层感知机（MLP）与Sigmoid激活生成样本自适应门控系数g，加权融合为f
fused = g·
?f
ViT + (1?g)·
?f
MaxViT。分类头由层归一化、Dropout和全连接层组成，使用交叉熵损失训练。训练策略采用头部预热后解冻最后25%层的分步微调，优化器为Adam，学习率0.001，批次大小32，100个周期。
**研究结果**
**6.1 训练收敛与优化行为**
训练与验证曲线紧密对齐，准确率稳定在0.95以上，损失平滑下降且无发散，表明优化稳定且未过拟合。
**6.2 总体定量性能指标**
混合模型总体准确率96.38%，精确率96.02%，召回率95.74%，F1分数95.88%，特异性99.21%，AUC 0.9936，显示均衡且优越的多类区分能力。
**6.3 类别区分性能**
混淆矩阵显示对角元素主导，每类正确预测94–98样本。正常盲肠（Normal Cecum）和正常幽门（Normal Pylorus）分离性最强；误分类主要限于视觉相似类别（如食管炎与染色隆起息肉之间）。
**6.4 受试者工作特征（ROC）分析**
八类ROC曲线AUC值均在0.991–0.996之间，正常幽门（AUC=0.996）最高，显示高灵敏度与低假阳性率。
**6.5 定量类别指标**
各类精确率95.64%–98.68%，召回率95.19%–97.05%，F1分数95.41%–97.35%，特异性≥99.08%，宏观平均指标一致，无类别不平衡影响。
**6.6 与Transformer架构比较**
混合模型在所有指标上优于ViT-B/16、ViT-L/32、DeiT、Swin-T、TransUNet、MaxViT-L、MedViT、TransFuse、Swin-UNETR、Pyramid ViT、FLATer、TransMT-Net、ReViT等，验证了自适应融合的先进性。
**6.7 与最新方法比较**
与既往研究（如ViT、Swin-T混合、CNN-Transformer混合等）相比，本模型在Kvasir数据集上取得最高准确率（96.38%），且报告了多数研究缺失的特异性（99.21%）和AUC（99.36%），并整合了多方法可解释性。
**7 置信区间分析**
95%置信区间：准确率[95.08%, 97.68%]，精确率[94.67%, 97.37%]，召回率[94.35%, 97.13%]，F1[94.52%, 97.24%]，特异性[98.60%, 99.82%]，AUC[98.82%, 99.90%]，区间狭窄表明预测稳定。
**8 统计分析**
Friedman对齐秩检验（统计量75.64，p<0.001）表明模型间存在显著差异；混合模型获最高平均秩（81.00）。Holm校正后对DeiT-Base、ViT-B/16等显著优于，与MaxViT-L、Swin-UNETR等差异不显著但排名更高。
**9 消融研究**
- **骨干互补性**：双分支（A8）优于单分支MaxViT-L（A2, 94.26%）和ViT-L/32（A1, 92.73%），证实互补。
- **融合策略**：自适应门控融合（A5, 95.62%）优于平均融合（A3, 94.88%）和拼接+MLP（A4, 95.41%）；结合投影（A7, 96.05%）后进一步提升。全配置（A8）最佳。
- **融合嵌入维度**：D
f=1024时最优（96.38%），2048无提升。
- **微调策略**：头部预热+解冻最后25%层（S2）优于只训练头（S1, 94.72%）和全微调（S3, 95.61%）。
- **数据分割鲁棒性**：70:10:20分割最佳（96.38%），更大测试集比例导致性能微降。
**10 计算复杂度分析**
模型参数518.6M，FLOPs 62.7G，GPU内存12.4GB，推理速度58 FPS（17.24 ms/帧）。虽计算成本最高，但预测性能最优，适用于GPU环境。
**11 多方法可解释性分析**
使用SmoothGrad、Integrated Gradients、GradCAM++、Occlusion Sensitivity和GradCAM五种方法，结果显示梯度定位方法（GradCAM、GradCAM++）在病灶类（染色息肉、溃疡性结肠炎等）上一致集中于病理区域；炎症类关注红斑或破坏黏膜；正常类激活集中于解剖轮廓。GradCAM++最聚焦。
**讨论与结论**
实验表明，通过门控融合整合全局与局部特征可增强诊断性能与可解释性。模型在高召回率（减少漏诊）和高特异性（减少不必要随访）间取得平衡，类别一致性高。统计检验支持性能提升非偶然。可解释性分析显示预测与临床相关区域对齐，增强临床信任。局限性包括计算成本高、仅使用单一公开数据集（缺乏外部验证）、处理静态2D图像（缺乏时态信息）、门控机制对分布漂移敏感等。未来可探索多模态融合、视频或3D架构、模型压缩、前瞻性临床验证。
**结论翻译**
准确可靠的胃肠道内镜图像自动判读需要模型能够调和精细黏膜细节与更广泛的解剖和上下文线索。本研究开发了一种双分支混合Transformer架构，通过自适应门控融合机制整合全局令牌级建模（ViT-L/32）与层次化空间编码（MaxViT-L）。该框架并未强制固定局部与全局表示的交互，而是实现内容依赖的特征贡献调制，反映了胃肠道病理的异质性视觉特征。实验结果表明，自适应混合可增强跨炎症、息肉样和正常解剖类别的多类区分能力，且不损害训练稳定性。详细的类别评估和统计比较表明，性能提升归因于结构化融合而非单纯模型规模。消融研究进一步阐明了门控整合相对于单流或刚性融合方案的增量价值。可解释性通过多种互补的事后XAI方法检查，确认模型注意力与临床合理区域对齐。尽管这些解释仍是事后且非因果的，但其跨类别的稳定性加强了临床可解释性的论据。本研究通过引入受控的样本自适应融合策略，并辅以严格验证，推进了基于Transformer的胃肠道图像分类。跨多机构数据集的持续评估及向真实内镜工作流程的整合，将决定其实际临床影响。
