《Diagnostics》：Development of Hybrid Deep Learning Systems Combining Convolutional Neural Networks and Vision Transformers for Medical Ultrasound Image Classification
编辑推荐：
背景：甲状腺结节超声图像的精确分类具有重要的临床意义。本研究评估了结合卷积神经网络（CNN）局部特征提取能力与视觉Transformer（ViT）全局上下文建模能力的混合架构是否优于单一类别的模型。方法：使用了两个公开数据集（共6905张图像；3331张良性，
背景：甲状腺结节超声图像的精确分类具有重要的临床意义。本研究评估了结合卷积神经网络（CNN）局部特征提取能力与视觉Transformer（ViT）全局上下文建模能力的混合架构是否优于单一类别的模型。方法：使用了两个公开数据集（共6905张图像；3331张良性，3574张恶性）。比较了十一种基于ImageNet预训练的架构：基于CNN的（ResNet-50、EfficientNet-B4、ConvNeXt）、基于ViT的（Swin Transformer、DeiT、PVTv2、XCiT）以及混合型（ConViT、CoaT、MobileViT、HuviT）。骨干网络被冻结，仅训练分类头；HuviT的新投影层和编码器在随机初始化状态下被冻结。计算了Wilson与Newcombe 95%置信区间（CI）；可解释性分析使用了梯度加权类激活映射（Grad-CAM）。结果：ConViT取得了最高的准确率（83.30%；95% CI 80.91–85.45）和89.94%（95% CI 87.8–91.7）的受试者工作特征曲线下面积（ROC-AUC）。ConvNeXt排名第二（82.63%），但拥有最高的ROC-AUC（90.02%；95% CI 87.9–91.8）；两者的区间存在重叠。HuviT达到了76.35%。针对代表性病例的Grad-CAM突出了病灶区域。结论：尽管ConViT在基于阈值的指标上取得了最佳性能，但这些发现表明的是特定混合设计的潜力，而非确立了混合架构的普遍优越性。鉴于本研究的回顾性设计以及图像来源与类别标签之间的部分关联，有必要进行前瞻性的外部验证。
研究背景与问题
随着磁共振成像（MRI）、计算机断层扫描（CT）、数字病理学和超声（US）等医学影像数据量的急剧增长，自动化分析系统已成为维持诊断精度的实际需求而非便利性工具。深度学习技术在这一领域展现出巨大潜力，其在大规模图像库上训练的模型能够在特定任务上达到甚至接近临床医师的诊断水平。
在医学影像识别领域，卷积神经网络（CNN）长期占据主导地位。CNN通过对局部空间结构的归纳偏置（inductive bias），能够高效地捕捉边缘、纹理和形状等特征层次。然而，CNN的一个根本局限在于，其神经元只能接收来自空间局部邻域的输入，因此捕捉长距离依赖关系需要通过堆叠大量层来实现。与此相对，Transformer架构引入的自注意力机制（self-attention mechanism）能够一次性对整个图像的空间范围进行关系建模，使其特别适用于理解图像整体结构的任务。
在实际应用中，视觉Transformer（ViT）通常需要更大的训练数据集才能从头开始泛化，并且计算成本高于同等参数规模的CNN。在标注数据获取成本高昂的医学影像领域，这构成了真正的瓶颈。混合架构（hybrid architectures）通过选择性地组合用于局部特征提取的卷积层和用于全局上下文建模的Transformer层，提供了一条折中路径。来自通用计算机视觉领域的证据表明，这些混合模型可能优于单独使用任何一种模型，但在医学影像中的最优整合策略、训练方案和跨模态泛化能力仍是活跃的研究课题。
甲状腺结节的评估是一个临床上具有挑战性的测试案例。超声检查是主要的筛查工具，但可靠地区分良性与恶性病变需要评估回声性质、边界不规则性、微钙化和血管分布等特征，这些特征既涉及精细的局部纹理，也涉及整体的病灶上下文。放射科医生之间的观察者间差异已有充分记录，许多中心采用二次意见的工作流程。能够以高召回率识别恶性结节同时保持低假阳性率的模型，可能有助于减少不必要的活检并支持更早的治疗决策。
在此背景下，本研究设定了两个目标：（1）对涵盖三种范式的十一种架构在甲状腺超声数据集上进行系统性头对头比较；（2）引入并评估HuviT，这是一种将预训练ResNet-50骨干网络与多层Transformer编码器相结合的新型混合架构。评估超越了总体准确率，涵盖了类别级指标、主要性能指标的区间估计以及通过可解释人工智能（XAI）进行的可视化，旨在获得技术上严谨且临床可解释的结果。
研究方法与技术
研究人员采用了以下关键技术方法开展研究：
- •
数据集与预处理：合并了两个公开的甲状腺结节超声数据集，共计6905张图像（3331张良性，3574张恶性）。基础数据集为TN5000（5000张图像，来自中国医学科学院肿瘤医院，使用GE Logiq E9和S7系统采集），为纠正类别不平衡，额外从Kaggle公开集合中加入了1905张良性图像。所有图像被调整为224×224像素，并使用ImageNet通道统计数据进行归一化。对两个来源进行了基于加密哈希（SHA-256）和感知哈希（pHash）的图像去重，未发现重复图像。
- •
数据增强与划分：在训练期间在线应用六种增强操作（水平翻转、±10°随机旋转、±30%亮度抖动、±30%对比度抖动、随机裁剪后缩放、加性高斯噪声）。数据集按固定随机种子（42）随机划分为训练集（70%）、验证集（15%）和测试集（15%），各类别比例在各分区中保持一致。
- •
模型架构：比较了十一种基于ImageNet预训练的架构：基于CNN的（ResNet-50、EfficientNet-B4、ConvNeXt），基于ViT的（Swin Transformer、DeiT、PVTv2、XCiT），以及混合型（ConViT、CoaT、MobileViT、HuviT）。HuviT是本研究提出的新型两阶段架构，使用截断后的预训练ResNet-50骨干网络生成空间特征图，经自适应池化为7×7网格后展平为令牌序列，再通过四层Transformer编码器处理。
- •
训练协议：所有十一种架构在相同设置下训练。模型使用ImageNet预训练权重初始化，骨干网络被冻结，仅更新分类头。使用焦点损失函数（focal loss，α=1，γ=2）。共享超参数包括批量大小、学习率、优化器等。为确保可重复性，启用了PyTorch确定性算法和cuDNN确定性模式，所有随机数生成器均使用种子42并每轮次和批次重新播种。
- •
性能评估：在留出的测试集上使用五个指标评估模型性能：准确率、精确率、召回率、F1分数和ROC-AUC。对于每个基于比例的指标，使用Wilson评分区间计算双尾95%置信区间（CI）。对于ROC-AUC，使用Newcombe评分型方法计算双尾95%置信区间。使用未配对双尾双比例z检验将ConViT与其他每种架构进行比较，并进行Holm序贯校正。
- •
可解释性分析：使用梯度加权类激活映射（Grad-CAM）解释模型决策，通过加权最终卷积特征图与目标类别分数的梯度来生成热力图，突出显示对预测最关键的图像区域。
研究结果
4.1 总体性能
在所有十一种架构中，ConViT在基于阈值的指标上表现最佳：准确率83.30%，精确率83.30%，召回率83.26%，F1分数83.30%，ROC-AUC为89.94%。ConvNeXt获得了最高的ROC-AUC（90.02%）。准确率范围从73.75%（MobileViT）到83.30%（ConViT），跨度约9.5个百分点。
在CNN类别中，ConvNeXt以82.63%的准确率排名第二，并拥有所有模型中最高ROC-AUC（90.02%），略高于ConViT的89.94%。在纯ViT架构中，DeiT以81.18%的准确率和89.10%的ROC-AUC领先。在混合模型中，ConViT排名第一，其次是CoaT（80.41%）和HuviT（76.35%），MobileViT（73.75%）排名垫底。
由于领先架构之间的差异约为一个百分点，相应的区间估计显示ConViT与ConvNeXt的95%置信区间几乎完全重叠。在经Holm校正的未配对双比例检验中，ConViT的准确率显著高于Swin Transformer、HuviT、ResNet-50、EfficientNet-B4和MobileViT，但与ConvNeXt、DeiT、CoaT、PVTv2和XCiT无显著差异。
4.2 最佳模型的类别级分析
ConViT在良性类上实现了83.0%的精确率和82.2%的召回率，在恶性类上实现了83.6%的精确率和84.3%的召回率。F1分数分别为82.7%和83.9%，差异仅为1.2个百分点，表明模型并未通过系统性偏向某一类别来提升总体准确率，其在两个类别上的性能是平衡的。
以恶性作为阳性条件，ConViT的灵敏度为84.33%，特异度为82.20%，阳性预测值为83.55%，阴性预测值为83.03%，平衡准确率为83.26%。
4.3 混淆矩阵
ConViT正确分类了536例恶性中的452例（真阳性率84.3%）和500例良性中的411例（真阴性率82.2%）。84例恶性被误分类为良性（假阴性），89例良性被误分类为恶性（假阳性）。两种错误计数之差为5张图像，在抽样变异范围内。
4.4 ROC曲线与AUC
ConViT的ROC曲线在所有决策阈值下均靠近左上角，AUC为0.899（95% CI 0.878–0.917），意味着对于随机选择的良性-恶性配对，模型约有90%的概率将更高概率分配给恶性病例。
4.5 训练动态
ConViT的训练损失从第一个时期的约0.10下降至第50个时期低于0.04。验证损失在最初几个时期后稳定在0.055–0.067范围内。训练准确率在前十个时期快速上升（从约72%升至约83%），随后逐渐改善至第50个时期超过84%。验证准确率跟踪了这一趋势，范围在78%至82%之间。训练与验证指标之间适度且不发散的差距表明模型具有足够的泛化能力，未出现过拟合。
4.6 可解释性分析
针对一个代表性正确分类的良性病例的Grad-CAM热力图显示，高激活区域与结节边界及其内部回声模式相吻合，这正是放射科医生评估结节时所评估的声像学特征。定量指标：最大激活值0.994，平均激活值0.139，激活面积比0.309。多模型热力图比较显示，不同模型的高激活区域空间分布存在差异，但均为描述性观察。
讨论与结论
讨论总结：本研究的核心发现是，ConViT——通过门控机制从卷积归纳偏置逐步转向全局自注意力的模型——在甲状腺结节分类中取得了最高的基于阈值的分数。其平衡的类别级性能具有特别的临床相关性，因为假阴性和假阳性都带有重要后果。ConViT相比纯ViT模型的更高准确率与其门控位置自注意力（GPSA）设计的行为一致：早期训练中注意力类似于卷积，后期门打开后扩展至全局结构。ConvNeXt的强劲表现表明，现代化CNN与混合ViT模型之间的差距比简单的"CNN vs Transformer"框架所暗示的要小得多。然而，作为一组，混合架构并未优于其他两类范式，表明局部与全局建模的组合方式比模型是否名义上被称为混合更为关键。
结论翻译：本研究比较了用于甲状腺结节超声分类的三种范式的十一种深度学习架构。ConViT在准确率、精确率、召回率和F1分数上排名最高，但其相对于最佳卷积模型的优势处于抽样变异范围内，且后者获得了更高的ROC-AUC。结果并未确立混合CNN-Transformer架构相对于纯CNN或ViT模型的普遍优越性：这里评估的四种混合模型占据了排名的顶端和底部，而纯卷积模型获得了最高的ROC-AUC。然而，它们确实表明了特定设计的潜力。ConViT，以及更初步地它与ConvNeXt共享的设计原则，在严格统一的协议下有效地结合了卷积局部性与长程建模。平衡的逐类错误分布和解剖学上合理的Grad-CAM图令人鼓舞，但其临床相关性仍有待确定。这些架构应被视为进一步评估的有前景候选者，特别是前瞻性外部验证。ConvNeXt证明了精心设计的CNN架构仍然极具竞争力。HuviT提供了一个模块化的、适合迁移学习的基线，其性能很可能通过架构改进得到提升。未来的工作应优先考虑使用前瞻性收集的数据和患者级划分进行外部验证、架构特定的超参数优化、扩展到多类TI-RADS分级、按声像学结节组成和在多结节腺体中进行亚组分析、与欧洲甲状腺协会甲状腺成像报告和数据系统（EU-TIRADS）和美国放射学会TI-RADS风险分层以及细胞学Bethesda类别的直接比较，以及评估模型生成的注意力图是否能提高放射科医生诊断一致性的对照阅读器研究。
