基于超声的乳腺结节恶性诊断：使用知识蒸馏增强的卷积神经网络

《iScience》：Ultrasound-based breast nodule malignancy diagnosis using CNN enhanced by knowledge distillation

　　亮点•师生知识蒸馏传递高层语义表示•目标剪枝与分层特征融合平衡效率与性能•混合损失改善难样本学习与分类性能•激活图显示病灶区域内聚焦且解剖学上合理的注意力摘要乳腺良恶性病变的准确区分对于早期诊断至关重要，但由于超声评估中病变的异质性和观察者间差异，这仍具挑战性。我们开发了一个深度学习框架，集成双倒置瓶颈块（Dual-IB）、自适应分层特征融合和知识蒸馏（KD），用于乳腺超声病变分类。该模型在公开数据集上训练和评估，并在独立外部队列上验证其泛化能力。结果显示，与基线方法和住院医师相比，该模型表现出更优性能，同时在不同数据集和成像条件下保持稳健。在外部验证数据集上，模型取得最佳性能，准确率（Acc）为92.64%，F1分数为92.37%。此外，类激活映射（CAM）可视化显示病灶区域内聚焦且解剖学上合理的注意力模式，有助于解释并表明其辅助乳腺超声病变分类的潜力。图文摘要引言乳腺癌是全球女性最常见的恶性肿瘤之一，是女性健康与生命安全的主要威胁。根据世界卫生组织（WHO）和国际癌症研究机构（IARC）的最新统计数据，全球女性乳腺癌发病率已超过肺癌，位居首位，且呈逐年上升趋势。早期筛查和准确诊断被认为是降低乳腺癌死亡率、提高治愈率的关键环节。传统乳腺影像学检查方法包括乳腺X线摄影、超声、磁共振成像（MRI）等，每种检查各有优缺点：乳腺X线摄影可显示乳腺内微小钙化，但对致密型乳腺成像效果较差；MRI可提供高分辨率乳腺图像，但价格昂贵且操作复杂；超声作为一种安全、经济、无辐射的成像方法，因对致密型乳腺组织具有优异的成像能力，广泛用于乳腺癌的早期检测和随访。然而，超声图像存在固有局限性，如噪声干扰严重、分辨率有限、边界模糊，且成像质量易受操作者经验影响，导致乳腺良恶性病变的判别存在较强主观性和不确定性。这些问题严重影响乳腺癌早期识别和良恶性诊断的准确率（Acc），尤其是对BI-RADS 4类结节，其恶性检出率差异很大（2%–95%），给临床诊断带来重大挑战。近年来，随着人工智能（AI）、深度学习（DL）和影像组学技术的发展，基于医学影像的AI辅助诊断乳腺癌研究取得显著进展。卷积神经网络（CNN）可通过多层非线性特征提取网络自动学习乳腺超声图像中的高维特征，实现病灶区域的检测与分类，显著提高了诊断的准确率和一致性。研究人员已成功将ResNet、DarkNet、EfficientNet等模型应用于乳腺超声图像良恶性诊断任务，部分结果达到甚至超过经验丰富的放射科医师水平。Transformer架构在计算机视觉领域也取得了突破性进展，其自注意力机制可捕捉全局依赖信息，增强特征表达能力。基于视觉Transformer（ViT）和Swin Transformer的网络在乳腺超声图像分类和分割中展现出与CNN相当甚至更优的性能。Transformer能有效整合局部和全局信息，对形态复杂、边界模糊的肿瘤区域具有显著优势。然而，Transformer模型通常计算复杂度高、对数据量要求高，在少量标注数据上性能较差。在超声成像研究中，Ra等人利用大语言模型增强影像组学特征，用于基于乳腺X线摄影的乳腺肿瘤分类，在VinDr-Mammo数据集上取得67.1%的Acc，在INbreast数据集上取得83.9%的Acc。Elshenawy等人对超声成像中多类分类的联邦学习方法进行比较分析，尽管存在数据异质性，使用FedProx-MobileNet框架仍取得最佳平均Acc为73.31%，宏F1分数为67.3%。Ma等人提出DFMFI，一种用于超声乳腺癌检测的动态融合多尺度特征交互模型，取得87.12%的Acc和91.56%的AUC，优于最先进的混合模型。El-Shazli等人提出MSAE-DL框架，将混合自注意力机制与集成分类相结合用于数字乳腺断层合成，取得90.13%的Acc。聚焦于特征整合，Wang等人提出CTMF-Net，一种用于乳腺超声分类的CNN-Transformer多阶段融合网络，在SYSU数据集上取得90.14%的Acc，在UDIAT数据集上取得92.04%的Acc，优于最先进方法。为解决可解释性需求，Naas等人开发了基于可解释ViT的CAD系统，用于BreakHis数据集上的组织病理学乳腺癌分类，在不同放大倍数下取得高达92.0%的Acc。Rahman等人引入HyFormer-Net，一种协同CNN-Transformer模型用于超声图像，利用可解释多尺度融合达到93.2%的Acc。类似地，Yu等人开发BiaCanDet，一种时空注意力神经网络，分析生物电阻抗数据，报告Acc为93.37%。Tang等人提出基于具有自突触的非线性脉冲神经P系统的多阶段注意力架构，用于乳腺癌组织病理学分类，在BreakHis数据集上所有放大倍数下取得96.32%的Acc。Cho等人进一步使用基于注意力的融合网络在多模态超声图像上增强分割和分类，取得98.46%的分类Acc。Kabir等人提出CWC-MP-MC图像表示与优化ViT用于乳腺超声肿瘤分类，在Mendeley、UDIAT和BUSI数据集上取得超过98%的Acc。Singh等人提出MammXAI，一种自适应多模型方法，将XAI与多模态图像结合，取得显著99.6%的Acc。Kiran等人通过将EfficientNetB3与k-近邻结合推进乳腺超声诊断，取得100%的Acc，同时具有完美的精确率、召回率和F1分数。尽管近年来基于深度学习的乳腺超声图像分类方法取得显著进展，现有研究仍面临若干局限和挑战。首先，传统CNN主要依赖局部卷积运算进行特征提取，虽然在捕捉局部纹理和边缘信息方面表现良好，但建模全局语义信息和长距离依赖的能力仍有限。其次，大规模CNN模型通常涉及大量参数，虽然能在受控实验环境中取得高分类Acc，但在处理小样本或疑难病变病例时性能可能下降。因此，在提高鲁棒性和判别能力的同时有效增强全局特征表示，仍是乳腺超声图像分类的关键挑战。本研究提出一种基于CNN和知识蒸馏（KD）策略的乳腺超声图像良恶性分类方法，旨在实现模型高效性和可解释性的同时保持高诊断Acc。具体而言，我们设计了一个集成模型剪枝、双倒置瓶颈块（Dual-IB）和自适应分层特征融合模块的CNN架构。该设计能高效融合局部纹理信息和全局语义线索，实现乳腺肿块形态的准确稳健表示。此外，引入KD机制可将高性能教师模型的深度特征表示传递给学生模型，显著增强学生模型的分类性能和泛化能力。另外，引入混合LMF损失函数以增强对难分类样本的判别能力，有效提高模型对挑战性病例的识别性能。结果KD超参数调优基于5折交叉验证，系统研究了温度参数（T）和蒸馏权重（α）对所提出的KD框架的影响。相应结果汇总于表1，所有性能指标均以5折的均值±标准差表示。发现两个超参数均显著影响分类性能。在所有评估配置中，T=6和α=0.5在BUSI和UDIAT数据集上始终取得最佳整体性能。当温度过低时，教师输出包含的暗知识有限，而过高的温度则过度平滑概率分布，降低学生模型的判别能力。类似地，将α降至0.5以下导致学生网络过度依赖教师的软目标，导致性能下降。总体而言，两个数据集均表现出随着T和α增加，性能先提高后下降的一致趋势。因此，选择T=6和α=0.5作为所有后续实验的最优超参数配置。表1 不同蒸馏参数的实验结果表1 不同蒸馏参数的实验结果在从表1实验中确定最优KD超参数（T=6和α=0.5）后，这些设置固定用于所有后续实验。随后研究不同教师架构的影响，比较结果如表2所示。在评估的教师网络中，DenseNet121在BUSI和UDIAT数据集上始终取得最佳分类性能，在所有评估指标上均优于ResNet50、EfficientNet-B0和VGG16。该结果表明DenseNet121的密集连接能实现更有效的特征重用和更丰富的监督信息，从而促进向轻量学生网络的高效知识传递。虽然ResNet50和EfficientNet-B0也产生有竞争力的性能，但略逊于DenseNet121，而VGG16的整体结果最弱。因此，选择DenseNet121作为所有后续实验的教师模型。表2 不同教师网络的比较表2 不同教师网络的比较为定性评估学习到的特征表示，采用t-SNE可视化特征嵌入，如图1所示。来自BUSI和UDIAT数据集的良性和恶性样本形成紧凑且分离良好的聚类，重叠极小，表明所提模型具有强判别能力。虽然UDIAT数据集表现出稍大的类内变异，但两类仍可清晰区分。这些定性结果与表1和2中的定量发现一致，进一步证实所提KD框架的有效性。图1 乳腺超声数据集上学习到的特征表示的t-SNE可视化图1 乳腺超声数据集上学习到的特征表示的t-SNE可视化显示完整图注图查看器（A）BUSI数据集。（B）UDIAT数据集。消融研究消融结果如表3所示，相对于基线的相应性能提升汇总于表4。随着更多模块逐步纳入基线模型，在BUSI和UDIAT数据集上分类性能持续提高，表明每个所提组件对特征表示学习均有积极贡献。特别是，完整模型在BUSI数据集上取得95.07%的Acc，在UDIAT数据集上取得97.59%的Acc，分别超过基线2.49%和3.23%。Dual-IB、LMF和HF的组合产生互补改进，而加入KD进一步增强了学生模型，在所有评估指标上取得最大增益。这些结果证实了每个单独模块的有效性及其对提出框架的协同贡献。

**表3 各模块消融实验结果**

| 数据集 | 模型 | Acc (%) | Pr (%) | Re (%) | F1 (%) |
|---|---|---|---|---|---|
| BUSI | baseline | 92.58 ± 2.47 | 92.16 ± 1.83 | 91.74 ± 2.76 | 91.95 ± 2.12 |
| | +Dual-IB | 93.01 ± 2.15 | 92.73 ± 2.36 | 92.18 ± 1.68 | 92.45 ± 1.94 |
| | +LMF | 93.32 ± 1.58 | 93.03 ± 2.08 | 92.57 ± 2.42 | 92.81 ± 1.37 |
| | +Dual-IB + LMF | 93.89 ± 2.03 | 93.61 ± 1.49 | 93.12 ± 2.21 | 93.37 ± 1.74 |
| | +Dual-IB + LMF + HF | 94.28 ± 1.26 | 94.12 ± 2.14 | 93.72 ± 1.81 | 93.92 ± 0.98 |
| | +Dual-IB + LMF + HF + KD | 95.07 ± 2.04 | 94.82 ± 1.34 | 94.21 ± 2.35 | 94.50 ± 1.46 |
| UDIAT | baseline | 94.36 ± 2.68 | 94.02 ± 2.11 | 94.28 ± 1.76 | 94.15 ± 2.34 |
| | +Dual-IB | 94.81 ± 1.97 | 94.56 ± 2.53 | 94.73 ± 1.34 | 94.64 ± 2.08 |
| | +LMF | 95.07 ± 2.39 | 94.86 ± 1.62 | 95.03 ± 2.05 | 94.94 ± 1.28 |
| | +Dual-IB + LMF | 95.86 ± 1.43 | 95.58 ± 2.27 | 95.69 ± 1.17 | 95.75 ± 1.96 |
| | +Dual-IB + LMF + HF | 96.21 ± 2.18 | 95.98 ± 1.38 | 96.16 ± 1.73 | 96.07 ± 1.09 |
| | +Dual-IB + LMF + HF + KD | 97.59 ± 2.16 | 97.17 ± 2.56 | 97.52 ± 0.89 | 97.24 ± 1.27 |

**表4 消融模块与基线之间的性能差异**

| 数据集 | 模型 | ΔAcc | ΔPr | ΔRe | ΔF1 |
|---|---|---|---|---|---|
| BUSI | baseline | – | – | – | – |
| | +Dual-IB | 0.43 | 0.57 | 0.44 | 0.50 |
| | +LMF | 0.74 | 0.87 | 0.83 | 0.86 |
| | +Dual-IB + LMF | 1.31 | 1.45 | 1.38 | 1.42 |
| | +Dual-IB + LMF + HF | 1.70 | 1.96 | 1.98 | 1.97 |
| | +Dual-IB + LMF + HF + KD | 2.49 | 2.66 | 2.47 | 2.55 |
| UDIAT | baseline | – | – | – | – |
| | +Dual-IB | 0.45 | 0.54 | 0.45 | 0.49 |
| | +LMF | 0.71 | 0.84 | 0.75 | 0.79 |
| | +Dual-IB + LMF | 1.50 | 1.56 | 1.41 | 1.60 |
| | +Dual-IB + LMF + HF | 1.85 | 1.96 | 1.88 | 1.92 |
| | +Dual-IB + LMF + HF + KD | 3.23 | 3.15 | 3.24 | 3.09 |

为了对所提出的模型进行可解释性分析，我们采用了多种主流的类激活映射（CAM）方法对乳腺超声图像进行特征可视化，包括GradCAM、GradCAM++、XGradCAM、EigenGradCAM和LayerCAM，如图2所示。这些方法可以直观地观察模型在图像中关注的关键区域，从而验证模型在区分乳腺病灶类别时的可靠性。GradCAM和GradCAM++能够清晰突出病灶区域，但对其边缘细节的响应相对模糊。与GradCAM相比，GradCAM++对微小但关键的病灶点更为敏感。XGradCAM在保持整体区域响应的同时，能够增强关键特征的梯度权重，使模型关注的病灶轮廓更加准确。EigenGradCAM基于特征的主成分提供响应，能够突出图像中最显著的异常区域，有助于理解模型对整体结构的判断依据。而LayerCAM则可以对不同卷积层的特征图进行加权融合，实现对病灶区域的多尺度关注，确保微小病灶也能获得显著响应。

**图2 使用不同CAM方法对乳腺超声图像进行特征可视化**
(A) 原始图像。
(B) GradCAM。
(C) GradCAM++。
(D) XGradCAM。
(E) EigenGradCAM。
(F) LayerCAM。

从上述可视化分析可以看出，所提出的模型能够关注乳腺超声图像中病灶的关键区域，而不是背景噪声或无关组织区域。这验证了该模型不仅实现了高准确率分类，而且具有良好的可解释性。

**与最先进方法的比较**

所提出的方法与最先进方法在5折交叉验证下的性能比较如表5所示。所提出的模型在BUSI和UDIAT数据集上的所有评估指标中均取得了最佳性能。在BUSI数据集上，所提出的方法获得了95.07% ± 2.04%的Acc、94.50% ± 1.46%的F1分数和0.979 ± 0.009的AUC，优于所有基于CNN和Transformer的基线模型。在UDIAT数据集上，所提出的方法进一步提升了性能，达到了97.59% ± 2.16%的Acc、97.24% ± 1.27%的F1分数和0.988 ± 0.014的AUC。与最强的基线模型ConvNeXt相比，所提出的方法在UDIAT数据集上实现了1.32%的Acc提升、1.42%的F1分数提升和0.006的AUC提升。在不同数据集和评估指标上的一致提升表明，所提出的KD框架有效增强了特征表示，并提高了模型的判别能力。

**表5 5折交叉验证下的性能比较**

| 数据集 | 模型 | Acc (%) | Pr (%) | Re (%) | F1 (%) | AUC |
|---|---|---|---|---|---|---|
| BUSI | DarkNet | 91.64 ± 2.31 | 90.48 ± 2.08 | 90.92 ± 2.47 | 90.70 ± 1.86 | 0.942 ± 0.021 |
| | ShuffleNetV2 | 92.83 ± 1.74 | 91.81 ± 2.26 | 92.05 ± 1.53 | 91.93 ± 1.88 | 0.953 ± 0.008 |
| | ResNet18 | 93.52 ± 2.14 | 93.08 ± 1.47 | 92.14 ± 2.35 | 92.61 ± 1.71 | 0.960 ± 0.014 |
| | MobilenetV3 | 93.76 ± 1.39 | 93.31 ± 2.18 | 92.47 ± 1.72 | 92.89 ± 0.77 | 0.963 ± 0.012 |
| | MobilenetV4 | 94.11 ± 2.02 | 93.84 ± 1.56 | 92.88 ± 2.11 | 93.36 ± 1.43 | 0.966 ± 0.007 |
| | Swin-Transformer | 94.62 ± 1.18 | 94.83 ± 2.27 | 93.08 ± 1.34 | 93.95 ± 1.62 | 0.976 ± 0.023 |
| | Vit | 94.25 ± 2.43 | 93.92 ± 1.82 | 93.01 ± 2.06 | 93.46 ± 1.57 | 0.969 ± 0.012 |
| | ConvNeXt | 94.46 ± 1.63 | 94.31 ± 1.29 | 93.07 ± 2.24 | 93.68 ± 1.46 | 0.973 ± 0.013 |
| | Ours | 95.07 ± 2.04 | 94.82 ± 1.34 | 94.21 ± 2.35 | 94.50 ± 1.46 | 0.979 ± 0.009 |
| UDIAT | DarkNet | 92.84 ± 2.58 | 91.96 ± 2.14 | 92.08 ± 2.67 | 92.02 ± 1.95 | 0.951 ± 0.024 |
| | ShuffleNetV2 | 94.08 ± 1.81 | 94.63 ± 2.42 | 91.98 ± 1.56 | 93.29 ± 2.03 | 0.958 ± 0.007 |
| | ResNet18 | 94.53 ± 2.21 | 94.46 ± 1.68 | 92.96 ± 2.18 | 93.70 ± 1.54 | 0.966 ± 0.011 |
| | MobilenetV3 | 94.91 ± 1.42 | 95.26 ± 2.37 | 93.21 ± 1.63 | 94.22 ± 0.93 | 0.969 ± 0.014 |
| | MobilenetV4 | 95.48 ± 2.09 | 95.19 ± 1.84 | 94.46 ± 2.74 | 94.82 ± 1.39 | 0.976 ± 0.008 |
| | Swin-Transformer | 96.03 ± 1.27 | 95.44 ± 2.08 | 95.69 ± 1.31 | 95.56 ± 1.58 | 0.978 ± 0.022 |
| | Vit | 94.88 ± 2.36 | 94.53 ± 1.73 | 93.81 ± 2.12 | 94.17 ± 1.47 | 0.973 ± 0.013 |
| | ConvNeXt | 96.27 ± 1.54 | 96.32 ± 1.21 | 95.33 ± 2.29 | 95.82 ± 1.32 | 0.982 ± 0.007 |
| | Ours | 97.59 ± 2.16 | 97.17 ± 2.56 | 97.52 ± 0.89 | 97.24 ± 1.27 | 0.988 ± 0.014 |

为了进一步评估所提出模型的泛化能力，在一个未用于模型训练的独立私有数据集上进行了外部验证，结果汇总于表6。如表6所示，所提出的模型取得了最佳性能，准确率为92.64%，精确率为92.56%，召回率为92.18%，F1分数为92.37%，AUC为0.956。与其他方法相比，我们的模型在所有评估指标上均持续提升，表明在未见数据分布下具有更强的特征表示和鲁棒性。这些结果证实了所提出方法具有优越的泛化能力和潜在的临床适用性。图3展示了所提出方法在外部验证数据集上的混淆矩阵，直观地证实了其优异的分类性能，并展示了在良恶性病灶之间的准确区分，误分类有限。尽管公共和私有数据集之间存在分布差异，所提出的方法仍保持了持续优越的分类性能，证明了其鲁棒性和强大的泛化能力。这些发现进一步突显了所提出框架在乳腺超声图像分类的实际临床应用潜力。

**图3 外部验证上的混淆矩阵**

**表6 独立私有数据集上的性能比较（外部验证）**

| 模型 | Acc (%) | Pr (%) | Re (%) | F1 (%) | AUC |
|---|---|---|---|---|---|
| DarkNet | 88.56 | 87.41 | 88.02 | 87.71 | 0.928 |
| ShuffleNetV2 | 89.67 | 88.78 | 89.08 | 88.93 | 0.934 |
| ResNet18 | 90.31 | 90.02 | 89.33 | 89.67 | 0.939 |
| MobilenetV3 | 90.87 | 90.61 | 89.96 | 90.28 | 0.944 |
| MobilenetV4 | 90.63 | 90.18 | 89.74 | 89.96 | 0.942 |
| Swin-Transformer | 91.54 | 91.72 | 90.36 | 91.03 | 0.952 |
| Vit | 91.22 | 90.73 | 90.28 | 90.50 | 0.946 |
| ConvNeXt | 91.08 | 91.15 | 90.47 | 90.81 | 0.947 |
| Ours | 92.64 | 92.56 | 92.18 | 92.37 | 0.956 |

所提出方法和竞争模型在外部验证数据集上的ROC曲线如图4所示。所提出的方法取得了最高的AUC为0.956，优于所有比较模型，而最强基线Swin-Transformer的AUC为0.952。此外，所提出方法的ROC曲线在大多数工作点上始终高于竞争模型，表明其具有优越的判别能力以及在敏感性和特异性之间更好的平衡。这些结果进一步证实了所提出框架在未见临床数据上的鲁棒性和泛化能力。表7展示了所提出模型与不同经验水平放射科医生之间的诊断性能比较，包括两名住院医师、两名主治医师和两名主任医师。结果显示，诊断准确率随着临床经验的增加而提高，主任医师的准确率高于主治医师和住院医师。所提出的模型取得了最高的诊断准确率92.64%，超过了住院医师的68.39%、主治医师的76.14%和主任医师的83.90%。

**图4 私有数据集上不同模型的ROC曲线**

**表7 所提出模型与放射科医生的诊断性能比较**

| 模型 | Acc (%) | Pr (%) | Re (%) | F1 (%) |
|---|---|---|---|---|
| 住院医师 | 68.39 | 67.80 | 65.84 | 66.80 |
| 主治医师 | 76.14 | 75.95 | 74.07 | 75.00 |
| 主任医师 | 83.90 | 83.47 | 83.13 | 83.30 |
| Ours | 92.64 | 92.56 | 92.18 | 92.37 |

考虑到病灶大小和图像对比度是影响乳腺超声图像诊断难度的两个重要因素，我们评估了模型在不同病灶大小和对比度水平下的性能。表8呈现了在私有外部验证数据集上的定量亚组分析。所提出的模型实现了总体准确率92.64%和F1分数92.37%。然而，在更具挑战性的病例中，其性能有所下降。具体而言，对于≤10 mm的小病灶，Acc和F1分数分别降至87.14%和86.67%。在低对比度图像中也观察到类似趋势，Acc和F1分数分别为88.10%和87.72%。低对比度图像是由经验丰富的乳腺超声医师根据病灶与背景的可见性定义的。相比之下，模型在大于10 mm的病灶和中高对比度图像上表现更好，准确率分别为93.53%和94.93%。性能最差的情况出现在病灶既小又低对比度的病例中，Acc和F1分数分别降至80.65%和79.31%。

**表8 私有外部验证数据集上的定量亚组分析**

| 亚组 | 数量 | Acc (%) | Pr (%) | Re (%) | F1 (%) |
|---|---|---|---|---|---|
| 总体私有数据集 | 503 | 92.64 | 92.56 | 92.18 | 92.37 |
| 小病灶 ≤10 mm | 70 | 87.14 | 88.24 | 85.71 | 86.67 |
| 病灶 >10 mm | 433 | 93.53 | 93.25 | 93.91 | 93.58 |
| 低对比度图像 | 168 | 88.10 | 88.89 | 86.59 | 87.72 |
| 中/高对比度图像 | 335 | 94.93 | 94.51 | 95.12 | 94.81 |
| 小且低对比度病灶 | 31 | 80.65 | 82.14 | 76.67 | 79.31 |

这些结果表明，所提出的模型不仅具有更强的判别能力，而且在不同乳腺超声数据集（包括真实世界私有数据）上表现出优异的鲁棒性和泛化能力，证实了其在乳腺病灶分类任务中的有效性。图5比较了ResNet18、MobileNetV3、Swin-Transformer和所提出方法在乳腺超声图像上的特征定位。ResNet18显示分散的注意力，部分关注不相关区域，而MobileNetV3更清晰地捕捉病灶但有时不完整。Swin-Transformer提供了更一致的全局注意力，但边界和小病灶仍不精确。相比之下，所提出的方法在整个病灶上产生集中的激活，实现了更准确的特征表示和优越的定位，这构成了其改进分类性能的基础。此外，高亮区域通常与临床相关的BI-RADS超声特征一致，特别是病灶边界、不规则形状、非环形边缘和异质性内部回声。在BUSI、UDIAT和独立私有数据集上一致观察到类似的注意力模式，表明所提出的模型捕获了具有诊断意义的影像特征，而不是无关的背景信息。这些观察进一步支持了所提出方法的可解释性和潜在临床应用价值。

**图5 不同模型在乳腺超声图像上的特征和病灶定位可视化**
(A) BUSI。
(B) UDIAT。
(C) Private。

考虑到计算效率对实际临床部署的重要性，我们进一步评估了所提出模型的计算成本。如表9所示，所提出的模型在计算效率和分类性能之间取得了良好的平衡。它仅需要4.12 M参数和0.32 G FLOPs，这显著低于大多数基于CNN和Transformer的基线模型。同时，所提出的模型实现了7.38 ms的推理延迟和23.93 MB的峰值内存消耗，展现了具有竞争力的推理效率和适度的资源需求。尽管一些轻量级模型表现出较低的计算成本，但它们显示出较差的分类性能。所有延迟和内存测量均在模型训练部分所述的相同硬件和软件环境下进行。这些结果表明，所提出的模型以较低的计算负担实现了高分类性能，支持其在实际临床场景中的潜在应用。

**表9 不同模型的计算效率比较**

| 模型 | 参数 (M) | FLOPs (G) | 延迟 (ms) | 峰值内存 (MB) |
|---|---|---|---|---|
| DarkNet | 41.61 | 29.73 | 25.84 | 523 |
| ShuffleNetV2 | 2.28 | 0.15 | 5.42 | 14.74 |
| ResNet18 | 11.69 | 1.82 | 8.16 | 93.38 |
| MobilenetV3 | 2.54 | 0.06 | 5.87 | 19.26 |
| MobilenetV4 | 3.82 | 0.23 | 6.31 | 22.84 |
| Swin-Transformer | 28.29 | 4.49 | 14.28 | 298.17 |
| Vit | 86.57 | 17.58 | 23.74 | 612.35 |
| ConvNeXt | 50.22 | 8.68 | 18.67 | 398.71 |
| Ours | 4.12 | 0.32 | 7.38 | 23.93 |

**讨论**

本研究中提出的乳腺超声图像分类模型与现有的基于CNN和Transformer的方法相比表现出显著优越的性能，在准确率、鲁棒性和判别能力方面具有明显优势。通过整合多特征融合和注意力机制，该模型有效增强了病灶纹理和边界信息的表示，在复杂背景和噪声条件下仍保持高分类稳定性。使用知识蒸馏（KD）带来了两个主要好处：它将教师网络丰富的软标签信息传递给学生网络，使学生网络能够提高分类性能；并且，当与硬标签训练结合时，它减轻了教师网络中潜在错误的负面影响。硬标签监督与知识蒸馏之间的平衡由加权系数α控制。当α变得过大时，蒸馏损失的贡献减少，这可能限制教师网络传递有信息的软标签知识，并削弱学生网络的泛化能力。相反，过小的α可能增加对教师指导的依赖，减少真实标签监督的贡献。因此，硬标签监督与知识蒸馏之间的适当平衡对于实现最佳模型性能至关重要。实验结果表明，该模型在有效捕捉病灶区域关键特征的同时，持续实现高准确率。与传统卷积网络相比，该模型在小样本、高噪声超声图像上表现更稳定；与纯Transformer模型相比，它在局部细节敏感性和全局语义建模之间实现了更好的平衡。

除了优越的分类性能外，所提出的模型还表现出良好的计算效率。与主要基线模型相比，它在诊断性能和计算成本之间取得了良好的平衡。该模型相对较低的计算复杂度和内存需求表明其在实际临床环境中具有部署潜力，为乳腺超声图像的实时计算机辅助诊断提供了一种有前景的解决方案。此外，所提出的模型具有轻量级架构、快速推理速度和适中的内存消耗，使其非常适合部署在配备GPU的现代临床工作站上。这些特性有利于在常规乳腺超声检查中实现实时计算机辅助诊断。尽管尚未研究将所提出的模型集成到商用超声设备的软件系统中，但其计算效率表明，在进一步的软件集成和前瞻性验证之后，具有未来临床转化的广阔前景。乳腺超声解读高度依赖于放射科医生的经验，常常导致不同经验水平的临床医生之间诊断性能存在差异。与不同经验水平的放射科医生比较表明，所提出的模型实现了持续较高的诊断准确率，表明其有可能通过提供客观且一致的诊断支持来减少操作者间的变异性。所提出的模型并非替代放射科医生，而是旨在作为辅助诊断工具，特别是为经验较少的临床医生提供支持，从而提高常规乳腺超声检查中的诊断一致性并支持临床决策。使用各种CAM方法的进一步可视化分析为模型的决策过程提供了直观见解，表明模型的注意力主要集中在病灶区域内。这些发现增强了模型的可解释性，并支持其在乳腺超声病灶分类中的潜在应用。然而，由于评估的数据集中缺乏标准化的BI-RADS标注，CAM高亮区域与BI-RADS相关影像学特征之间的对应关系仍属定性，需要使用专家标注的数据集进行进一步验证。尽管整体分类性能较高，仍有少数病例被误分类。这些具有挑战性的病例大多与极小的病灶、低图像对比度、不清晰的病灶边界、不均匀的内部回声或超声伪影（如斑点噪声和后声影）相关。此外，某些良性和恶性病灶表现出相似的形态特征，使得准确区分更加困难。这些观察表明，剩余误差主要归因于乳腺超声成像的内在复杂性，而非所提出的网络架构的缺陷。总体而言，所提出的方法在分类准确率、计算效率和模型可解释性之间实现了有效平衡，展示了其在乳腺超声图像分类中的潜力。未来的工作将集中在整合多模态成像信息、纳入少样本学习策略、探索实时部署，以及进一步改进对具有模糊影像学特征的疑难病例的识别，以增强模型的泛化能力和临床适用性。

研究局限性

尽管在多个数据集上表现出强劲性能，但仍存在若干局限性。定量亚组分析表明，模型在疑难病例中的性能下降。尽管所提出的模型在私有数据集上实现了92.64%的总体准确率和92.37%的F1分数，但对于≤10 mm的小病灶，准确率和F1分数分别降至87.14%和86.67%，对于低对比度图像分别降至88.10%和87.72%。在既小又低对比度的病灶中观察到最低性能。这些发现表明，极小的病灶尺寸和微弱的病灶-背景对比度仍然是诊断不确定性的重要来源。此外，实验主要在两个公共数据集和一个私有数据集上进行，其在真实临床环境中的跨设备适应性和稳健性有待进一步验证。此外，本研究使用的数据集未提供标准化的BI-RADS类别信息，无法对临床疑难病灶（如BI-RADS 4类结节）进行进一步的亚组分析。为解决这些局限性，未来的工作可以聚焦于多个方向。应开展多中心和多疾病验证，以全面评估在不同患者群体、成像设备和采集条件下的稳健性。未来研究还将考察所提出模型在具有标准化BI-RADS标注的数据集上的性能，以进一步评估其临床适用性。整合多模态医学成像信息，例如将超声与乳腺X线摄影或MRI结合，可能进一步增强对复杂病灶形态和组织特征的判别能力。最后，可以探索自适应特征增强、在线学习或少样本学习技术，以提高在数据稀缺场景下的稳健性，增强对微小或细微病灶的检测，并促进未来在真实临床环境中的部署。

资源可用性

主要联系人

如需进一步信息和资源，请联系主要联系人陶虎（[e-mail]），其将予以满足。

材料可用性

本研究未产生新的独特试剂。

数据与代码可用性

•本文分析了现有的、公开可用的数据集，可从关键资源表中列出的原始来源获取。本文报告的匿名化私有数据将在主要联系人请求时共享。
•原始代码已存入GitHub（https://github.com/area6497/UBND），自发表日期起公开可访问。
•重新分析本文报告数据所需的任何额外信息，均可向主要联系人索取。

致谢

本工作受浙江省“尖兵”“领雁”研发攻关计划（项目号2023C040309）、浙江省医药卫生科技计划项目（项目号2024XY114）和台州市科技计划项目（项目号26ywb179）资助。

作者贡献

概念化：T.H.、V.Y.W.和D.X.；数据管理：T.H.、R.R.和Y.D.；正式分析：T.H.和V.Y.W.；经费获取：R.R.和D.X.；调查：T.H.、R.R.、Y.D.和D.X.；方法学：T.H.和V.Y.W.；项目管理：T.H.和D.X.；资源：Y.D.和D.X.；软件：T.H.；监督：R.R.、V.Y.W.和D.X.；验证：V.Y.W.和R.R.；可视化：T.H.和V.Y.W.；初稿撰写：T.H.和V.Y.W.；审阅与编辑：R.R.和D.X.

利益冲突声明

作者声明无竞争利益。

STAR★方法

关键资源表

试剂或资源 | 来源 | 标识符
已存数据
BUSI | Al-Dhabyani等 | https://scholar.cu.edu.eg/?q=afahmy/pages/dataset
UDIAT | Yap等 | https://helward.mmu.ac.uk/STAFF/M.Yap/dataset.php
软件与算法
Python3.8 | https://www.python.org/
Torch1.7.1 | https://pytorch.org/
模型开发代码 | 本文 | https://github.com/area6497/UBND

在新标签页中打开表格

实验模型与研究对象细节

伦理声明

本回顾性研究经浙江省肿瘤医院伦理委员会批准（IRB-2023-125）。因研究为回顾性且使用完全匿名化数据，免除知情同意要求。所有程序均按照《赫尔辛基宣言》进行。

数据集

使用两个公共乳腺超声图像数据集和一个私有数据集来评估所提出方法的性能。第一个公共数据集是BUSI数据集，包含437例良性病例、210例恶性病例和133例正常病例，患者年龄在25至75岁之间。为聚焦于良恶性肿瘤分类，排除了正常病例，仅保留良性和恶性图像用于后续分析。第二个公共数据集是UDIAT数据集，包含163张标注良好的乳腺超声图像，其中53例恶性病例和110例良性病例。凭借精确的病灶标注和代表性的良恶性分布，该数据集可作为评估基于乳腺超声的诊断方法的有价值基准。

此外，采用从浙江省肿瘤医院回顾性收集的私有乳腺超声数据集，以进一步评估所提出方法的稳健性和泛化能力。该数据集包含503张B型乳腺超声图像，包括260个良性病灶和243个恶性病灶，均经病理检查证实。超声检查使用以下设备进行：LOGIQ E9（GE Healthcare）、EPIQ7和iU22（Philips Medical Systems）以及Toshiba-Aplio 500（Canon Medical Systems）。所有扫描均采用5–12 MHz宽频线阵探头进行。对于无法在单帧内完全显示的较大病灶，采用梯形成像模式并扩展视野。对于多张图像中显示的病灶，考虑所有可用数据。图像分辨率范围为118 × 62至836 × 611像素，病灶尺寸范围为5 mm至25 mm。符合条件病例由经验丰富的乳腺超声医生根据预定的纳入和排除标准回顾性筛选。由于本研究侧重于图像水平的良恶性分类，未进行额外的手动病灶标注或分割。图像水平的类别标签依据病理诊断确定，作为参考标准。私有数据集中参与者的年龄分布见图S1。研究参与者的可用临床和人口统计学特征汇总于表S1。

在模型训练前，进行了图像预处理以提高数据质量和模型稳健性。具体而言，采用非局部均值（NLM）去噪方法抑制超声图像固有的斑点噪声，同时保留结构细节。对于两个公共数据集（BUSI和UDIAT），采用5折交叉验证评估所提出的模型。在每一折中，数据增强技术（包括随机水平翻转、垂直翻转、旋转、颜色抖动、仿射变换、随机裁剪和透视变换）仅应用于训练集，将训练数据集扩大五倍，而验证集在整个训练和评估过程中保持不动，以防止潜在的数据泄漏。这些增强策略旨在增加数据多样性并增强所提出模型的泛化能力。此外，私有乳腺超声数据集仅用作独立的外部验证队列，以评估所提出模型的泛化性。外部验证数据集不参与模型训练、数据增强或超参数优化。

方法细节

整体架构

本研究采用了结合教师-学生知识蒸馏框架的总体设计策略。输入的乳腺超声图像同时输入预训练教师网络和学生网络。教师网络生成的软标签通过蒸馏损失指导学生网络学习其高层语义表示，有效逼近教师模型的识别性能。学生网络使用CNN作为主干，并应用针对性剪枝以减少IB模块数量。同时，引入双IB结构以增强特征表示能力。网络前端采用标准3×3卷积作为输入层，随后使用Fused-IB、ExtraDW和所提出的Dual-IB等模块进行顺序多阶段特征提取和结构扩展。这种设计平衡了网络深度和表示能力。在Dual-IB模块中采用残差特征聚合，以促进特征复用并改善网络优化期间的梯度传播。

在更高的语义层面，在ConvNeXt模块和最后一个Dual-IB模块之间引入自适应层次特征融合模块，以融合来自不同层的低层和高层特征。HF融合模块能够根据输入特征的内容自适应地整合局部和全局信息，实现多尺度语义的联合建模。最后，特征图经过全局平均池化和分类层生成预测结果。总体而言，该网络在高性能和可解释性之间实现了强有力的平衡，使其适合在临床环境中进行准确的乳腺超声图像分类和辅助诊断。本文提出的网络结构见图S2。

双倒置瓶颈模块

Dual-IB模块旨在同时捕获大感受野下的细粒度局部结构信息和全局纹理信息，从而增强网络对乳腺超声图像中不同尺度病灶模式的建模能力。其结构主要由三部分组成：双深度可分离卷积（DWConv）分支、带通道注意力增强的特征融合以及残差连接。首先，输入特征图X同时输入两个具有不同核大小的深度可分离卷积分支：一个采用3×3 DWConv以提取精细的局部边缘和纹理结构；另一个采用5×5 DWConv以获得更大的感受野，从而捕获更丰富的上下文纹理和形态信息。两个分支的操作可表示如下：

F3×3 = DWConv3×3(X) （公式1）
F5×5 = DWConv5×5(X) （公式2）

随后，两个分支的特征沿通道维度拼接，并通过通道注意力模块——挤压-激励（SE）进行加权融合。SE模块能够学习不同通道之间的依赖关系，并为任务相关通道分配更高权重，从而增强关键语义特征，使融合后的特征表示更具判别性。融合特征表示如下：

Fdual = Concat(SE(F3×3), SE(F5×5)) （公式3）

接下来，采用1×1卷积压缩融合特征的通道维度，使其与输入特征图X的通道维度对齐，同时减少计算开销。最后，引入残差连接，将变换后的特征与输入特征图进行逐元素相加，促进特征复用并改善网络优化期间的梯度传播。最终输出表示如下：

Y = Fdual + X （公式4）

Dual-IB模块的设计同时平衡了局部细节和全局语义。它通过注意力机制增强关键通道特征，并利用残差结构保留原始信息，从而全面提升网络对乳腺病灶不同尺度特征的建模能力。

**层次特征融合**

在该网络中，低层特征细节丰富但语义性弱，而高层特征语义性强但细节丢失。为缓解这一矛盾，实现高低层特征的有效融合成为必要途径。高层特征的语义可以引导低层特征滤除无关细节并突出关键区域，从而降低噪声干扰；同时，低层特征的空间细节可为高层特征补充结构信息，使语义内容的定位和边界描述更为精准。由此，通过保留高分辨率细节特征并融合深层语义信息，实现低层与高层特征的高效协同表达。在ConvNeXt与最后一个Dual-IB模块之间引入自适应层次特征融合模块，以同时捕捉局部边缘与全局组织语义信息。为便于特征融合，将ConvNeXt模块输出的特征图L进行2倍下采样。

\[
L_{down} = AvgPool(L) \tag{5}
\]

对下采样后的特征图进行空间注意力增强。

\[
\hat{L} = \sigma(Conv_{7\times7}([AvgPool(L_{down}), MaxPool(L_{down})])) \otimes L_{down} \tag{6}
\]

其中，σ表示sigmoid函数。对高层特征图G进行通道注意力增强：

\[
\hat{G} = \sigma(MLP(AvgPool(G)) + MLP(Maxpool(G))) \otimes G \tag{7}
\]

将通道注意力增强和空间注意力增强后的特征进行拼接：

\[
F_{concat} = Concat[\hat{L}, \hat{G}] \tag{8}
\]

通过1×1卷积进行通道融合，表示如下：

\[
F_{fused} = Conv_{1\times1}(F_{concat}) \tag{9}
\]

利用倒残差多层感知机（IRMLP）实现非线性变换和残差增强。IRMLP由一个带有残差连接的3×3深度可分离卷积（DWConv）以及两个线性变换层组成，在扩展通道维度上应用GELU非线性激活函数。该过程由以下公式描述：

\[
IRMLP(F_{fused}) = Conv_{1\times1}(Conv_{1\times1}(DWConv_{3\times3}(F_{fused}) + F_{fused})) \tag{10}
\]

最终输出表示如下：

\[
F_{HE} = IRMLP(F_{fused}) + F_{fused} \tag{11}
\]

**知识蒸馏模型**

为提高模型准确率，本研究引入知识蒸馏策略，将知识从复杂教师网络传递至学生网络。通过模仿教师网络的输出分布，该方法使学生网络在小规模数据集上获得更强的泛化能力，并利用教师网络对输入样本的分类置信度分布和类别关系信息来引导学生网络的学习过程。

训练期间，输入乳腺超声图像首先经过教师网络生成软标签，然后通过学生网络产生预测结果。两个网络的输出通过蒸馏损失函数联合优化，实现知识迁移。教师网络输出的Softmax概率分布包含类别间的相对关系信息，而不仅是分类结果。本研究采用的教师网络为DenseNet121。引入温度参数T来调整Softmax分布的平滑程度。教师网络和学生网络在温度T下的类别概率分布分别表示如下：

\[
p_t^T = softmax(z_t^T), \quad p_s^T = softmax(z_s^T) \tag{12}
\]

\[
L_{KD} = T^2 \cdot KL(P_t^T, P_s^T) \tag{13}
\]

\[
KL(p_t^T \| p_s^T) = \sum_i p_t^T(i) \log \frac{p_t^T(i)}{p_s^T(i)} \tag{14}
\]

其中，KL表示教师网络和学生网络概率分布间的Kullback-Leibler散度，\( L_{KD} \) 表示软标签蒸馏损失。\( z_s \) 表示学生网络的输出logits；\( z_t \) 表示教师网络的输出logits；T是温度参数；\( p_t^T \) 表示温度T下教师网络的软化输出概率分布；\( p_s^T \) 表示温度T下学生网络的软化输出概率分布。

**混合损失函数**

在乳腺图像分类任务中，不同样本的分类难度存在显著差异。传统的交叉熵损失难以增强对复杂样本的识别。为提高模型对难分类样本的判别能力，本研究引入混合LMF损失函数，定义为：

\[
L_{MFLoss} = \alpha_1 * L_{DAMLoss} + (1 - \alpha_1) * FL(P_t) \tag{15}
\]

\[
L_{DAMLoss} = \frac{1}{N} \sum_{i=1}^N w_{y_i} \log(p_{y_i}(x_i)) \tag{16}
\]

\[
FL(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t) \tag{17}
\]

其中，FL表示Focal Loss函数，N为批次大小，\( x_i \) 表示第i个样本的输入特征，\( y_i \) 是第i个样本的真实类别索引，\( p_{y_i}(x_i) \) 表示模型预测第i个样本属于其真实类别\( y_i \)的概率，\( w_{y_i} \) 是对应真实类别\( y_i \)的权重。p是模型预测的概率；当真实标签为正时，\( p_t = p \)；当真实标签为负时，\( p_t = 1 - p \)。\( \alpha_1 \) 是LDAMLoss函数的权重，实验结果表明\( \alpha_1 = 0.5 \)时性能最优。

LMF损失函数是上述两种损失函数的加权组合。它利用Focal Loss有效处理难分类样本，并利用LDAMLoss增强特征判别能力，从而显著提升分类性能。最终损失函数定义为：

\[
L_{final} = \alpha \cdot L_{MFLoss} + (1 - \alpha) \cdot L_{KD} \tag{18}
\]

其中，\( \alpha \) 是两种损失之间的平衡参数；\( L_{MFLoss} \) 表示硬标签混合损失；\( L_{KD} \) 表示蒸馏损失。

**量化与统计分析**

为定量评估乳腺良恶性肿瘤分类性能，采用多种广泛使用的评价指标对所提模型进行全面分析。这些指标包括准确率、精确率、召回率、F1分数、受试者工作特征曲线、ROC曲线下面积、混淆矩阵、参数量、浮点运算次数、推理延迟和峰值内存占用。其中，ROC曲线用于说明在不同决策阈值下真阳性率与假阳性率之间的权衡，ROC曲线下面积作为模型判别能力的重要指标。此外，混淆矩阵用于直观展示预测标签与真实标签之间的对应关系。参数量、FLOPs、推理延迟和峰值内存分别用于评估模型复杂度、计算开销、推理效率和内存消耗。

**模型训练**

实验在64位Windows 10操作系统上进行，使用PyTorch 1.7.1作为深度学习框架，OpenCV 4.5.5.64作为图像处理库。硬件环境包括NVIDIA GeForce RTX 3090显卡、Intel(R) Core(TM) i7-12700处理器（2.10 GHz）和64 GB内存。计算效率评估（包括推理延迟和峰值内存消耗）在相同硬件和软件配置下进行。

模型训练期间，输入图像大小统一调整为224×224，批次大小为32，共训练150个epoch。采用AdamW优化器，初始学习率为0.0008，权重衰减为1e-4。使用余弦退火学习率调度策略，最小学习率为1e-6。蒸馏温度T设为4、6和8，权重系数α设为0.5、0.6和0.7。所有实验均启用知识蒸馏，以系统评估不同蒸馏参数对模型性能的影响。

对于BUSI和UDIAT数据集，教师模型（DenseNet121）和学生模型在五折交叉验证的每一折中使用相同的训练划分进行训练。教师模型先训练，随后用于生成软化概率分布以监督学生模型。数据增强仅应用于训练集，而各折中对应的验证集用于超参数选择。独立的私有乳腺超声数据集仅用于外部验证，不参与模型训练、超参数调优或模型选择。

**性能指标**

使用量化与统计分析部分定义的标准指标对所提模型性能进行全面评估。为进一步说明学习特征的判别能力，首先在乳腺超声数据集上进行t-SNE可视化（图1），展示良性与恶性病灶在学习特征空间中的可分性。随后采用多种CAM方法可视化对分类决策起作用的区域（图2）。接着给出外部验证数据集上的混淆矩阵（图3），直观展示分类结果和误分类模式。此外，比较了不同模型在私有数据集上的ROC曲线（图4），并使用AUC值评估其判别性能。最后，比较了不同模型的特征可视化和病灶定位结果（图5），突出所提模型在定位能力和可解释性方面的优越性。

**补充信息（1）**
PDF（4.25 MB）
文档S1. 图S1、S2和表S1