从异构超声图像中识别乳腺癌：一种多层次深度学习方法

《Informatics in Medicine Unlocked》：Recognition of breast cancer from heterogeneous ultrasound images: A multi-level deep learning approach

本研究提出一种基于深度学习的多任务解决方案，用于乳腺癌超声图像的分类、检测和分割。通过整合ConvNeXt-Small、Swin-Base结合DetectoRS与RFLA算法以及SegFormer-B4模型，有效提升了小肿瘤的识别精度。实验表明，该方法在平均精度（AP）达到0.270（小目标）和最高交并比（IoU）81.55%方面优于现有基线模型，为临床诊断提供了可靠支持。

　　乳腺超声成像是医学影像技术的一种，利用声波生成乳腺图像，主要用于乳腺癌及其他相关疾病的诊断。近年来，随着各种机器学习算法的广泛应用，许多应用已展现出令人鼓舞的结果，并在提高医生早期诊断准确性方面表现出显著的效率。然而，尽管当前深度学习（DL）方法在分类任务上表现良好，但在检测小型病变方面仍存在局限性。因此，改进基于深度学习的方法仍有很大的潜力。本文提出了一种实用的深度学习解决方案，用于乳腺病变的识别和分割，特别关注小型病变，包括恶性肿瘤。该方法结合了三种不同的模型：ConvNeXt-Small用于分类，Swin-Base与DetectoRS和基于高斯感受野的标签分配（RFLA）用于目标检测，SegFormer-B4用于分割。这些模型分别针对乳腺癌检测和分析中的不同任务进行了优化，以提升整体性能。评估结果显示，所提出的模型在小型物体分割任务中达到了平均精度（AP_S）0.270，并在平均交并比（mIoU）方面实现了81.55%的最高值。这些结果表明，该模型在小型物体分割和检测方面优于多种现有基准模型。我们推测，该方法可以集成到计算机辅助诊断系统中，以帮助医生在临床实践中提高诊断效率。

乳腺癌是女性中最常见的癌症之一，每年全球约有289万例新的乳腺癌病例被诊断出来，占女性所有新发癌症病例的大约24.2%。事实上，乳腺癌的发病率在发达国家比在欠发达国家更高，但后者在乳腺癌的死亡率方面更高。这主要是由于以下三个原因：首先，缺乏早期检测和治疗的资源；其次，社会经济因素，如贫困和教育水平低下；第三，文化因素，如对乳腺癌的禁忌。临床试验表明，早期检测和治疗乳腺癌可以显著提高生存率。尽管乳腺癌的筛查和诊断方法有多种，如乳腺X线摄影（Mammography）、数字乳腺断层扫描（DBT）和超声成像，但每种方法都有其局限性。乳腺X线摄影使用放射性物质，对患者存在健康风险，且特异性较低，成本较高，可能导致财务负担和不必要的活检操作。相比之下，超声成像是一种非侵入式成像技术，使用声波生成乳腺图像，能够识别如肿块、囊肿等异常结构。它具有实时成像、无电离辐射和低成本等优势，因此成为乳腺癌筛查和诊断的常用工具。然而，超声诊断需要较高的技术人员技能，这使得不同医生之间的诊断结果可能有较大差异。在一些发展中国家，如越南，由于训练有素的医生短缺以及超声教育的可及性有限，这一问题尤为突出。此外，超声图像通常存在噪声、显著伪影以及组织结构之间的对比度较低，这使得病变的识别和分割更加困难。因此，开发一个计算机辅助的乳腺癌诊断系统，以帮助医生进行诊断，具有重要的现实意义。

在本文中，我们提出了一种基于先进图像处理技术和深度神经网络的实用解决方案，以提高乳腺病变的识别性能。该方法结合了多种深度学习模型，包括ConvNeXt用于图像分类，Swin-Base结合DetectoRS和RFLA用于目标检测，以及SegFormer-B4用于分割任务。这些模型分别针对不同的任务进行了优化，以实现更精确的识别和分析。我们对多个公开可用的乳腺超声图像数据集进行了评估，结果显示所提出的模型在小型物体分割任务中表现优异，特别是在平均交并比（mIoU）方面达到了81.55%的最高值。这些结果表明，所提出的模型在小型物体检测和分割任务中优于多种现有基准模型。我们相信，该方法可以集成到计算机辅助诊断系统中，以帮助医生在临床活动中更有效地进行诊断。

为了进一步说明本文的研究内容，我们从以下几个方面进行了探讨。首先，我们回顾了ConvNeXt模型家族的背景，该模型在乳腺癌的识别中具有广泛的应用。ConvNeXt是一种基于Swin Transformer的新型图像分类模型，它结合了CNN和Transformer的优势，具有高效的特征提取能力和强大的模型性能。通过在宏设计和微设计上的改进，如调整阶段计算比例、使用“patchify”层、引入深度卷积、采用倒置瓶颈结构、使用更大的卷积核、替换ReLU激活函数为GELU、减少激活函数数量以及减少归一化层的数量，ConvNeXt在多个任务中表现出优异的性能。

其次，我们讨论了目标检测任务中的挑战。尽管ConvNeXt在分类任务中表现良好，但在目标检测和分割任务中其性能相对较低。因此，我们引入了Swin-Base和DETR-ResNet50等基于Transformer的模型，并评估了它们在检测小型病变方面的表现。通过引入基于高斯感受野的标签分配（RFLA）技术，我们提升了模型在小型物体检测任务中的性能。实验结果表明，结合RFLA的Swin-Base模型在小型病变检测任务中表现最佳，达到了平均精度（AP_S）0.265，而ConvNeXt-Small的AP_S为0.252。这表明，RFLA在小型病变识别方面具有显著的优势。

在分割任务中，我们采用SegFormer-B4模型，该模型结合了Transformer和轻量级多层感知机（MLP）解码器，能够有效识别和分割小型病变。SegFormer具有分层结构的Transformer编码器和MLP解码器，能够提取不同尺度的特征，并生成高质量的分割掩码。实验结果显示，SegFormer-B4在小型、中型和大型病变的分割任务中均优于其他SegFormer变体和ConvNeXt模型，达到了平均交并比（mIoU）81.55%的优异表现。

在实验评估部分，我们详细介绍了所采用的评估指标、数据集和实验设置。对于分类任务，我们使用了准确率、精确率、召回率和F1分数等指标，以评估模型的性能。对于目标检测任务，我们使用了平均精度（AP）、50%交并比（AP50）、75%交并比（AP75）、小型物体平均精度（AP_S）、中型物体平均精度（AP_M）和大型物体平均精度（AP_L）。在分割任务中，我们主要关注交并比（IoU）和准确率（Accuracy）等指标，以衡量模型在识别病变边界方面的性能。实验结果显示，SegFormer-B4在分割任务中表现最佳，达到了81.55%的平均交并比（mIoU）和95.54%的平均准确率（aAcc）。

在相关工作部分，我们回顾了乳腺癌超声成像领域已有的研究。在分类任务中，许多基于CNN的模型已经被提出，并在不同数据集上进行了测试。例如，Khanna等人提出了一种结合预训练CNN模型和二元灰狼优化算法（BGWO）的混合方法，取得了84.9%的分类准确率和0.97的AUROC分数。Jabeen等人则利用优化算法改进了DarkNet-53模型，使其在BUSI数据集上达到了99.1%的准确率。Behboodi等人提出了一种多类分类方法，将背景组织作为额外的类别，从而提高了分类的准确性。Kalafi等人则通过引入注意力模块和混合损失函数改进了VGG16模型，取得了93%的准确率。

在目标检测任务中，已有许多研究使用了一阶段和二阶段检测模型。例如，Lin等人提出了一种基于超声视频的乳腺病变检测数据集，并使用CVA-Net模型取得了36.1%的mAP分数。Mo等人则优化了YOLO V3模型，通过调整锚点大小和引入新的残差网络，取得了0.772的mAP分数。Wang和Yao提出了一种两阶段方法，通过增强图像对比度和使用无锚点网络，取得了0.902的mAP分数。

在分割任务中，已有多种方法被提出。例如，Huang等人引入了一种形状自适应卷积算子，结合了原始卷积算子，以提高分割性能。Al-Dhabyani等人开发了BUSnet模型，结合了无监督区域提议和边界框回归算法，取得了0.566和0.521的交并比（IoU）分数。Lyu等人则提出了一种改进的金字塔注意力网络（AMS-PAN），通过引入注意力机制和多尺度特征，取得了68.53%和67.52%的交并比（IoU）分数。Shareef等人则开发了一种名为Small Tumor-Aware Network（STAN）的新型深度学习架构，用于分割不同大小的肿瘤，取得了0.847和0.695的Jaccard指数分数。

本文的研究成果表明，结合多种深度学习模型和先进算法可以显著提高乳腺病变的识别和分割性能。特别是，在小型病变的检测和分割任务中，基于Transformer的模型和RFLA技术表现出更强的适应性。通过使用Swin-Base结合DetectoRS和RFLA，我们实现了更高的平均精度（AP_S）0.270。而在分割任务中，SegFormer-B4表现出最佳性能，达到了81.55%的平均交并比（mIoU）。这些结果表明，本文提出的方法在乳腺病变的检测和分析方面具有重要的应用价值。

在实验结果部分，我们详细介绍了所采用的模型在不同任务中的表现。对于分类任务，ConvNeXt-Small在测试集上达到了93.84%的准确率，而ConvNeXt-Base和ConvNeXt-Tiny分别达到了93.76%和93.24%的准确率。对于目标检测任务，Swin-Base结合DetectoRS和RFLA的模型在小型病变检测任务中表现最佳，达到了0.270的AP_S分数。而在分割任务中，SegFormer-B4取得了81.55%的mIoU分数，显著优于其他模型。

在实验设置部分，我们介绍了实验所使用的硬件配置和软件环境。实验在配备Intel? Xeon? CPU E5-2680v4处理器、96 GiB内存和NVIDIA GeForce RTX 3090 GPU的服务器上进行，操作系统为Ubuntu 20.04.4 LTS。我们使用PyTorch 1.12和CUDA 11.6进行模型实现，并结合Python 3.10和Timm 0.6.11库。所有模型的配置和超参数均可以在我们的GitHub仓库中找到。

在讨论部分，我们分析了实验结果的潜在局限性。内部有效性方面，我们通过使用原始实现进行实验，以减少与基准方法比较时的偏差。外部有效性方面，我们使用了多个大规模且多样化的数据集，以提高结果的可推广性。构建有效性方面，我们采用了独立的训练和测试集，以确保实验设置的公平性。结论有效性方面，我们使用了相同的评估指标，以减少不同模型之间比较时的偏差，从而确保结论的可靠性。

综上所述，本文提出了一种基于深度学习的实用解决方案，用于乳腺病变的识别和分割。通过结合多种模型，如ConvNeXt-Small、Swin-Base与DetectoRS和RFLA、SegFormer-B4，我们显著提高了小型病变的检测和分割性能。这些模型分别针对分类、目标检测和分割任务进行了优化，以实现更精确的识别和分析。实验结果表明，该方法在多个任务中均优于现有基准模型，具有重要的应用前景。我们相信，该方法可以集成到计算机辅助诊断系统中，以帮助医生更高效地进行乳腺癌的筛查和诊断。