在对乳腺癌组织病理学分类任务中,针对CNN(卷积神经网络)和Transformer架构进行的以患者为中心的基准测试

《Frontiers in Digital Health》:A patient-aware benchmarking of CNN and transformer architectures for breast cancer histopathology classification

【字体: 大 中 小 】 时间:2026年05月08日 来源:Frontiers in Digital Health 3.8

编辑推荐:

  摘要 引言:使用组织病理成像进行乳腺癌诊断仍然是一项关键而具有挑战性的任务,需要自动化系统能够在不同患者和多样化的成像条件下可靠地泛化。尽管深度学习模型表现出强大的性能,但许多先前的研究采用了图像级的数据分割方法,这引入了患者级的数据泄露问题,导致评估结果过于乐观且可能具有误导

  摘要

引言:使用组织病理成像进行乳腺癌诊断仍然是一项关键而具有挑战性的任务,需要自动化系统能够在不同患者和多样化的成像条件下可靠地泛化。尽管深度学习模型表现出强大的性能,但许多先前的研究采用了图像级的数据分割方法,这引入了患者级的数据泄露问题,导致评估结果过于乐观且可能具有误导性。本研究旨在通过建立一个严格的无泄露基准测试框架来解决这一限制,以用于二分类的乳腺癌组织病理学分类。

方法:在BreaKHis数据集上对九种深度学习架构进行了全面评估,该数据集包含82名患者的7,909张图像。这些模型包括六个卷积神经网络(ResNet50、MobileNetV2、VGG16、DenseNet121、Xception和EfficientNetB0)、一种现代卷积架构(ConvNeXt)以及两种基于transformer的模型(Swin-Small和Swin-Base)。实施了一种严格的5折患者感知交叉验证协议,以确保同一患者的图像不会在训练集和验证集之间共享。所有模型都在相同的实验条件下进行训练。性能评估使用准确率、精确率、召回率和F1分数来衡量,并以平均值±标准差的形式报告。统计显著性通过配对t检验和带有Bonferroni校正的Wilcoxon符号秩检验来评估。

结果:所有评估的架构都表现出相当的性能,平均准确率在0.91-0.93之间。ResNet50取得了最高的平均准确率(0.9267 ± 0.0435)和F1分数(0.9472),尽管模型之间的差异很小。统计分析确认没有成对的差异在统计上显著(校正后的p > 0.05)。放大倍数分析表明,中等放大倍数(40×和200×)提供了更多区分性特征,而较高放大倍数(400×)由于上下文信息有限而导致了性能下降。

讨论:研究结果表明,在严格控制且无泄露的评估协议下,现代深度学习模型之间的架构差异并不会导致统计上显著的性能变化。相反,评估设计在决定可靠结果方面起着更关键的作用。所提出的患者感知基准测试框架提高了可重复性,并为未来的研究提供了坚实的基础,支持开发可用于乳腺癌诊断的临床可转化AI系统。

1 引言

乳腺癌仍然是全球最常见的且威胁生命的疾病之一,因此需要准确可靠的诊断方法来进行早期检测和治疗计划。组织活检的组织病理学检查被认为是诊断的金标准;然而,它耗时、主观性强且依赖于专家解读。这些挑战促使人们开发了使用深度学习的自动化计算方法来协助病理学家提高诊断效率和一致性。深度学习特别是卷积神经网络(CNN)的最新进展在医学图像分析任务中表现出强大的性能,包括乳腺癌分类[1, 2]。诸如ResNet50[3]、DenseNet121[4]和EfficientNet[5]等架构已经显示出从组织病理学图像中捕获层次结构和形态特征的能力。然而,CNN本质上受到局部感受野的约束,这可能限制了它们捕捉长距离空间依赖性和全局组织结构的能力[6, 7]。为了解决这一限制,引入了诸如Swin Transformer[8]之类的视觉transformer。通过利用自注意机制,transformer可以更有效地建模这些广泛的空间关系[9]。尽管有了这些发展,但目前尚不清楚基于transformer的模型是否在现实的评估设置中始终能提供统计上更优越的性能。

许多现有研究的一个关键限制是依赖于图像级的数据分割,即从同一患者提取的补丁可能同时出现在训练集和验证集中。这引入了数据泄露问题,可能导致过于乐观的性能估计,尤其是在像BreaKHis这样的基于补丁的数据集中。因此,报告的准确率可能无法反映对未见患者的真正泛化能力。此外,以往的工作通常在不同的实验设置下评估模型,包括不同的超参数、训练协议和评估策略,使得公平比较变得困难。另外,许多研究在没有统计验证的情况下报告性能改进,限制了对观察到的差异是否具有意义的信心。

另一个限制是缺乏对不同模型家族的全面和受控的基准测试。现有文献经常单独评估CNN或基于transformer的模型,或者比较有限的架构子集,而没有系统地控制训练条件。因此,不同架构范式在组织病理学分类中的相对优势和局限性尚未得到充分理解。为了解决这些差距,本研究对九种深度学习架构进行了严格和受控的基准测试,包括六个基于CNN的模型(ResNet50、MobileNetV2、VGG16、DenseNet121、Xception和EfficientNetB0)、一种现代卷积架构(ConvNeXt)以及两种基于transformer的模型(Swin-Small和Swin-Base)。所有模型都在公开可用的BreaKHis数据集上使用严格的5折患者感知交叉验证协议进行评估,确保同一患者的图像不会出现在训练集和验证集中。所有模型都采用了统一的训练策略,以便进行公平比较,并使用多种评估指标和统计显著性测试来报告性能。

2 文献综述

乳腺癌组织病理学的自动化分析已经从手工制作的基于特征的系统转变为数据驱动的深度学习框架。早期方法依赖于显式的特征工程,其中提取了形态学、纹理和基于颜色的描述符,并使用传统的机器学习算法进行分类[10, 11]。尽管这些方法提供了可解释性,但它们的性能受到捕获层次组织结构和染色、放大倍数及成像条件变化的限制。卷积神经网络(CNN)的采用标志着一个重大进步,因为它实现了端到端的特征学习。基于CNN的模型已广泛应用于组织病理学图像分类,包括在BreaKHis数据集上的应用[12],通过层次表示学习展现了强大的性能[2, 7]。后续工作引入了多尺度架构来考虑放大倍数的变化[7],以及结合互补模型预测的集成方法[13]。尽管有这些改进,大多数基于CNN的研究仍然专注于在特定实验设置内优化预测性能,通常不系统地评估跨患者的泛化能力或确保架构之间的可比性。

最近的发展探索了基于transformer的架构作为传统卷积模型的强大替代品。基础模型如Vision Transformer(ViT)[14]及其层次变体如Swin Transformer[8],展示了建模长距离依赖性和上下文关系的卓越能力。虽然这些模型在广泛的医学图像分类和分割任务中最初显示出有希望的结果[9, 15],但后续研究越来越多地转向为组织病理学量身定制的领域特定架构。为了捕捉组织结构的独特形态复杂性,研究人员探索了专门的预训练和混合设计。例如,Wang等人[16]引入了TransPath,这是一种结合CNN和修改后的transformer的混合架构。通过在庞大的未标注组织病理学图像语料库上进行自监督学习,TransPath证明了领域特定的特征嵌入具有高度的可转移性。为了解决数字病理学的巨大空间尺度问题,Chen等人[17]提出了Hierarchical Image Pyramid Transformer(HIPT),它利用了两层次的自监督学习来建模千万像素全片图像的固有层次结构。最近,这些范式的比较有效性特别针对乳腺癌诊断进行了研究。Anand和Khajuria[18]对一种现代卷积模型(ConvNeXt V2)和一种渐进式视觉transformer(Swin Transformer V2)进行了二分类乳腺癌肿块的比较研究,发现Swin V2的注意力驱动的全局特征建模有效捕捉了微妙的形态变化,其准确率达到了0.985。这些研究共同强调了基于transformer的架构在数字病理学中的巨大潜力。然而,现有文献经常在不同的实验条件下报告改进,这妨碍了我们区分性能提升是由于架构设计还是训练协议和数据分割策略的差异。这强调了在标准化基于补丁的数据集(如BreaKHis)上进行严格、受控的基准测试的迫切必要性,以充分了解它们在临床决策支持系统中的比较优势。对于全片图像(WSI)分析,多实例学习(MIL)框架(如基于transformer的TransMIL[19])学习将补丁级信息聚合成片级预测。虽然这对大规模WSI有效,但它们的计算复杂性和对大规模标注数据集的依赖性限制了它们在较小、基于补丁的基准测试中的实际应用。

除了实例聚合之外,最近的研究强调了明确建模组织微环境中空间和结构关系的重要性。例如,SpatialQPFs[20]捕获了细胞间的相互作用和空间分布,提供了生物学上可解释的表示。类似地,基于熵的方法[21]量化了组织病理学图像中的结构复杂性,为传统特征学习提供了补充视角。更近期的架构,如SlideMamba[22],将基于图的表示与序列建模技术结合起来,以增强跨空间尺度的上下文理解。这些方法突显了向结合更高阶结构信息的转变,这在标准的CNN或基于补丁的transformer框架中并未明确建模。

另一个新兴方向是计算病理学的基础模型开发。这些模型利用大规模预训练来学习可在不同任务和数据集之间泛化的可转移表示。最近的工作[23]表明,这样的模型可以在各种组织病理学基准测试中取得强大的性能。然而,它们对大规模数据和计算资源的依赖性在受控实验设置和较小的数据集(如BreaKHis)中存在实际限制。尽管方法多样,但文献中仍存在几个关键限制。首先,许多研究专注于特定的架构创新,而没有在不同模型家族之间提供受控的比较。其次,预处理、训练协议和评估策略的不一致性阻碍了可重复性和公平的基准测试。第三,性能差异的统计验证很少进行,限制了得出关于模型优势的可靠结论的能力。最后,尽管先进范式如MIL、空间建模和基础模型提供了改进的表示能力,但它们的复杂性通常限制了它们在标准化基准测试场景中的使用。

总之,尽管先前的工作已经证明了深度学习在组织病理学分类中的有效性,但仍然需要一个系统和受控的评估框架,以实现不同架构之间的公平比较。这样的框架对于理解观察到的性能差异是由于模型设计还是实验变异性至关重要。

3 数据集描述和预处理

本研究使用了公开可用的乳腺癌组织病理学图像分类(BreaKHis)数据集[12],这是一个广泛用于自动化乳腺癌诊断的基准。该数据集包含通过手术活检收集的82名患者的7,909张HE(苏木精和伊红)染色组织病理学图像。图像被分为两类:良性(2,480张图像)和恶性(5,429张图像)。BreaKHis的一个关键特征是其多放大倍数结构,每个组织样本都在四个放大倍数级别下捕获:40××、100××、200××和400××。这些放大倍数提供了跨空间尺度的互补诊断信息。较低的放大倍数(40××和100××)捕获了全局组织结构和基质组织,而较高的放大倍数(200××和400××)强调了细胞形态,包括核结构和有丝分裂活动。这种变异性引入了显著的类内多样性,使得该数据集适合在不同的视觉条件下评估模型的鲁棒性。

为了确保临床真实的评估并消除数据泄露,数据集在患者级别进行了组织。每张图像都与从数据集结构中提取的唯一患者标识符相关联,从而能够对相关样本进行分组。在通过GroupKFold实现的5折交叉验证方案中使用了82个患者组作为分组变量。在这种设置中,属于给定患者的所有图像都专属于训练集或验证集中的一个。这防止了患者级别的泄露,即同一患者的相关样本可能会同时出现在两个集中,从而人为地夸大性能。所有图像都被调整到224×224像素的固定分辨率,以确保与预训练的架构兼容。像素值使用标准的ImageNet统计信息进行了归一化,以与模型初始化对齐并提高收敛稳定性。虽然调整大小可能会减少细节层次,但它提供了计算效率和特征保留之间的实际权衡。数据增强仅应用于每个折叠中的训练数据,以改善泛化能力。增强是在运行时进行的,包括调整大小、随机水平翻转、随机旋转(±15°)和归一化。验证数据没有应用任何增强。重要的是,增强是在患者级别分割之后进行的,确保来自给定患者的增强样本保持在相同的训练折叠内,不会泄露到验证集中。数据集没有物理扩展;相反,增强是在训练过程中动态生成的。

数据集存在类别不平衡,恶性样本的数量超过良性样本。为了解决这个问题,在训练期间采用了加权采样策略。样本权重是根据类别频率逆比例计算的,并使用WeightedRandomSampler来确保每个训练批次中类别的代表平衡。

4 提出的方法论

所提出的方法论的整体框架如图1所示。该流程旨在确保对多种深度学习架构进行无泄漏、可重复且公平的乳腺癌组织病理学分类基准测试。特别强调了以患者为中心的评估、统一的训练条件以及统计上稳健的比较。图1展示了所提出方法的总体框架。

4.1 数据分割策略和泄漏预防
在组织病理学中,一个关键的挑战是患者级别数据泄漏,即同一个患者的多张相关图像可能会出现在训练集和验证集中。为了解决这个问题,采用了严格的患者级别分割策略。使用5折GroupKFold交叉验证方案,其中患者标识符被用作分组变量。这确保了属于同一患者的所有图像都被唯一分配到训练集或验证集中。与传统的逐张图像分割不同,这种方法防止了相关样本在不同分割之间的泄漏,并提供了对泛化性能的真实估计。所有预处理操作,包括增强和规范化,都在分割之后进行,从而确保在训练过程中不使用任何验证信息。数据增强仅应用于训练集,并在训练过程中实时进行。增强流程包括:调整为224×224像素、随机水平翻转、随机旋转(±15°)以及使用ImageNet统计数据进行规范化。验证数据仅进行调整和规范化,以确保评估的无偏性。

4.2 代表性的深度学习架构和统一的训练协议
评估了九种不同的设计范式的架构:ResNet50、MobileNetV2、VGG16、DenseNet121、EfficientNetB0、ConvNeXt、Xception、Swin-Small和Swin-Base。表1总结了所评估的架构,包括它们的参数数量、计算复杂性和关键设计特性。所选模型涵盖了从轻量级网络(如MobileNetV2)到高容量模型(如VGG16和Swin-Base)的广泛范围,确保了在表示能力和计算要求方面的多样性。这种多样性对于基准测试至关重要,因为它允许分析架构复杂性和设计选择如何影响在统一训练协议下的性能。值得注意的是,基于变换器的模型引入了用于全局上下文建模的层次化注意力机制,而卷积架构则依赖于局部感受野和层次化特征提取。通过在相同的实验条件下评估所有模型,本研究将架构效应与超参数调整或训练策略等混淆因素分开,从而实现公平和受控的比较。

4.3 超参数策略和处理类别不平衡
没有针对特定模型进行超参数调整(例如网格搜索)。相反,所有架构都使用统一的训练配置,以确保公平的基准测试环境。虽然个别调整可能会提高某些模型的性能,但这会损害比较的公平性。因此,本研究的目标是在一致条件下评估架构差异,而不是独立优化每个模型。数据集存在类别不平衡,恶性样本的数量多于良性样本。为了解决这个问题,在训练过程中使用了加权随机采样器,其中采样权重与类别频率成反比。除了准确率之外,还使用多个评估指标(如精确度、召回率和F1分数)来确保性能不会偏向 majority 类别。每个模型都在每个折叠中独立训练。在每个周期结束时,评估验证性能,并且只有当验证F1分数提高时才保存模型权重。这种检查点策略确保每个折叠都保留了表现最好的模型,而不是依赖于可能不对应于最佳泛化的最后一个周期。为了确保结果的可重复性,在所有折叠中使用了固定的随机种子。这包括对数据分割、采样和模型初始化的控制,以确保结果的一致性,不受随机变化的影响。

4.4 交叉验证和统计评估
采用5折交叉验证策略以确保稳健性并避免依赖单一数据分割。在折叠级别计算性能指标(包括准确率、精确度、召回率和F1分数),并将其汇总到所有折叠中。报告平均值和标准差值以及95%置信区间以量化变异性。为了评估统计显著性,使用配对t检验和Wilcoxon符号秩检验对模型进行成对比较,以确保对分布假设的鲁棒性。为了控制由多次成对比较引起的I型错误,应用了Bonferroni校正。调整后的显著性阈值计算为αadj=0.05/36≈0.0014,其中36表示模型间的成对比较总数。只有低于此校正阈值的pp值被认为是统计上显著的。

4.5 可解释性和模型分析
为了分析模型行为,将可解释性技术应用于表现最好的模型。视觉诊断包括混淆矩阵、ROC-AUC曲线和误分类分析。使用Grad-CAM生成类别激活图,并选择特定于架构的层以确保有意义的可视化。这些分析有助于验证模型是否关注临床相关的区域而不是背景伪影。观察到的在不同放大倍数下的性能变化,特别是在400倍放大时性能的下降,突显了捕捉细微结构复杂性的挑战。最近的研究表明,基于熵的表示[21]和混合空间建模方法(如SlideMamba [22])可以更好地捕捉多尺度依赖性和组织结构。尽管这些方法在本研究中没有实现,但它们为未来的改进提供了明确的方向。

5 结果和讨论
本节全面评估了所提出的乳腺癌组织病理学分类基准测试框架在多种深度学习架构上的表现。分析在严格的以患者为中心的交叉验证设置下进行,以确保无泄漏和临床现实的性能评估。结果使用多个评估指标(包括准确率、精确度、召回率和F1分数)报告,并通过统计显著性测试进一步支持,以评估观察到的差异的可靠性。除了整体模型比较外,研究还检查了折叠间的性能一致性,评估了在扩展验证下的选定模型,并研究了不同放大倍数下的行为。最后,还包括定性分析(如误分类模式和Grad-CAM可视化),以提供对模型决策和临床相关性的更深入见解。

5.1 实验设置和训练协议
为了严格评估和比较诊断性能,对九种不同的最先进的深度学习架构(ResNet50、MobileNetV2、VGG16、DenseNet121、EfficientNetB0、ConvNeXt、Xception、Swin-Small和Swin-Base)进行了广泛分析。为了确保标准化的比较基线,所有网络都使用预训练的ImageNet权重进行初始化,然后在BreaKHis数据集上进行微调。为了缓解患者级别数据泄漏的关键风险,严格实施了5折Group-KFold交叉验证策略。此外,通过在训练批次的制定过程中应用加权随机采样器来解决良性和恶性样本之间的固有类别不平衡问题,确保在梯度更新期间类别比例均衡。输入图像被统一调整为224×224像素,并使用标准的ImageNet通道统计数据(μ=[0.485,0.456,0.406]、σ=[0.229,0.224,0.225])进行规范化。训练数据接受了空间增强——具体来说是随机水平翻转和最大15°的随机旋转——以提高模型的稳健性并减少过拟合。所有实验都在Kaggle平台上使用NVIDIA Tesla T4 GPU和16 GB VRAM进行。实现基于PyTorch,并利用CUDA加速。自动混合精度(AMP)被用来提高计算效率并减少内存消耗,从而在可用硬件约束下实现所有模型架构的稳定训练。所有模型最多训练20个周期,批量大小为16。优化使用AdamW优化器,学习率为1×10^-4。网络目标使用结合了标签平滑因子(?=0.1)的Cross-Entropy Loss函数进行最小化。虽然这不是医学图像分类中的常见做法,但由于组织病理数据中存在的固有类别不平衡和高类内相似性,因此将其纳入其中。通过软化硬标签,标签平滑防止模型对其预测过于自信,从而提高稳健性并稳定训练。这在BreaKHis数据集中特别有益,因为在这些数据集中,形态变化和微妙的视觉差异可能会引入类别边界的模糊性。使用自动混合精度(AMP)对训练进行了结构加速。为了捕捉每个模型的最佳泛化状态,采用了自动检查点策略;只有在产生最高验证F1分数的周期才保存模型权重,而不管最后一个周期是否意味着最佳泛化。最终报告了每种架构的准确率、精确度、召回率和F1分数的平均值和标准差(μ±σ)。表2提供了本研究中使用的所有实验设置和超参数的全面总结。

表2 参数/设置
输入分辨率 224×224
交叉验证策略 5折GroupKFold(患者级别隔离)
最大周期数 20
批量大小 16
优化器 AdamW(β1=0.9, β2=0.999)
学习率 1×10^-4
损失函数 带标签平滑的Cross-Entropy(?=0.1)
类别平衡 加权随机采样器
训练增强 水平翻转、随机旋转(±15°)
最佳模型选择 最优验证F1分数
硬件加速 自动混合精度(AMP)

所有图像都被调整为224×224像素,以确保与ImageNet预训练的架构兼容,并在所有模型中保持一致的输入分辨率。虽然这种调整操作可能会导致一些细粒度组织病理学细节的丢失,但它使得在相同条件下卷积和基于变换器的架构之间可以进行公平和受控的比较。重要的是,BreaKHis数据集包括多种放大倍数(40倍到400倍),这些放大倍数本质上捕获了结构和细胞级别的信息。因此,即使经过调整,也保留了具有区分性的特征。此外,所有模型观察到的强劲和一致的性能表明,调整后的表示仍然保留了足够的有效分类信息。尽管如此,也承认更高分辨率的输入可能会进一步改善细粒度特征学习,未来的工作可以探索多尺度或高分辨率方法以更好地保留组织学细节。

5.2 整体性能比较
表3展示了在使用5折以患者为中心的交叉验证的统一训练协议下所有九种评估架构的性能。所有模型都使用相同的数据分割、增强策略和优化设置进行训练,以确保公平的比较。ResNet50实现了最高的平均准确率(0.9267±0.0435)和F1分数(0.9472),紧随其后的是DenseNet121(0.9213±0.0455)和Swin-Small(0.9206±0.0481)。然而,表现最佳的模型之间的性能差异很小,准确率和F1分数的差异不到2%。基于变换器的模型表现出了有竞争力的结果,尽管没有观察到统计学上显著的性能优势。特别是,Swin-Small的表现与顶级CNN模型相当,尽管它的参数数量更多。这表明,增加模型容量并不一定会在受控训练条件下带来更好的性能。

5.3 总体性能比较
在所有模型中使用统一的训练协议和5折以患者为中心的交叉验证,比较了所有九种评估架构的性能。所有模型都使用相同的数据分割、增强策略和优化设置进行训练。ResNet50实现了最高的平均准确率(0.9267±0.0435)和F1分数(0.9472),其次是DenseNet121(0.9213±0.0455)和Swin-Small(0.9206±0.0481)。然而,性能差异很小,在准确率和F1分数上没有统计学上的显著差异。基于变换器的模型表现出竞争力,尽管没有观察到统计学上显著的性能优势。特别是,Swin-Small的表现与顶级CNN模型相当,尽管它的参数数量更多。这表明,在受控训练条件下,增加模型容量并不一定带来更好的性能。

在所有卷积架构中,ResNet50和DenseNet121在各个折叠中表现出强劲和稳定的性能,表明有效的特征学习和泛化。轻量级模型如MobileNetV2和EfficientNetB0也取得了相当的结果,突显了计算效率和预测性能之间的权衡。总体而言,结果表明,在统一且无泄漏的框架下评估时,不同的架构范式(包括CNN、现代卷积网络和变换器)获得了大致相似的性能。这一观察结果表明,评估协议和数据划分策略的选择在确定报告的性能方面起着关键作用,这激发了进一步的统计分析,以评估这些差异的显著性。表4中报告的95%置信区间是使用t分布在五个交叉验证折叠上计算的。对于每个模型,置信区间是根据折叠间性能的平均值和变异性估计的,如公式1所定义。
CI=μ±tα/2,n?1?σ√n
其中μ和σ分别代表折叠间的平均值和标准差,n=5表示交叉验证折叠的数量。该公式考虑了样本量较小的情况,并提供了模型性能不确定性的估计。表4展示了各模型的平均准确率及其95%置信区间:
| 模型 | 平均准确率 | 95%置信区间 |
|--------------|------------|-----------------|
| ResNet50 | 0.9267 | [0.8727, 0.9808] |
| DenseNet121 | 0.9213 | [0.8648, 0.9778] |
| Swin-Small | 0.9206 | [0.8609, 0.9803] |
| Xception | 0.9169 | [0.8599, 0.9740] |
| ConvNeXt | 0.9138 | [0.8492, 0.9784] |
| MobileNetV2 | 0.9136 | [0.8589, 0.9682] |
| EfficientNetB0 | 0.9126 | [0.8568, 0.9684] |
| Swin-Base | 0.9112 | [0.8599, 0.9626] |
| VGG16 | 0.9073 | [0.8430, 0.9716] |

所有模型的平均准确率及其95%置信区间均通过5折交叉验证获得。模型间相对较宽且重叠的置信区间反映了基于患者信息的交叉验证所引入的固有变异性。由于每折包含不同的患者群体,数据分布的差异(如类别不平衡和放大倍率组合的差异)可能导致折间变异性增加。因此,这些置信区间应被视为变异性的一种指示,而非泛化性能的精确估计。为了提供更稳健的评估,置信区间分析还结合了统计假设检验(配对t检验和Wilcoxon符号秩检验)以及Bonferroni校正,以确保对模型间性能差异的可靠解释。

所有定性分析均使用具有代表性的折叠进行,以便于解释;而定量结论则完全基于交叉验证折叠中的平均值和标准差,以确保评估的无偏性。根据比较评估,ResNet50因其在多种评估指标上的强劲和一致的性能而被选中,用于进行详细的定性和诊断分析。

图2中的混淆矩阵详细展示了分类结果。为了进行定性说明,展示了一个代表性折叠(折叠1),该模型的准确率为0.97。这个例子用于展示模型的分类行为,应结合所有折叠报告的总体平均性能进行解释。在临床环境中,恶性类别的较高召回率尤其令人满意,因为它反映了模型正确识别癌症病例的能力。然而,尽管假阴性的数量有限,但仍强调了在实际诊断工作流程中需要谨慎部署。图2中的接收者操作特征(ROC)曲线显示出强大的区分能力,曲线下面积(AUC)为0.995,表明在不同阈值设置下模型具有高敏感性和特异性。这证实了模型能够有效区分良性与恶性类别,并保持了稳健的分类边界。

图3中显示的误分类样本表明,大多数错误发生在良性与恶性组织具有重叠形态特征的视觉上模糊的区域。特别是那些结构差异微妙或内部变异较大的样本,增加了分类的不确定性。此外,较高的放大倍率图像往往表现出更大的局部复杂性,这可能会掩盖整体组织结构,从而导致误分类。

图4中的Grad-CAM可视化揭示了影响模型预测的区域。激活图一致地突出了诊断相关的区域,如细胞核、细胞簇和组织结构,表明模型关注的是有意义的组织病理学特征,而不是背景伪影。然而,在某些情况下,注意力分布较广,表明模型可能依赖于除了局部细胞特征之外的上下文线索。这种行为与组织病理学分析的性质一致,在这种分析中,局部和全局模式都对诊断有贡献。

5.2.1 学习率策略对模型性能的影响
为了进一步研究特定模型的优化是否能够改善性能,我们进行了额外的实验,其中每种架构都使用通过经验调整选定的学习率进行训练。这种设置与主要基准测试实验中使用的统一训练协议不同,在统一测试协议中,所有模型都应用了固定的学习率以确保公平性。表5总结了在特定模型学习率下所有九种模型的性能。与其他学习率设置相比,大多数模型的性能仅略有提升。例如,ResNet50的准确率为0.9133,与其在统一学习率配置下的性能相当。同样,DenseNet121、MobileNetV2和EfficientNetB0的性能指标也没有显著变化。这些发现表明,虽然通过针对每个模型进行微调可以获得轻微的提升,但模型的整体排名和相对性能基本保持不变。这表明从统一训练协议得出的结论是稳健的,并且不受超参数偏差的显著影响。重要的是,这个实验强化了所提出的基准测试框架的有效性,证明了使用一致的训练配置不会对任何特定模型类别造成不利影响。相反,它提供了一个公平和可控的比较,同时得出了在不同优化设置下具有普遍意义的结论。

5.3 统计显著性分析
为了确定模型之间的性能差异是否具有统计学意义,使用配对t检验和Wilcoxon符号秩检验对五个交叉验证折叠进行了成对比较。如表4所示,所有模型的95%置信区间有相当大的重叠,表明平均性能的差异相对较小。为了进一步研究这一点,对所有模型对进行了统计假设检验,关键比较结果总结在表6中。结果显示,大多数比较的pp值大于0.05,且没有一个符合Bonferroni校正后的阈值(αadj≈0.0014)。图5中的全球pp值矩阵进一步支持了这一结果,其中大多数条目的值远高于显著性阈值。

表6展示了使用特定模型学习率(定制学习率)的性能比较。

5.4 统计显著性分析
为了确定模型间观察到的性能差异是否具有统计学意义,使用了配对t检验和Wilcoxon符号秩检验对五个交叉验证折叠进行了成对比较。如表4所示,所有模型的95%置信区间有相当大的重叠,表明平均性能的差异相对较小。为了进一步研究这一点,对所有模型对进行了统计假设检验,关键比较结果总结在表6中。结果显示,大多数比较的pp值大于0.05,且没有一个满足Bonferroni校正后的阈值(αadj≈0.0014)。图5中的全球pp值矩阵进一步支持了这一结果。

5.5 跨验证稳定性分析
为了评估模型性能的稳健性和一致性,采用了5折基于患者信息的交叉验证策略。这种方法确保了在多个数据分割上评估性能,同时防止了患者级别的数据泄露,从而提供了泛化的可靠估计。表7展示了所有九个评估模型的逐折叠准确率。结果表明,所有架构在折叠间的性能都表现出稳定性,没有模型出现极端波动或不稳定。尽管在各折叠之间观察到了轻微的差异,但这些差异仍在相对较小的范围内。

5.6 放大倍数性能分析
为了进一步研究模型在不同空间分辨率下的行为,对两种代表性架构ResNet50和DenseNet121进行了放大倍数分析。这些模型基于它们在主要基准测试实验中一致的强劲性能被选中(表3),它们在多个评估指标中均排名靠前。此外,这两种模型在交叉验证折叠中的性能也保持稳定,适合分析在不同放大倍数下的性能趋势。ResNet50和DenseNet121代表了两种不同的卷积设计范式——残差学习和密集连接性,从而可以分析在不同空间分辨率下的特征传播机制的差异。虽然主要基准测试框架中对所有模型应用了相同的训练和评估流程,但将放大倍数分析扩展到所有九种架构会引入显著的计算开销而不带来相应的分析收益。因此,选择这两种代表性模型是为了提供有关放大倍数依赖性能的有意义且可解释的见解。

5.7 扩展评估:10折分析
为了进一步验证表现最佳模型的稳健性,使用了10折基于患者信息的交叉验证协议进行了扩展评估。这项分析重点关注ResNet50和DenseNet121,这两种模型在之前的5折评估中始终表现出强劲的性能。增加折叠数量可以更全面地评估模型的泛化能力,因为每个模型会遇到更多样的训练-验证分割。这在医学成像任务中尤为重要,因为数据集规模有限,患者间的变异性可能影响性能。表9总结了这两种模型在10折交叉验证中的性能。结果表明,所有架构的性能在折叠间保持稳定,没有模型出现极端波动或不稳定性。尽管某些折叠的性能略低,但这些差异在多个模型中都有观察到,这并不表明任何特定架构存在系统性不稳定。相反,它们反映了数据分布在折叠间的自然变异性,这在具有异质特征的医学成像数据集中是预期的。

在大多数评估模型中,第5折叠的性能出现了明显下降。这种变化可以直接归因于折叠特定的数据分布特征。对患者级别交叉验证分割的分析显示,第5折叠存在明显的类别不平衡,恶性样本的比例显著高于良性样本,导致类别比约为75:25。这种不平衡可能会使模型预测偏向多数类别,从而降低少数类别的泛化性能。除了类别不平衡外,基于患者的信息分割还会引入组织形态和疾病模式的变异性。由于每个折叠包含不同的患者子集,第5折叠可能包含更具挑战性或异质性更强的病例,进一步加剧了性能下降。此外,放大倍数的分布变化——特别是高放大倍数(400××)样本的存在,已知会减少上下文信息——可能会放大这种效果。

5.8 扩大倍数性能分析
为了进一步研究模型在不同空间分辨率下的行为,对两种代表性架构ResNet50和DenseNet121进行了放大倍数分析。这些模型基于它们在主要基准测试实验中始终强劲的性能被选中(表3),它们在多个评估指标中均排名靠前。此外,这两种模型在交叉验证折叠中的性能也保持稳定,适合分析在不同放大倍数下的性能趋势。ResNet50和DenseNet121代表了两种不同的卷积设计范式——残差学习和密集连接性,分别允许分析在不同空间分辨率下的特征传播机制的差异。虽然主要基准测试框架中对所有模型应用了相同的训练和评估流程,但将放大倍数分析扩展到所有九种架构会增加显著的计算开销,而没有相应的分析收益。因此,选择这两种代表性模型是为了提供有关放大倍数依赖性能的有意义且可解释的见解。从这两种统计测试中获得的pp值都显著高于传统的显著性阈值(p<0.05),表明观察到的性能差异在统计学上并不显著。这证实了在所提出的评估框架下,这两种模型表现出相当的预测能力。尽管缺乏统计学显著性,但DenseNet121在召回率和F1分数上仍有轻微的提高,这一点在医学诊断中尤为重要,因为最小化假阴性结果至关重要。为了进行定性分析,我们详细检查了10折评估中一个具有代表性的折叠结果。在这个折叠中,DenseNet121的准确率为0.99,只有11个样本被错误分类。这个例子突显了该模型在有利数据条件下的能力;然而,它不应被解释为模型的整体表现,模型的整体表现应该通过所有折叠的平均值和标准差来更可靠地反映。

表10
模型1 模型2
t检验 pp值 Wilcoxon pp值 t检验显著性 Wilcoxon显著性
DenseNet121 ResNet50 0.557 0.695 ns ns

对ResNet50和DenseNet121进行了统计比较(10折结果)。

为了进一步验证观察到的性能趋势,我们对在10折交叉验证期间获得的表现最佳的DenseNet121折叠进行了定性分析。DenseNet121的混淆矩阵如图6所示。该模型正确分类了189个良性样本和618个恶性样本,只有2个假阳性和9个假阴性,总共11个样本被错误分类。这对应于所选折叠的总体准确率为0.99。分类报告进一步表明,对于良性样本,精确度和召回率分别为0.95和0.99;对于恶性样本,精确度和召回率几乎完美(分别为1.00和0.99)。恶性病例的高召回率在临床环境中尤为重要,因为它可以最小化漏诊癌症的风险。ROC曲线也显示在图6中,其AUC为0.9948,表现出优异的区分能力,曲线紧密跟随理想的左上边界,表明在不同决策阈值下良性与恶性类别之间有很强的可分性。

图6
DenseNet121的诊断性能(最佳折叠,10折评估)(a)混淆矩阵(b)ROC曲线(AUC == 0.9948)。

图7展示了DenseNet121的Grad-CAM可视化结果。激活图突出了生物学上相关的区域,包括与恶性肿瘤相关的细胞核团和组织结构。与之前的观察相比,DenseNet121展示了更局部化、更集中的关注模式,表明特征区分能力有所提高。该模型始终关注具有诊断意义的区域,而不是背景区域,从而增强了其可靠性和可解释性。这种行为与病理评估一致,因为在病理学中,细胞形态和局部组织结构是恶性肿瘤的关键指标。

虽然ResNet50和DenseNet121都表现出很强的性能,但定性结果表明DenseNet121可能更有效地捕捉到细微的结构细节。这反映在其略微较高的召回率和较少的错误分类数量上。然而,如前所述,这些改进仍然微不足道,且在统计学上并不显著。总体而言,10折评估的定性和定量发现确认了两种模型都实现了高且一致的性能。DenseNet121在某些折叠中显示出轻微的优势,特别是在最小化假阴性方面,但模型之间的整体差异仍然很小。这些结果进一步加强了这样的结论:在严格的患者意识评估框架下,模型的性能是相当的。

5.7 讨论

我们控制严格的、以患者为中心的基准测试显示,现代基于卷积和变换器的架构在乳腺癌组织病理学分类方面实现了高度可比的性能。统计分析确认,模型之间的准确率和F1分数的微小差异并不显著。这表明,文献中先前报道的性能差距可能是由于数据泄露(例如,图像分割)和不一致的评估协议造成的,而不是由于架构本身的优越性。通过严格防止患者级数据泄露,我们的交叉验证框架确保了性能估计的稳健性和可靠性。放大倍数分析进一步表明,像ResNet50和DenseNet121这样的模型在较低放大倍数(40××)时达到性能峰值,此时全局组织结构得以保留。相反,在较高放大倍数(400××)时,由于失去了更广泛的上下文信息,性能下降,这突显了单一尺度学习的局限性。包括Grad-CAM可视化在内的定性评估确认,模型适当地关注了临床相关的组织结构,尽管在视觉上模糊的高放大倍数区域中仍然存在错误分类。尽管整体性能很强,但这项研究依赖于单一数据集(BreaKHis)并采用了统一的训练协议,可能没有充分利用每种架构的绝对最大潜力。因此,需要在多样化的多中心数据集上进行外部验证,以确认模型的泛化能力。最终,这项研究表明,在严格无泄露的条件下,不同架构之间的性能差异是微小的。这些发现将重点从设计逐渐增加的架构复杂性转移到了优先考虑稳健的评估协议和探索集成空间关系和领域特定先验的混合多尺度框架上,以更好地捕捉数字病理学的复杂性。

6 结论与未来工作

本研究建立了一个严格的无泄露基准框架,用于乳腺癌组织病理学分类,系统地评估了九种最先进的深度学习架构。通过严格执行严格的患者意识交叉验证协议,这项工作解决了先前文献中的一个关键问题:由于患者级数据泄露导致的人工模型性能膨胀。我们全面的定量和统计分析揭示了一个基本见解:在高度控制的、患者隔离的条件下进行评估时,现代卷积神经网络(例如ResNet50、DenseNet121)和视觉变换器(例如Swin-Small)之间没有观察到统计学上显著的差异。虽然DenseNet121和ResNet50表现出异常的稳定性和高召回率,在5折和10折评估中实现了超过92%的平均准确率,但假设检验确认,逐渐增加的架构复杂性并没有导致诊断性能的统计学差异。此外,放大倍数分析强调了空间上下文的关键作用。所有模型都在较低放大倍数(40××)时达到性能峰值,此时全局组织结构得以保留;而在较高放大倍数(400××)时,由于视野范围受限,性能有所下降。最终,这项研究表明,评估协议和数据划分策略的完整性在实现可靠的现实世界部署中起着更重要的作用,而不是基线架构的选择。

基于这些发现以及单尺度patch分类的局限性,未来的研究方向有几个有前景的方向:多尺度和全扫描图像(WSI)集成:在400××放大倍数下观察到的性能下降凸显了孤立patch级别分析的局限性。未来的工作必须转向多实例学习(MIL)和多分辨率融合框架(如图神经网络或SlideMamba这样的状态空间模型)。这些架构可以同时利用高放大倍数下的细粒度细胞异型性和低放大倍数下的全局结构组织,模仿人类病理学家的整体方法。跨领域泛化和多中心验证:虽然模型在BreaKHis数据集上表现出很强的稳定性,但组织病理学图像容易受到组织制备、染色协议(H&E)和数字扫描仪校准变化引起的领域转换的影响。未来的研究应该优先考虑在多样化的多中心队列(例如TCGA或CAMELYON)上进行外部验证,并整合领域适应或颜色 normalization技术,以确保稳健的现实世界泛化能力。高级可解释性和不确定性量化:尽管Grad-CAM成功突出了相关的细胞核和组织结构,但在视觉上模糊的区域中仍然存在错误分类。未来的迭代应该包含不确定性量化,以便标记出需要人类审核的低置信度预测。此外,开发基于概念的可解释AI(XAI),将原始像素激活转化为可理解的病理概念(例如“高核多形性”或“有丝分裂计数”),对于建立临床决策支持系统的信任至关重要。多模态诊断:为了进一步提高诊断准确性和预测价值,未来的框架应该探索多模态数据融合。结合组织病理学图像表示与患者特定的临床历史、基因组谱型或转录组数据,可以提供更全面、个性化的肿瘤学和患者护理方法。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号