评估用于乳腺癌组织病理学图像分类的CNN和经LoRA微调的视觉-语言模型
Tomiris M. Zhaksylyk、
Beibit B. Abdikenov、
Nurbek M. Saidnassim、
Birzhan T. Ayanbayev、
Aruzhan S. Imasheva 和
Temirlan S. Karibekov
《Journal of Imaging》:Assessing CNNs and LoRA-Fine-Tuned Vision–Language Models for Breast Cancer Histopathology Image Classification
Tomiris M. Zhaksylyk,
Beibit B. Abdikenov,
Nurbek M. Saidnassim,
Birzhan T. Ayanbayev,
Aruzhan S. Imasheva and
Temirlan S. Karibekov
【字体:
大
中
小
】
时间:2026年04月16日
来源:Journal of Imaging 3.3
编辑推荐:
摘要 由于不同放大倍数下组织形态的差异,乳腺癌的组织病理学分类在计算病理学中仍然是一个基本挑战。卷积神经网络(CNN)长期以来一直是基于图像诊断的标准方法,但最近在视觉语言模型(VLM)方面的进展表明,它们可能为复杂的医学图像提供强大且可迁移的表示。在这项
摘要 由于不同放大倍数下组织形态的差异,乳腺癌的组织病理学分类在计算病理学中仍然是一个基本挑战。卷积神经网络(CNN)长期以来一直是基于图像诊断的标准方法,但最近在视觉语言模型(VLM)方面的进展表明,它们可能为复杂的医学图像提供强大且可迁移的表示。在这项研究中,我们系统地比较了CNN基线和大型VLM——Qwen2和SmolVLM——在BreakHis数据集上使用低秩适应(LoRA;?? =16,?? =32,dropout = 0.05)进行微调的效果。模型在40 ×、100 ×、200 ×和400 ×放大倍数下通过准确性、精确度、召回率、F1分数和ROC曲线下面积(AUC)进行评估。尽管Qwen2在不同放大倍数下的表现中等(例如,在200 ×时准确率为0.8736,AUC为0.9552),但SmolVLM始终优于Qwen2,并显著缩小了与CNN基线的差距,在200 ×时准确率达到了0.9453,F1分数达到了0.9572——接近相同放大倍数下AlexNet(0.9543准确率)的性能。CNN基线,特别是ResNet34,总体上仍然是最强的模型,在所有放大倍数下都取得了最高性能(例如,在40 ×时准确率为0.9879,AUC为0.9984)。这些发现表明,尽管LoRA微调的VLM需要梯度累积和内存效率高的优化器,并且可训练参数的数量显著较少,但它们可以实现与传统CNN相当的性能。然而,基于CNN的架构仍然为组织病理学分类提供了最高的准确性和鲁棒性。我们的结果强调了VLM作为参数高效替代品的潜力,尤其是在资源受限的设置中。
1. 引言
乳腺癌是一个重要的全球健康问题,特别是在低收入和中等收入国家,由于筛查资源有限,往往导致晚期诊断和死亡率增加[1]。早期发现对于改善患者结果至关重要,这突显了需要先进的诊断方法。组织病理学检查仍然是乳腺癌诊断的金标准,涉及显微镜下的组织分析以识别恶性变化。然而,手动评估耗时、容易受到观察者间差异的影响,并且需要专门的专业知识。人工智能(AI)和机器学习(ML)的出现,特别是像卷积神经网络(CNN)这样的深度学习模型,为自动化癌症检测带来了新的可能性,提高了效率并改善了诊断的一致性[2]。组织病理学图像包含从细胞异常到广泛组织结构的多种尺度上的复杂模式。苏木精和伊红(H&E)染色增强了可视化效果,但染色协议和图像质量的差异带来了挑战。AI模型必须通过诸如染色标准化和领域适应等技术来解决这些不一致性,以确保在不同数据集上的鲁棒性和可靠性[3]。
组织病理学图像分析的关键挑战包括数据维度高、数据集中的类别不平衡以及需要专家标注。使用数据增强、迁移学习和合成样本生成等方法来克服这些限制对于开发准确和泛化的AI模型至关重要[4]。此外,将AI集成到临床工作流程中时,必须考虑可解释性、监管批准和实际应用性等因素。关键的诊断特征,如细胞多态性、核-细胞质比和组织侵袭性,对于癌症分类和治疗计划至关重要。AI驱动的工具可以通过提高诊断精度、减少工作量和支持个性化医疗来协助病理学家。利用AI进行组织病理学图像分析在全球范围内改善乳腺癌检测和患者结果方面具有巨大潜力。最近在视觉语言模型(VLM)方面的发展,如CLIP、ALIGN及其生物医学适应,为克服这些限制提供了一条有前途的途径。通过将组织病理学切片中的视觉特征与诊断标签、形态描述或临床注释等文本信息对准,VLM提供了双重优势:(i)通过多模态学习提高鲁棒性;(ii)通过将预测基于自然语言解释来增强可解释性。这些能力很好地符合临床要求,在这里透明推理和可信度与原始预测准确性同样重要。
在这项研究中,我们基于之前的深度学习流程——基于ResNet、AlexNet和VGG——并扩展了一个基于VLM的框架。这种混合方法旨在捕捉细粒度的形态特征,同时利用文本嵌入来指导分类,最终推进自动化乳腺癌诊断。
2. 相关工作
近年来,AI在乳腺癌诊断中的应用引起了相当大的关注[5],这得益于计算能力的提高、大规模数据集和复杂的深度学习架构的发展。早期的研究集中在传统的机器学习技术上,如支持向量机(SVM)和随机森林,这些技术依赖于从组织病理学图像中提取的手工特征[2]。虽然这些方法显示出潜力,但它们受到特征选择偏见和无法有效捕捉复杂模式的限制。AI驱动的组织病理学分析中的一个关键挑战是数据集的可用性和变异性。像乳腺癌组织病理学数据库(BACH)和癌症基因组图谱(TCGA)这样的公开可用数据集促进了模型的开发和基准测试[6]。然而,图像采集协议、染色方法和患者人口统计特征的差异引入了领域偏移,可能会影响模型的泛化能力。最近的研究集中在领域适应技术上,如对抗性训练和自主学习,以缓解这些问题[7,8]。
AI在乳腺癌组织病理学中的另一个关键方面是可解释性和可解释性。深度学习模型通常作为“黑盒子”,使得理解它们的决策过程变得具有挑战性。可解释AI(XAI)技术,包括显著性地图、Grad-CAM和SHAP值,已被探索用于提供模型预测的视觉和定量解释[9]。尽管有这些进展,但由于监管要求、实际应用中的验证以及需要广泛的跨机构合作,将AI集成到临床工作流程中仍然是一个挑战。在深度学习被广泛采用之前,研究人员依赖传统的机器学习技术来分析组织病理学图像。例如,支持向量机(SVM)通常用于根据手动提取的特征(如纹理和形态)对组织样本进行分类。Naik等人[10]探索了使用SVM对前列腺癌组织病理学图像进行分割和分类,并展示了有希望的结果。另一种广泛使用的方法是决策树,通常与随机森林等集成方法结合使用,以提高准确性。Doyle等人[11]应用决策树分类器来区分不同的乳腺组织类型,尽管手工特征选择存在局限性,但仍取得了合理的准确性。然而,这些方法需要大量的领域专业知识和手动预处理,使其不太适合大规模数据集。
组织病理学图像分类在使用组织病理学图像分析进行精确乳腺癌检测的过程中遇到了重大障碍[12]。可信诊断工具的开发受到这些相互关联问题的阻碍。一个重大挑战是组织病理学图像中组织结构的复杂性和多样性。由于模型难以在不同数据集之间进行泛化,各种细胞形状、组织类型和染色方法需要密集的模型训练和适应[13]。特别是在密度较高的区域,重叠或遮挡的细胞核使得分割更加困难,增加了错误的可能性,强调了需要更复杂算法的必要性。高质量的标注数据对于分类模型至关重要,但由于数据标注是一个劳动密集型过程,因此这种情况很常见[14]。此外,不一致的标注标准和观察者间的变异性也带来了额外的困难,突显了标准化标注程序和多专家共识的必要性,以提高数据质量和模型可靠性。在计算能力有限的临床环境中,由于需要大量的处理资源,生成高分辨率的全切片图像可能很困难[15]。
2.1. 深度学习
深度学习的引入,特别是CNN[16],通过消除手动特征提取的需求,彻底改变了组织病理学图像分析。CNN不再依赖于预定义的特征,而是直接从原始图像学习层次化的模式,从而提高了准确性和适应性。Spanhol等人[9]在这一领域的早期研究中使用CNN对乳腺癌组织病理学图像进行分类,显著优于传统的机器学习模型。深度学习,特别是CNN的出现,通过直接从原始图像自动提取特征,极大地推进了该领域的发展。研究表明,基于CNN的模型可以在区分良性和恶性组织样本方面实现高分类准确性[17]。此外,诸如残差网络(ResNets)、注意力机制和基于变换器的架构等方法进一步提高了性能,通过精细化特征表示并降低了计算成本[9]。CNN因其能够捕捉细粒度纹理和高级结构模式而受到欢迎,这对于诊断癌症等疾病至关重要。与早期需要手动调整特征的方法不同,深度学习模型可以自动从组织病理学切片中提取最相关的信息。此外,迁移学习和数据增强等技术使CNN即使在处理标记有限的数据集时也更加健壮。2022年,Alotaibi等人[18]提出了一个集成模型ViT-DeiT,用于对组织病理学图像中的乳腺癌进行分类。该模型结合了视觉变换器(ViT)和数据高效图像变换器(DeiT)架构,使用软投票方法对类别概率进行平均,以做出最终预测。Srikantamurthy等人[3]的研究探索了结合CNN和长短期记忆(LSTM)网络的混合深度学习模型,用于从组织病理学图像中对良性和恶性乳腺癌亚型进行分类。这种混合方法利用CNN进行空间特征提取,利用LSTM捕获数据中的序列模式。预训练的ImageNet权重被用于迁移学习,优化了模型性能,同时减少了大量手动特征工程的需求。
2.2. 视觉语言模型
VLM作为强大的多模态架构出现,能够从图像-文本对中共同学习,有效分类癌症病理图像[19]。Ferber等人[20]表明,在多样化的多模态数据上预训练的GPT-4V结合少量样本提示在医学图像分类中优于深度学习模型。OpenAI的CLIP证明了大规模对比学习可以实现对零样本分类的视觉和语言表示的对齐。在医学成像中,如MedCLIP[21]、BioViL[22]和PathCLIP[23]等适应表明,在病理学和放射学中显示出潜力,通过将图像与描述性文本或诊断标签相关联。对于组织病理学,VLM不仅允许模型对组织切片进行分类,还可以生成可解释的基于文本的推理,从而弥合计算预测和病理学家推理之间的差距[24]。
组织病理学中的一个问题是整个切片图像(WSI)具有千兆像素大小,AI模型难以直接使用。为了解决这个问题,WSI被裁剪成 patches 作为输入。一些基于CLIP的VLM就是基于这个想法[25]。然而,Shi等人[26]表明,可以使用WSI作为预训练的图像和文本编码器的输入,并使用微调的多实例学习(MIL)解码器。此外,Rahaman等人[27]在他们的模型中使用了缩放的WSI和patches的组合,并采用了CLIP模型的改编。Zanella等人[28]的工作引入了一种转换推理方法,使用VLM增强零样本组织病理学图像分类,该方法在嵌入空间中寻找WSI中所有patches之间的相似性。最近的研究表明,VLM增强模型在鲁棒性方面可以胜过纯视觉架构,并提供可解释的输出,从而便于临床应用。
3. 材料和方法
3.1. 数据集
乳腺癌组织病理学图像分类(BreakHis)数据集[9]是计算病理学中广泛使用的基准数据集,包含来自巴西P&D实验室的82名患者的7909张H&E染色的乳腺组织图像。图像被分为两个主要类别:良性(2480张图像)和恶性(5429张图像),反映了大约1:2.2的类别不平衡比率,这代表了真实的临床情况。该数据集涵盖了八种组织病理学亚型:四种良性(腺病、纤维腺瘤、叶状肿瘤和管状腺瘤)和四种恶性(导管癌、小叶癌、黏液癌和乳头状癌)。图像以四种光学放大倍数提供——40×、100×、200×和400×——存储为700 × 460像素的高分辨率PNG文件。每个放大倍数捕捉不同的组织形态尺度:较低的放大倍数(40×、100×)显示组织结构和模式,而较高的放大倍数(200×、400×)暴露出细胞级别的特征,如细胞多态性和有丝分裂活动。图像在放大倍数和类别上的分布总结在表1中。表1. BreakHis数据集在不同放大倍数和类别上的分布。训练/测试分割遵循标准的70/30患者级分割。图1和图2分别展示了数据集中的三个代表性的良性 and 恶性乳腺组织病理学样本,放大倍数为200×。图1. BreakHis数据集中200×放大倍数的代表性良性乳腺组织病理学图像。从左到右:腺病、纤维腺瘤和管状腺瘤。图2. BreakHis数据集中的代表性恶性乳腺组织病理图像,放大倍数为200倍。从左到右:导管癌、小叶癌和黏液癌。3.2. 外部验证数据集(BACH)为了评估跨数据集的泛化能力,还在BACH(乳腺癌组织学)数据集[29]上测试了在BreakHis上表现最好的模型。BACH包含400张高分辨率的H&E染色乳腺组织显微镜图像,这些图像被分为四类:正常、良性、原位癌和浸润性癌。为了与本研究中使用的二元分类协议兼容,正常和良性图像被归为负类(良性),原位癌和浸润性癌图像被归为正类(恶性),每类有200张图像。3.3. 基于CNN的基线模型图3展示了基于CNN的分类总体流程。对于基于CNN的基准测试,我们使用了三种成熟的架构:AlexNet [16]、VGG19和ResNet34 [30]。这些模型代表了从浅层(AlexNet)到中等深度(VGG19)再到残差层(ResNet34)的架构复杂性和表示能力的进步。所有输入图像在输入模型之前都被调整大小为336 ×336像素,并且所有模型都使用预训练的ImageNet权重进行端到端的微调。图3. 基于CNN的乳腺组织学图像分类的工作流程。图像经过预处理后,通过预训练的CNN主干网络进行分类,最后通过全连接的二元输出层进行分类。每个CNN的最终分类层被替换为一个二元输出头,以适应良性/恶性鉴别任务。恶性类别包括了BreakHis数据集中的所有四种恶性亚型:导管癌、小叶癌、黏液癌和乳头状癌。良性类别同样包括了所有四种良性亚型:腺病、纤维腺瘤和叶状肿瘤。表2提供了这三种CNN架构在模型复杂性方面的比较。表2. 本研究中使用的CNN架构的模型复杂性比较。3.4. 仅在图像上进行评估的视觉-语言模型我们训练了两种视觉-语言模型(VLMs),即Qwen2-VL-2B-Instruct和SmolVLM,采用了两种不同的训练模式:线性探测(LP)和微调(FT),如图4所示。图4. 使用VLMs进行图像分类的微调(FT)和线性探测(LP)的工作流程。在LP模式下,VLM主干网络完全冻结,只训练分类头。在FT模式下,LoRA适配器被插入到注意力层中,并与分类头一起进行训练。重要提示:尽管VLMs在架构上能够同时处理图像和文本输入,但在这项研究中,它们仅在图像模式下进行评估。没有提供任何文本输入——如放大倍数、形态描述符或诊断提示。这种设计选择是为了确保与无法处理文本输入的CNN基线进行公平、同类的比较。因此,结果反映了这些模型在部分适应下的视觉表现和分类能力,而不是它们的全部多模态能力。读者不应将这些发现解释为对VLMs在组织学中的性能的普遍评估。两种VLMs接收的输入图像都被调整大小为336 ×336像素,与CNN基线一致。图像使用每个模型的原生图像处理器进行预处理,该处理器将输入图像分割成不重叠的16 ×16像素块供视觉编码器使用;没有应用额外的均值/标准差标准化。动态分辨率和平铺被禁用;所有图像都在固定分辨率下处理,以确保所有模型之间的比较一致和可重复。3.4.1. 线性探测在线性探测模式下,整个VLM主干网络——包括视觉编码器语言模型解码器——都保持冻结状态。在最终隐藏状态????后附加了一个轻量级的二元分类头,并仅在目标数据集上进行训练。这种方法可以直接衡量预训练视觉表示的质量,而不需要任何特定领域的适应,作为微调实验的较低限度基线。3.4.2. LoRA微调VLMs通常设计有一个大的语言模型(LLM)解码器,其中最终的预测头是一个线性变换,它将每个时间步t的隐藏表示???? ∈???映射到词汇表??上的分布: ???(??∣???)=softmax?(??lm???+??lm),??lm∈??|??|×?? (1) 在标准自回归推理中,分词器解释这个分布,并从最可能的单词子集中顺序采样词元。然而,对于我们的分类任务,目标不是语言生成,而是区分两种组织病理学类别:良性和恶性。为此,我们通过用二元分类头替换原始的词汇表大小投影层来重新构造输出空间: ??cls∈??1×??,??cls∈?? (2) 修改后的输出变为: ^??=???(??cls???+??cls) (3) 其中???( ·)是Sigmoid激活函数,产生一个属于恶性类别的概率^?? ∈[0,1]。这有效地将模型的词汇表缩减为二元决策集?? ={0,1},其中0表示良性,1表示恶性。我们没有更新所有模型参数——这对于十亿参数的VLMs来说在计算上是不可行的——而是采用了低秩适应(LoRA)[31],它在LLM解码器的注意力层中引入了可训练的低秩分解矩阵。在整个训练过程中,视觉编码器保持冻结状态;没有对其应用LoRA适配器。这一决策是由于单个消费者GPU的内存限制,这意味着视觉特征表示保留了从自然图像-文本预训练中学到的内容。虽然这可能会限制对组织学领域的适应——特别是考虑到自然图像和H&E染色组织之间的显著领域差异——但它为VLM性能提供了一个保守的 lower bound,并为未来的工作指出了视觉编码器适应的重要方向。具体来说,对于一个预训练的权重矩阵??0 ∈???×??,LoRA将权重更新重新参数化为: ??=??0+Δ???=??0+?????,??∈????×??,??∈????×?? (4) 其中?? ?min?(??,??)是控制可训练参数数量的秩超参数。适应后的输出通过??/??进行缩放,其中??是一个缩放超参数。这种形式大大减少了可训练参数的数量:当?? =16且?? =2048(如在Qwen2-VL-2B中)时,单个适应后的注意力投影只需要2 ×16 ×2048 =65,536个可训练参数,而全微调则需要20482 ≈4.2M个参数。微调后的VLM直接输出类别概率,使得可以使用二元交叉熵损失进行端到端训练: ?BCE=?1?????∑??=1[?????log?(^????)+(1?????)?log?(1?^????)] (5) 3.5. 训练配置所有模型都使用第3.6节描述的增强管道进行了20个时代的训练。模型选择和性能评估是使用5折交叉验证在患者级别进行的,确保来自同一患者的图像仅出现在训练或验证折叠中,从而防止数据泄露。所有训练超参数的完整列表见表3。表3. 所有模型使用的训练超参数。LoRA超参数仅适用于VLM微调(FT)模式。由于硬件限制,SmolVLM的批量大小为8,梯度累积分为8步,相当于有效的批量大小为64;所有其他超参数与表3中的相同。所有实验都在单个NVIDIA GeForce RTX 4080(16 GB VRAM;NVIDIA Corporation,Santa Clara,CA,USA)上进行。3.6. 数据增强为了提高模型的泛化能力并减少自然图像预训练和H&E染色组织学之间的领域差异,所有模型都使用Albumentations库实现的标准增强管道进行了训练。以下转换仅在训练期间随机应用;测试时不应用任何增强:水平翻转(?? =0.5):随机左-右镜像。旋转(?? =0.5,限制 =±15):小的随机旋转以模拟切片方向的变化。随机亮度和对比度(?? =0.5,亮度 ∈[?0.2,0.2],对比度 ∈[?0.1,0.1]):模拟组织样本之间的染色强度变化。随机调整大小的裁剪(?? =0.8,缩放 ∈[0.9,1.1],比率 ∈[0.05,1.1],输出大小 =336 ×336):在保持目标分辨率的同时引入尺寸和纵横比的变化。模糊(模糊限制 =1):轻微的模糊处理以减少对高频噪声的敏感性。4. 结果与讨论本节使用五折交叉验证对BreakHis数据集上的经典CNN架构和视觉-语言模型(VLMs)进行了全面评估。我们报告了四种放大倍数(40×、100×、200×和400×)下的准确率、精确度、召回率、F1分数和AUC。未增强数据的结果总结在表4中,而增强设置的结果在表5中报告。图5显示了所有模型在不同放大倍数下的准确率比较;训练和验证损失曲线分别在图6和图7中显示。表4. BreakHis数据集上所有模型、训练模式和放大倍数下的五折交叉验证分类结果。数值以平均值 ± 标准差报告。粗体值表示VLMs中每个指标的最佳结果。下划线值表示每个指标的总体最佳结果。表5. BreakHis数据集上所有模型、训练模式和放大倍数下的五折交叉验证分类结果,包括数据增强。数值以平均值 ± 标准差报告。粗体值表示VLMs中每个指标的最佳结果。下划线值表示每个指标的总体最佳结果。图5. 所有模型在四种放大倍数下的准确率比较。CNN基线(实线)始终优于VLMs(虚线),其中ResNet34在所有放大倍数下都实现了最高的准确率。SmolVLM-FT是表现最好的VLM,在40×和200×下接近CNN级别的准确率。图6. 所有模型在20个时代内的训练和验证BCE损失曲线。CNN基线(顶部行)比VLMs(底部行)收敛得更快,损失值更低,这与它们的更高分类准确率一致。ResNet34在所有模型中实现了最低的最终训练和验证损失,而VLMs的收敛速度较慢,残差损失较高,特别是在线性探测模式下。图7. 所有模型在20个时代内的验证BCE损失曲线叠加图。实线表示CNN基线;虚线表示VLMs。ResNet34-FT和SmolVLM-FT在各自的模型家族中实现了最低的最终验证损失。CNN和VLM曲线之间的明显分离反映了自然图像-文本预训练和H&E染色组织学之间的领域差异,LoRA微调仅部分弥合了这一差异,而没有特定的领域预训练数据。4.1. 评估协议对性能估计的影响在解释结果时,一个关键的方法学考虑是评估协议的选择。本研究中的所有结果都是基于5折患者级别的交叉验证,这确保了来自同一患者的图像仅出现在训练或验证折叠中。这种协议产生的性能估计是在所有可能的患者划分上平均的,因此比单一固定划分更能代表真实的泛化能力。众所周知,单一的训练/测试划分可能会产生对所选特定患者分配敏感的估计,特别是在像BreakHis这样的中等大小的数据集上(大约7900张来自82名患者的图像)。特别是,如果较容易或更具代表性的患者恰好落在测试集中,可能会产生过于乐观的性能数字,这些数字不能推广到同一数据的其他划分。这可以解释为什么在早期版本中采用单一固定划分报告的性能估计比在这里使用交叉验证得到的结果要高。交叉验证通过平均多个划分来减轻这种敏感性,因此得到的估计应被认为更可靠、更保守。4.2. 整体性能比较在所有实验设置中,基于CNN的架构始终优于基于VLM的模型。特别是,ResNet34在所有放大倍数下都实现了最高的整体性能,在40×时准确率为0.9879 ± 0.006,AUC为0.9984 ± 0.002,而在其他放大倍数下的准确率范围为0.9698至0.9824,AUC始终高于0.996。在其他CNN基线中,AlexNet在所有放大倍数下的准确率范围约为0.95–0.96,而VGG19的准确性有所波动,在400×时准确率下降到0.9369。这些结果表明,残差架构在表示能力和泛化能力之间提供了更好的平衡,并且基于CNN的模型对放大倍数的变化具有很高的鲁棒性。ResNet34在所有折叠中一致的低方差进一步支持了这一发现的可信度。4.3. 外部评估没有对BACH进行微调。在BreakHis上训练的模型直接在完整的BACH数据集上进行评估,没有任何领域适应,提供了一次性的跨数据集泛化评估。这种设置故意引入了领域差异——这些差异源于两种数据集之间的染色协议、成像条件、扫描仪硬件和组织组成的差异——以测试每个模型家族在训练分布之外的鲁棒性。结果报告在表6中。表6. 使用表现最好的模型在BACH数据集上的测试结果。数值以平均值 ± 标准差报告。4.4.模型比较的统计显著性
为了评估观察到的性能差异是否具有统计意义,使用了Wilcoxon符号秩检验对五个交叉验证折叠分数之间的模型进行成对比较。在代表性的200倍放大倍数下,准确率、F1分数和AUC的p值如表7所示。所有成对差异都具有统计显著性(p < 0.05),这证实了模型的排名反映了真实的性能差异,而不是随机的折叠间变化。具体来说,SmolVLM-FT在准确率上显著优于Qwen2-VL-2B-FT(p = 0.021),而ResNet34在所有指标上仍显著优于这两种VLM方法(p ≤ 0.010),这支持了表4和表5中得出的结论。
表7. 成对统计比较
4.5. VLM性能
在线性探测(LP)下,尽管没有进行领域特定适应,Qwen2-VL-2B和SmolVLM都获得了中等程度的准确率:Qwen2-VL-2B的准确率在各个放大倍数下 ranging from 0.8037 to 0.8581,而SmolVLM的范围是0.8293 to 0.8884。LoRA微调显著提高了两种模型的性能。Qwen2-VL-2B的准确率从LP时的0.8037增加到200倍放大倍数时的0.8736,AUC从0.8844上升到0.9552。SmolVLM-FT在整体上表现最佳,200倍放大倍数时的准确率为0.9453 ± 0.010,F1分数为0.9572 ± 0.010;召回率在所有放大倍数下始终保持较高(0.9495–0.9806)。尽管有这些提升,但没有一种VLM能够在任何放大倍数下达到任何CNN基线的性能。
这些结果表明,即使没有领域适应,通用的视觉-语言表示仍然对组织病理学图像具有部分的可转移性,而LoRA微调有效地缩小了这一差距。鉴于癌症筛查中假阴性预测的严重性,SmolVLM-FT持续的高召回率具有特别的临床相关性。VLM与CNN之间持续的差距在第4.6节和结论部分中进行了讨论。
4.6. 数据增强的效果
与普遍预期相反,数据增强在大多数模型中一致导致性能略有下降。例如,ResNet34在40倍放大倍数下的准确率从0.9879下降到0.9815,所有放大倍数和模型都观察到了类似的趋势。这种退化可以归因于组织病理学图像对增强流程引入的特定类型 distortion 的敏感性。与自然图像不同,H&E染色幻灯片中的诊断线索紧密关联两种不同的信号类型:(i) 颜色和染色模式,这些编码了生化组织属性,并受到亮度、对比度和颜色抖动变换的影响;(ii) 微观结构的空间排列,如腺体结构和核 orientation,它们对包括旋转和调整大小的裁剪在内的几何变换敏感。所应用的流程结合了这两种变换类型,观察到的退化可能反映了这些领域特定线索的联合破坏。
应当注意的是,这项工作中没有进行专门的增强消融研究,因此以下解释是基于整体结果模式的初步解读,而不是实验验证的结论。下面的讨论旨在为未来的研究提出假设,而不是建立因果机制。虽然完整的因子增强消融超出了本研究的范围,但结果模式允许我们推测哪种变换类型更为有害。性能下降在CNN和VLM中都是一致的,并且在低放大倍数(40倍)下也能观察到,此时组织结构占主导地位,颜色线索的区分能力较弱。这表明——尽管还需要控制消融来验证——几何变换,特别是带有比例扰动的随机调整大小裁剪(p = 0.8,比例 ∈[0.9,1.1]),可能是退化的首要驱动因素,因为它们改变了模型已经学会依赖的组织结构的空间规模和组成。基于颜色的变换(亮度和对比度抖动,p = 0.5)相对较轻,不太可能单独解释全部效果,不过在没有隔离每种变换类型的情况下,这种推断仍然未经确认。对于VLM来说,这种影响更为明显,SmolVLM-FT在200倍放大倍数下的准确率从0.9570下降到0.9345。这种放大敏感性与VLM更依赖于通过patch-level attention捕获的全局空间上下文有关,这可能比CNN使用的局部卷积特征更易受到规模和组成扰动的影响。这些发现促使我们开展专门的消融研究,区分基于颜色的变换和几何变换,我们认为这是未来工作的一个重要方向。染色标准化技术——在不破坏组织结构的情况下使颜色外观标准化——也可能比通用的颜色抖动更适合组织病理学增强,在后续研究中应该加以探索。
4.7. 放大倍数的影响
基于CNN的模型在不同放大倍数下保持相对稳定,ResNet34在所有四个设置下的准确率均保持在0.969以上。VLM的性能对放大倍数更敏感,Qwen2-VL-2B和SmolVLM在400倍放大倍数下的准确率明显下降。这种差异敏感性可能反映了特征提取机制的差异。CNN依赖于支持有效多尺度表示学习的局部卷积滤波器,而VLM使用基于全局注意力的视觉编码器,可能不太适合高放大倍数组织病理学图像中高度重复的细粒度纹理。
4.8. 数据集间的泛化(BreakHis → BACH)
在BreakHis上训练的模型直接在BACH数据集上进行了测试,没有进行任何微调。与BreakHis的交叉验证结果相比,这两个模型的性能都有显著下降。ResNet34在BACH上的准确率为0.7825,AUC为0.7824,而SmolVLM的准确率为0.7215,AUC为0.7498。ResNet34在所有报告的指标上都优于SmolVLM。SmolVLM在BACH上的召回率相对高于精确度(0.7591 vs. 0.7327),这种模式在BreakHis上并未观察到。这些结果证实了两个数据集之间存在领域差异,最有可能归因于染色协议、成像硬件和组织组成的不同。SmolVLM在BACH上的召回率与精确度之间的不对称性表明,当输入分布偏离训练领域时,有过度预测恶性类别的倾向,尽管保持了敏感性,但这降低了整体分类的可靠性。
4.9. 局限性和未来方向
三个核心限制界定了本研究的结论,在解释所有结果时应予以考虑。首先,在LoRA微调过程中,VLM视觉编码器始终保持冻结状态。只有语言解码器进行了适应;因此,视觉特征表示仍然是从自然图像-文本预训练中学到的,没有调整到组织病理学领域。这可能是VLM和CNN性能之间仍存在差距的一个重要原因,意味着这里报告的结果代表了LoRA适应的VLM可以达到的最低水平。即使部分调整视觉编码器,也是未来工作的一个重要方向,可能会显著改变比较结果。其次,VLM仅在仅图像模式下进行了评估。在训练或推理过程中没有提供任何形式的文本输入。因此,这些模型的多模态能力——它们结合诊断描述、放大元数据或临床上下文的能力——在本研究中没有得到体现。因此,为VLM报告的性能数字仅反映了它们的部分潜力,不应被视为这些模型在完全多模态环境中所能达到的水平。第三,所有主要结果都来自一个数据集(BreakHis),该数据集来自一个机构。在BACH上的跨数据集评估表明,在分布变化下性能显著下降,这限制了结论的普遍性。在TCGA或CAMELYON等额外多机构数据集上进行验证后,才能对临床适用性做出更广泛的声明。
除了这些核心限制之外,还应注意两个进一步的限制。比较在可训练参数方面是故意不对称的:CNN经过完全微调(21.8M–143.7M参数),而VLM使用LoRA(约5–8M参数),因此结果反映了完全微调的CNN与部分适应的VLM之间的比较,而不是参数匹配的评估。此外,所有实验中的LoRA超参数(r, ??, dropout)都是固定的;对这些选择以及适应哪些注意力层进行系统性的消融可能会进一步提高VLM的性能。
5. 结论
本研究系统且可控地比较了传统的卷积神经网络架构和通过LoRA微调的视觉-语言模型,在BreakHis组织病理学数据集上进行二元乳腺癌分类。实验在四个放大倍数级别(40×、100×、200×、400×)上进行。需要注意的是,比较是有意不对称的:CNN基线经过了完全微调(21.8M–143.7M可训练参数),而VLM通过LoRA进行了适应,视觉编码器保持冻结(约5–8M可训练参数)。因此,下面的结论应被视为在实际资源限制下完全微调的CNN与部分适应的VLM之间的性能对比。
5.1. CNN基线
在评估的CNN架构中,ResNet34表现最强,在所有放大倍数下均获得了最高的整体结果。其在40倍放大倍数下的最佳性能为:准确率0.9879 ± 0.006,精确度0.9860 ± 0.007,召回率0.9935 ± 0.005,F1分数0.9897 ± 0.006,AUC 0.9984 ± 0.002。在其余放大倍数下,性能也保持强劲,准确率在0.9698到0.9824之间,AUC值保持在0.996以上。这些结果证实,即使在中等深度(34层)下,残差架构通过从ImageNet预训练的权重端到端微调后,仍然非常有效地用于组织病理学图像分类。重要的是,ResNet34仅用21.8M参数就实现了这种性能——少于AlexNet(61.1M)或VGG19(143.7M)——这表明架构设计选择(如残差连接和批量规范化)在这个领域的影响大于模型的原始大小。AlexNet和VGG19也表现竞争性,准确率始终在0.93以上,分别在最佳设置下达到了0.9543和0.9684,这证实了基于CNN的方法即使没有领域特定预训练或数据增强,也适用于组织病理学分类。
5.2. 视觉-语言模型
对于VLM,我们在线性探测(LP)和LoRA微调(FT)模式下评估了Qwen2-VL-2B-Instruct和SmolVLM。在线性探测模式下,两个模型的准确率都达到了中等水平,Qwen2-VL-2B的范围是0.8037到0.8581,SmolVLM的范围是0.8293到0.8884,表明通用的视觉-语言表示对显微镜图像仍具有部分的可转移性,尽管自然图像-文本预训练数据与H&E染色组织病理学幻灯片之间存在显著的领域差距。LoRA微调显著提高了两个VLM的性能,验证了参数高效适应在医学成像任务中的有效性。通过LoRA微调的SmolVLM(?? =16, ?? =32, dropout = 0.05)获得了最佳的VLM结果,在200倍放大倍数下的性能最强:准确率0.9453 ± 0.010,精确度0.9505 ± 0.010,召回率0.9640 ± 0.009,F1分数0.9572 ± 0.010,AUC 0.9789 ± 0.005。在40倍放大倍数下,其准确率为0.9408 ± 0.010,而召回率在所有放大倍数下始终保持较高(0.9495–0.9682),鉴于癌症筛查中假阴性预测的严重后果,这一点具有特别的临床相关性。值得注意的是,这些结果是在冻结的视觉编码器和仅约5–8M可训练参数的情况下获得的,而完全微调的CNN基线使用了21.8M–143.7M参数。因此,观察到的CNN和VLM之间的性能差距反映了适配深度的不对称性,不应被解释为CNN普遍优于VLM的证据。更深入的VLM适应——包括视觉编码器的微调——可能会显著减少或消除这种差距。尽管受益于LoRA微调,Qwen2-VL-2B仍然是总体上最弱的模型,其准确率在0.8590到0.8736之间,这表明其遵循指令的架构和2B参数规模可能不适合纯视觉辨别任务。将其自回归语言解码器重新用于二元分类而不是文本生成,可能限制了其预训练表示的实用性。
5.3. 统计分析
使用Wilcoxon符号秩检验对每个模型对在交叉验证中获得的五个每折叠分数进行了统计显著性分析。表7中报告的p值表示在无差异的零假设下,观察到至少与测量差异同样大的差异的概率;低于0.05的值被视为两个模型之间的性能差距不太可能是由于折叠间的随机变化所致。如表7所示,SmolVLM-FT在200倍放大倍数下的准确率、F1分数和AUC方面显著优于Qwen2-VL-2B-FT(p < 0.05)。基于CNN的模型,尤其是ResNet34,在所有指标上均显著优于VLM方法(所有指标的p值均<0.01),这证实了观察到的性能差异反映了模型的真实特性,而非折叠级别的变异性。这些结果表明,尽管经过LoRA适配的VLM在性能上有所提升,但CNN架构仍然在统计上验证了最高的准确性和鲁棒性。
5.4 计算效率
本工作的一个关键实际贡献是证明了大规模VLM可以通过LoRA微调在单个消费级GPU(NVIDIA RTX 4080,16 GB VRAM)上用于组织病理学分类。通过将可训练参数的数量从数十亿减少到不到1000万,LoRA使得无需高性能计算基础设施即可进行VLM微调。SmolVLM需要通过梯度累积来处理内存限制,但通过8个累积步骤实现了有效的批量大小为64,且最终模型质量与原生批量训练相比没有下降。
5.5 局限性
理解本研究的结果有三个核心限制。首先,在整个LoRA微调过程中,视觉编码器保持完全冻结状态,这意味着VLM的视觉表示从未适应组织病理学领域;因此,报告的VLM结果仅代表了可实现性能的下限,关于VLM与CNN相对性能的结论也应据此解读。其次,VLM仅在图像模式下进行评估;它们进行文本指导的推理、整合临床背景以及生成诊断理由的能力未得到测试,报告的数据并未反映模型的多模态潜力。第三,主要结果来自单一机构的数据集(BreakHis);在BACH上观察到的性能下降证实了领域偏移的存在,限制了结论在实验设置之外的通用性。
还有两个额外的局限性。比较在可训练参数方面是有意不对称的(完全微调的CNN参数量为2180万至1.437亿,而LoRA适配的VLM参数量约为500万至800万,且编码器处于冻结状态),因此结果不应被解释为参数匹配的评估。数据增强也导致所有模型的性能略有下降,这表明针对H&E组织病理学的领域感知策略(如染色标准化)可能比这里应用的通用变换更为合适。
5.6 未来方向
基于这些发现,我们确定了未来研究的以下方向:
- 领域特定预训练:在大型组织病理学图像-文本数据集(例如,配对的病理报告和整张切片图像)上进行VLM预训练,然后再进行任务特定的微调,预计可以大幅减少领域差距并提高分类性能。
- 多模态分类:未来的工作应探讨提供文本上下文(如放大级别、染色类型、形态学描述或临床笔记)是否能够提高VLM的分类准确率,从而利用这些模型原有的文本-图像对齐能力。
- LoRA超参数消融:系统研究LoRA的排名r、缩放因子??、丢弃率以及选择哪些注意力层进行适配,可能会进一步提高性能,特别是对于Qwen2-VL-2B,因为其与CNN基线的差距最大。
- 多尺度和放大感知架构:设计能够同时展示多个放大级别的输入管道,或者根据放大元数据来调整模型,可能会在更高放大倍率下提高鲁棒性,在这种放大级别下,CNN和VLM的性能变化更大。
- 多机构验证:在额外的公开可用数据集(如BACH、TCGA或CAMELYON)上评估所提出的模型,将增强其通用性,并更好地反映实际部署条件。
- 整张切片图像集成:通过多实例学习(MIL)将当前的块级分类框架扩展到整张切片(WSI)分析,将使该方法更接近临床工作流程,其中病理学家会检查整个切片而不仅仅是单个区域。
总之,本研究在特定且受限的实验设置下(仅图像输入、冻结的VLM视觉编码器以及单一机构数据集)为比较CNN和VLM方法在乳腺癌组织病理学分类中的应用建立了受控的基准。在此范围内,基于LoRA的微调被证明是一种可行且计算效率高的策略,用于部分适应大型视觉语言模型到医学成像任务。尽管在这些条件下CNN目前表现更好,但结果表明VLM可能具有互补的优势——特别是如果视觉编码器得到适配并且结合了多模态输入——并激发了进一步研究其在计算病理学工作流程中角色的兴趣。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号