基于迁移学习的结直肠癌组织学数据增强策略样本量估计研究

《Bioengineering》：Sample Size Estimation of Data Augmentation Strategies in Colorectal Cancer Histology via Transfer Learning

　　

基于深度学习对结直肠癌组织学图像进行微卫星不稳定性（MSI）状态分类，在训练数据有限时可能面临挑战。为进行探索性研究，本研究考察了传统数据增强策略，量化其在结直肠癌组织学图像迁移学习中对样本量需求和分类准确率的影响。本研究基于逆幂律（inverse power law）曲线拟合的样本量估计方法，分析了多种常规增强策略，包括亮度调整、旋转、噪声添加及混合增强。为生成学习曲线，研究实施了外部K折交叉验证循环，涵盖从10到200个图像块的多种不同样本量。此外，研究采用了三种流行的深度神经网络（DenseNet121、InceptionV3和MobileNetV2），并结合三种模型迁移方法：使用原始网络（'ori'）、微调最后几层（'ft'）以及添加额外卷积层（'add'）。曲线拟合后，研究人员生成了汇总图和相应的差值图以评估数据增强策略。基于本研究的探索发现，即使结合传统数据增强，简单的模型迁移方法（如'ori'和'ft1'）在数据有限的应用场景中仍然具有优势。总体而言，并非所有模型迁移方法与数据增强策略的组合都能保证性能提升。此外，数据增强策略的选择依赖于实际应用场景，尤其是数据集规模。在拟合的n0.95值处于极小样本范围（约20–30个原始图像块）的配置中，混合全包含配置经常表现出有利的权衡；而在拟合样本需求约为50–100个图像块的配置中，旋转增强同样表现出良好性能。

论文解读

一、研究背景与意义

在人工智能快速发展的背景下，深度学习算法已广泛用于医学图像分析领域，包括磁共振图像归一化、肝癌剂量预测、内镜图像分析、视网膜疾病诊断及组织病理学图像分类等。然而，深度学习模型通常需要海量数据支撑训练，而医学领域收集大规模样本存在实际困难。为此，迁移学习（transfer learning）通过复用不同领域获得的知识，使模型在数据相对有限的情况下仍能获得令人满意的性能，已成为生物医学领域应对数据稀缺的常用工具。

与此同时，数据增强（data augmentation）是另一种应对数据稀缺的常用技术，通过人工扩展现有数据集来缓解训练数据不足的问题。传统数据增强策略包括亮度调整、旋转和噪声添加等。近年来，基于生成式AI的数据增强方法（如GAN和扩散模型）引发了热烈讨论，但这些方法通常需要大量训练数据和计算资源，在样本受限的生物医学场景中实用性受限。MixUp和CutMix等现代低成本增强策略虽然简单有效，但在组织病理学图像中可能生成解剖学上不合理的混合图像，引入标签噪声并产生偏离真实数据分布的样本。因此，本研究聚焦于传统、低成本且保持形态学结构的数据增强策略（亮度调整、旋转和高斯噪声添加），以实现可控且可重复的比较。

本研究旨在回答一个关键问题：在数据有限的场景下，传统数据增强策略如何影响迁移学习模型的性能与样本量需求之间的权衡？此前已有研究表明，复杂模型迁移方法（'add'）在数据充足时通常优于简单方法（'ori'和'ft'），但在小数据集上简单迁移方法往往更具优势。然而，加入数据增强后的影响仍有待进一步评估。本研究作为此前迁移学习与样本量估计研究的受控扩展，将数据增强作为新的主要实验因素，系统评估其对拟合性能（95%c）和估计原始图像需求量（n_0.95）的影响。

二、主要关键技术方法

本研究使用了结直肠癌数据集（包含微卫星不稳定或超突变（MSIMUT）和微卫星稳定（MSS）两类H&E染色组织学图像，图像尺寸为244×244，3个颜色通道）。研究采用了三种预训练于ImageNet的迁移学习网络：DenseNet121、InceptionV3和MobileNetV2。对于每种网络，研究比较了7种模型迁移方法：使用原始网络（'ori'）、微调最后1、2或3个卷积层（'ft1'、'ft2'、'ft3'）、添加1、2或3个卷积层（'add1'、'add2'、'add3'）。样本量N设定为10至200之间的16个取值，每个样本量下随机抽取10个类别均衡的样本子集，采用10折外部交叉验证。数据增强在训练子集上实施，验证子集不进行增强。模型使用Adam优化器（学习率0.001）、二元交叉熵损失、批大小64、训练100轮。学习曲线采用逆幂律进行拟合，得到两个关键量：95%c（估计渐近性能）和n_0.95（达到95%c所需原始图像块数）。

三、研究结果

3.1 拟合学习曲线

研究通过逆幂律拟合生成各方法的学习曲线。以DenseNet121（'ori'）为例，混合增强使其c值从0.9171提升至0.9230，n_0.95从37降至16，显示出性能与样本量之间的有利权衡。总体而言，增强效果具有配置依赖性，不同骨干网络、迁移方法和策略下c和n_0.95的变化各异。简单迁移设置（'ori'和'ft'）对亮度、旋转或混合增强更常表现出有利响应，而高斯噪声的益处不够一致。在评估的小数据范围内，简单迁移方法比'add3'等复杂设置更可靠。变异性分析显示，平衡准确率的标准差中位数从N=10时的0.174降至N=100–200时的约0.036，确认了极小样本范围内存在较大变异性，应谨慎解读为探索性结果。

3.2 基于样本的成本与效率比较

研究通过计算n_0.95/95%c（每准确率所需样本数）和95%c/n_0.95（每样本获得的准确率）两个样本基指数进行热图可视化。成本热图显示，无增强和旋转策略通常具有较高的训练样本成本，复杂迁移方法（如'ft3'、'add2'和'add3'）也倾向于显示更高的样本成本，支持了数据有限时简单配置更具实用优势的结论。效率热图显示，噪声添加和混合增强策略在DenseNet121和MobileNetV2上表现出最高的训练样本效率，简单迁移方法通常具有相对较高的效率，而复杂迁移方法效率较低。

3.3 散点图分析

曲线拟合汇总图显示，DenseNet121整体表现良好，尤其在旋转增强策略下。对于DenseNet121（'ori'）、（'ft1'）和（'ft2'）配合旋转增强，仅需约50张图像即可达到约0.91的平衡准确率。简单迁移方法在三种网络和所有增强策略下均表现稳定：DenseNet121的95%c值在0.85–0.88附近波动，InceptionV3在0.80–0.85之间，MobileNetV2约为0.85–0.87，且其n_0.95值大多低于200甚至100。相比之下，复杂迁移方法（如'add2'和'add3'）的95%c和n_0.95值波动更大，稳定性较差。在不同增强策略方面，亮度调整通常优于无增强，旋转增强在多数情况下达到更高的95%c值，高斯噪声整体不太有利但有时能在保持相似95%c值的同时降低拟合样本需求。混合增强在拟合n_0.95值处于极小样本范围（约20–30个原始图像块）的配置中表现良好，而旋转增强在拟合n_0.95约为50–100个图像块的配置中更具竞争力。直接观测分析支持了这一趋势：在N=20时混合增强的平均平衡准确率最高（0.8517），在N=90和N=100时旋转增强最高（0.8996和0.9055）。缩减预算敏感性分析显示，将混合增强的每原始图像增强数量从30降至10并未系统性降低性能，表明混合增强的有利结果不能仅归因于更大的增强数据量。

3.4 象限分析

差值图以各网络的'ori'无增强配置为参考点，将平面划分为四个象限。象限II（更高最终性能且更少所需图像）是最有利区域，象限IV（更低性能且更多所需图像）最不理想。分析显示，不同数据增强策略在不同迁移学习网络上表现各异，性能与样本量之间的权衡非常普遍，不存在普遍最优的数据增强策略。混合全包含配置在评估矩阵中表现出许多有利的象限II点且无象限IV点。将简单迁移方法（如'ori'和'ft1'）与亮度调整或旋转增强结合，也可在DenseNet121或InceptionV3上获得满意的象限II结果。噪声配置的有利结果较少。总体而言，在数据有限条件下，简单迁移方法在增强条件下比复杂方法更可靠。

3.5 跨模态一致性检验

为检验选定定性发现是否超出主要组织学数据集，研究使用包含正常、肺炎和结核病三个类别的胸部X射线图像数据集进行了探索性跨模态一致性检验。结果显示，无增强条件在三种骨干网络上通常产生较低的平衡准确率，而混合增强在'ori'、'ft'或'add1'等较简单迁移设置的许多配置中显示较高值。但这一趋势并非一致：'add3'等复杂设置可能表现较低，混合增强并非在所有配置中都占优。该二次实验仅作为配置级一致性检验，而非跨模态广泛优越性的证据。

四、讨论与结论

本研究探讨了数据有限场景下数据增强策略对MSI/MSS结直肠癌组织学图像块分类的影响。主要发现包括：并非每种模型迁移方法与数据增强策略的组合都能带来性能提升；在数据有限条件下，简单迁移学习方法（如'ori'和'ft'）即使结合数据增强仍是最可靠的选择；复杂方法（如'add'）在更大数据集上具有更高性能潜力，但在数据稀缺条件下可靠性较低。研究识别出关键权衡：数据增强可以降低所需数据集规模但略微降低拟合性能，或在需要更多数据的同时提升性能，或在选定配置中同时改善两个维度。增强效果取决于增强方法、迁移配置和数据范围，而非遵循普遍规则。

本研究存在以下局限：第一，数据增强幅度基于先前文献和定性观察选择启发式参数范围，而非穷尽调优；第二，处理后的数据集中缺乏患者标识符，主要分析在图像块层面进行，无法建立患者独立的临床性能；第三，混合配置使用比单一策略更大的增强训练量，缩减预算敏感性分析虽表明增强数据量并非唯一解释因素，但无法分离因果多样性效应；第四，研究聚焦于传统ImageNet预训练迁移学习CNN，视觉变换器（ViT）、病理预训练编码器、自监督表示和基础模型不在当前范围内；第五，拟合的c和n_0.95是比较性描述点估计而非正式推断估计，n_0.95超过N=200的值为基于模型的外推，不应解读为字面样本需求。

研究结论指出，数据增强可以实质性地改变MSI/MSS结直肠癌组织学图像块分类中性能与样本量之间的权衡，尤其是在最多200张图像的数据有限场景中。95%c和n_0.95两个量允许研究人员在统一框架内比较拟合性能和原始图像需求，识别具有有利权衡的配置。这些量应被解读为当前实验方案下研究层面、基于图像块层面的规划描述符，而非患者层面的临床样本量处方或部署就绪的证据。虽然定量结论限于所评估的ImageNet预训练迁移学习CNN，但该分析框架本身原则上与架构无关，可应用于未来的ViT、病理预训练模型、自监督编码器及其他新兴表示的研究中。