基于合成数据的彩色图像分类中AI模型鲁棒性比较分析：跨架构、跨数据集的离线增强响应研究

《Journal of Imaging》：Robustness of AI Models to Synthetic Data in Color Image Classification: A Comparative Analysis

　　

摘要专业翻译 本研究分析了各类神经网络架构对采用标准几何与光度变换进行离线图像增强的性能响应。研究人员评估了一套复合训练数据富集协议，应用于两个多类别彩色图像分类任务：一个按CEAP系统分类的腿部照片数据集（来源于开源存储库；20,971张图像，七个类别）和一个皮肤病学图像数据集（6,786张图像，八个类别）。为富集初始均衡子集，研究人员将变换后的图像添加到原始数据集中代表性不足的类别中，同时将额外的真实图像添加到其余类别。研究人员研究了十二种架构，包括经典卷积神经网络（CNN）、视觉Transformer（ViT）和一种现代化CNN。在12种架构、11个增强级别和每个配置20次运行的条件下，平均准确率范围为0.55至0.68（腿部照片）和0.59至0.79（皮肤病学图像）。产生最高观测平均准确率的扩展级别因配置而异，描述性最大值出现在0%至100%的级别范围内。对于每个模型-数据集配置，11个级别中的最高平均准确率被视为描述性最大值。各次运行的标准差表征了训练过程的变异性，而标准误则反映了在给定固定测试集条件下均值估计的不确定性。基于Transformer的配置表现出较低的平均运行间标准差；然而，这一趋势依赖于配置和数据集，有待进一步研究。研究人员提出了一种探索性的增强作为有偏方差缩减（ABVR）模型来描述观测到的准确率曲线。其拟合系数和最大化器总结了现有数据，尚未经过独立验证。

论文解读文章

一、研究背景与问题提出

高质量数据是任何有效人工智能系统的基础。人工智能系统的性能在很大程度上取决于所用数据集的特征，包括样本量、数据均衡性、样本多样性、类别数量、偏差存在情况以及数据在研究对象领域的整体代表性。因此，机器学习和深度学习任务中模型性能不佳往往源于源数据不足或质量低下。为应对这些局限，数据增强技术被频繁用于生成合成数据，提供了一种经济有效的方式来扩展数据集并提升模型泛化能力。其基本假设是，对输入进行保持标签的扰动能够扩展数据分布的有效覆盖范围，从而提供额外的学习信号。

尽管数据增强已引起持续的研究关注，但大多数研究聚焦于合成数据对特定架构和任务的影响，很少涉及在规划合成数据实验时出现的设计问题。此类研究的常见发现是，适度使用增强可略微提升预测质量。然而，现有研究结果在不同任务、模型和变换条件下既包含改进也包含小幅退化，表明增强效果取决于具体情境。此外，并非所有数据类型或任务都有适用的增强算法，在某些情况下，合成样本的生成可能扭曲关键特征或改变目标标签，导致模型性能下降。

本研究针对以下实际问题展开：合成数据的最优百分比是多少，超过该比例后性能增益停止或开始下降？合成数据如何影响不同的神经网络架构？类别级指标如何响应原始数据集中代表性不足类别的富集？不同增强策略如何影响模型预测质量？该方法能否可靠地应用于特定类型任务？研究提出三个研究问题：RQ1——观测准确率曲线及其最大值在不同模型-数据集配置间如何变化；RQ2——这些配置间的运行间变异性有何差异；RQ3——原始数据集中代表性不足类别的类别级指标如何变化。

二、研究设计与主要结论

研究人员开展了一项系统的比较研究，评估了十二种预训练神经网络配置在两个数据集上对复合训练数据富集协议的响应。研究采用11个富集级别（0%至100%标称扩展）、12种架构、每个配置20次运行的系统评估方案。主要数据集为20,971张RGB腿部照片，按CEAP系统分为七个临床类别（C0–C6）；复制数据集为经预处理筛选后的6,786张皮肤病学图像，分为八个类别。两个数据集均先通过欠采样至最小类别规模实现类别均衡，然后按80%–20%划分训练-测试集，固定测试集用于所有级别和所有运行。对于原始代表性不足的类别，添加由原始训练图像派生的变换图像；对于其余类别，添加先前未使用的真实图像。

研究得出以下主要结论：观测到的响应既依赖配置也依赖数据集，没有任何单一级别能一致性地改善所有评估模型。平均准确率范围为主数据集0.55至0.68、复制数据集0.59至0.79。基于Transformer的配置在平均运行间标准差方面低于经典CNN配置，但这一趋势具有配置和数据集依赖性。ABVR模型提供了对观测曲线的探索性描述，但其拟合系数和最大化器仅为数据摘要，未经独立验证。研究结果支持对增强设置进行配置特定的评估，而非寻求普遍最优或安全的比例。

三、关键技术与方法

本研究采用的核心技术方法包括：其一，复合数据富集协议，即对原始代表性不足类别添加离线生成的变换图像，同时对其他类别添加额外真实图像，以10%步进从0%递增至100%共11个标称扩展级别；其二，离线图像增强技术，使用Albumentations库实现几何变换（平移、缩放、旋转、随机裁剪、水平翻转）和光度变换（RGB通道偏移、亮度与对比度调整），所有变换旨在保持源图像标签；其三，十二种预训练神经网络架构的迁移学习评估，涵盖经典CNN（ResNet34/50/101、DenseNet161/201、VGG19、Inception、Xception）、Transformer架构（ViT-base-patch16-224、DeiT-base-patch16-224、BEiT-base-patch16-384）和现代化CNN（ConvNeXt）；其四，重复运行统计评估，每个配置训练20次以刻画训练随机性，报告均值、运行间标准差（SD）和标准误（SE=SD/√20）；其五，ABVR探索性响应模型，基于局部二阶展开推导的理想化风险模型，以加权最小二乘拟合三参数经验响应曲线。样本来源方面，主数据集来自开源存储库的腿部照片，复制数据集来自Kaggle皮肤病变数据集（版本1，CC0公共领域许可）。

四、研究结果

架构对合成数据的特定响应。 不同架构对合成图像纳入的敏感性存在显著差异，表明增强策略不能假定在不同模型家族间统一迁移。在主数据集上，BEiT从0%级别的0.65提升至40%级别起的0.68；ViT在100%级别达到0.66；DeiT在80%级别达到0.64；ConvNeXt在80%级别达到0.66。在复制数据集上，多条曲线在较高级别趋于平缓或下降。在10%级别，主数据集上12个模型中有3个准确率提升（VGG19、Xception和DenseNet161：+0.01），复制数据集上12个模型中有5个提升（ResNet34、Xception、ViT、DeiT和BEiT：+0.01至+0.02），其余模型不变或退化。主数据集上的Inception从0.62降至0.59。因此，10%是测试网格内的低扩展候选级别，而非普遍安全的比例。

运行间变异性比较。 评估的Transformer配置在主数据集上的平均运行间准确率标准差为0.0138，经典CNN配置为0.0171；复制数据集上分别为0.0133和0.0195。原始报告的单侧Mann–Whitney p值分别为0.067和0.042，仅后者跨越名义0.05阈值。若将两个数据集级别的检验视为一个家族，进一步Holm校正后各约为0.084。ConvNeXt在主数据集上的平均SD为0.0144，复制数据集上为0.0189，说明数据集依赖性。VGG19在评估配置下表现出相对较高的平均运行间变异性。观测到的运行间变异性与网络深度之间未呈现清晰的单调关系。

ABVR模型的定量解释。 三参数ABVR启发曲线拟合至每个序列的11个测量级别。主数据集上拟合h的中位数为0，复制数据集上为0.191。复制数据集上名义F检验对全部12种架构均拒绝常数模型（Holm校正后12种中10种），报告的中位R2为0.78；主数据集上12种中6种拒绝（校正后12种中1种），中位R2为0.52。拟合的失配系数与平均运行间SD之间的相关性在两个数据集上均弱且不显著（主数据集Spearman ρ=0.22，p=0.49；复制数据集ρ=?0.13，p=0.70）。Xception在主数据集上的未加权R2为?0.03，拟合曲线在该未加权准则下差于样本均值常数。

五、讨论与结论

讨论部分指出，几何和光度变换保留的临床信息差异是数据集依赖性响应的合理解释，但实验未通过独立专家重新评估来量化变换引起的标签变化。拟合最优值（主数据集上大多为100%，复制数据集上范围0%至100%）是对用于拟合的同一曲线的摘要，其与特定观测级别的接近属于样本内一致性，而非预测。低运行间变异性和均值性能对富集的低敏感性是不同的属性，均未被本实验确立为架构家族级特征。聚合性能指标可能无法充分反映富集的类别特定效应，不应单独用于确立临床实用性。

研究结论表明：观测响应既依赖配置也依赖数据集，没有任何单一级别能一致改善所有评估模型，支持配置特定的增强设置评估，而非普遍最优或安全比例。测试集最大值是描述性的，原始的选择后对比显著性计数不应被视为确认性证据。运行间变异性应与均值性能的不确定性分开报告，架构比较应结合批大小、分辨率、预训练和训练预算差异进行解释。ABVR提供了对观测曲线的探索性描述，而非独立验证的生物学或优化机制证据。均衡池设计并未直接检验增强是否能纠正稀有类别不平衡，需要与类别加权损失、普通过采样、在线增强和全类别增强进行专门比较。皮肤病学复制并非CEAP模型的外部患者级别验证，临床部署或公平性声明需要源不相交评估、文档化的患者级别独立性和人口统计学亚组分析。