基于受限、不平衡及非公开面部图像优化迁移学习用于痤疮严重度分级的系统性实验研究

《Cosmetics》：Systematic Optimization of Transfer Learning for Acne Severity Classification Using Restricted, Imbalanced and Non-Public Facial Images: An Experimental Study

　　

摘要：寻常痤疮（Acne vulgaris）是一种常见的炎症性皮肤病，准确的严重度评估对其有效管理至关重要。为实现更客观、可重复的严重度评估，研究人员开发了一种基于优化的迁移学习卷积神经网络（Convolutional Neural Network, CNN）框架，利用受限、不平衡、非公开的面部图像数据集进行面部痤疮严重度三级分类。研究共收集442张自然光条件下的正面面部图像，由认证皮肤科医师采用研究者总体评估（Investigator's Global Assessment, IGA）量表分级并归为三个等级。研究人员系统探究了模型架构选择、超参数调优、优化器对比、交叉验证，以及通过随机过采样（Random Oversampling, ROS）、合成少数类过采样技术（Synthetic Minority Over-sampling Technique, SMOTE）和生成对抗网络（Generative Adversarial Network, GAN）处理类别不平衡。五折交叉验证实验支持模型性能在不同数据划分下的可靠性，准确率达0.51。重采样方法整体收益有限，但部分方法改变了各类别的预测模式。为进一步考察模型行为，研究人员使用梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）可视化，定性展示对预测有贡献的面部区域。尽管受限于数据集规模和多样性，所提出框架显示了自动化痤疮严重度评估的探索可行性。该流程并非立即可部署的临床工具，而是需更大规模、更多样化数据集进一步验证的初步基线框架，尤其需解决痤疮严重度类别间细微视觉差异问题。

论文解读：基于受限、不平衡及非公开面部图像优化迁移学习用于痤疮严重度分级的系统性实验研究

该论文发表于《Cosmetics》期刊，针对寻常痤疮（Acne vulgaris）严重度主观评估存在不一致性的问题，探讨利用深度学习实现客观自动化分级的可行性。现有深度学习痤疮分级研究多聚焦特定模型设计或性能提升，对模型架构选择、超参数设置与类别不平衡处理的综合影响探讨不足；且真实世界痤疮数据集通常样本量小、严重度分布不均，影响模型评估可靠性。为此，研究人员以参与者自行提交的真实条件下面部图像为对象，构建并系统优化基于ImageNet预训练权重的卷积神经网络（Convolutional Neural Network, CNN）迁移学习框架，比较不同CNN架构（ResNet18、ResNet50、GoogLeNet、InceptionV3）、超参数组合、优化算法（Stochastic Gradient Descent with Momentum [Sgdm]、Root Mean Square Propagation [RMSprop]、Adaptive Moment Estimation [Adam]），采用五折交叉验证评估稳健性，并对比随机过采样（Random Oversampling, ROS）、合成少数类过采样技术（Synthetic Minority Over-sampling Technique, SMOTE）及基于生成对抗网络（Generative Adversarial Network, GAN）——具体为循环一致性生成对抗网络（Cycle-Consistent Generative Adversarial Network, CycleGAN）——的类别不平衡处理效果，最后引入梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）作可解释性分析。研究得出ResNet50配合Adam优化器表现最优，重采样方法未显著提升整体性能，最终测试准确率约0.51，框架可作为受限小样本下面部痤疮自动分级的探索性基线。

主要关键技术方法：

研究人员采集524名参与者智能手机拍摄的正面及侧位面部图像（分辨率约1538×2051像素），经质控保留442张正面面部图像。由一名认证皮肤科医师按IGA（Investigator's Global Assessment）量表标注，排除无痤疮Grade 0（n=82），将Grade 3与Grade 4合并为中度—重度，最终形成三类：非炎性（n=106）、轻度（n=141）、中度—重度（n=195）。预处理阶段采用基于CelebAMask-HQ预训练U-Net的面部解析（face parsing）分割保留皮肤区并掩蔽背景及非相关区域（眼部已掩蔽），图像缩放至224×224×3。按8:2分层划分为训练集（354张）与独立测试集（88张），训练集再分训练子集（283张）与验证子集（71张）用于早停与超参调优。训练集施加旋转（?30°~30°）、平移、缩放（0.8–1.2）及水平翻转的数据增强；类别不平衡实验中对训练子集分别做ROS、SMOTE（k=5）及CycleGAN生成合成图像（512×512输入，ResNet-based生成器，70×70 PatchGAN判别器，Least Squares对抗损失+循环一致性损失λ_cyc=5.0+恒等损失λ_id=0.25，Adam训练300 epoch，按最低Kernel Inception Distance选最优检查点），过采样目标每类155/300/500张，验证与测试集保持不变以防数据泄漏。迁移学习以预训练CNN为基网，追加全局平均池化、全连接层及softmax输出三分类，用交叉熵损失训练。评估指标含混淆矩阵、准确率（accuracy）、精确率（precision）、召回率（recall）、F1值、特异度（specificity，加权宏平均），辅以McNemar检验（Holm–Bonferroni校正α=0.05）比较基线模型与重采样模型。Grad-CAM热图定性分析模型关注区域。

3.1. 基模型超参数配置（Part 1 Stage I & II）

研究人员以ResNet18原始图像为基线验证准确率0.54、测试准确率仅0.28，泛化差；经面部解析预处理后测试准确率升至0.37，各类别指标改善，中度—重度类别F1从0.34升至0.50。系统比较四种CNN架构及多组学习率、批大小、epoch数后发现ResNet50表现最优（验证与测试准确率均为0.52，宏平均精确率0.52、召回率0.46、F1值0.43、特异度0.74），其中中度—重度类召回达0.85、F1值0.68，但轻度类召回仍低（0.12）。选定ResNet50、学习率0.001、批大小128为基础配置。

3.2. 优化算法对比（Part 1 Stage III）

研究人员在相同最优配置下对比Sgdm、RMSprop与Adam。Sgdm与RMSprop测试准确率均为0.41，宏平均精确率/召回率/F1值为0.41；Adam取得最高测试准确率0.52，宏平均精确率0.52、召回率0.46、F1值0.43、特异度0.73，中度—重度类召回0.84、F1值0.68，故选用Adam为后续实验优化器。

3.3. 交叉验证性能（Part 2 Stage I）

研究人员对训练集实施五折交叉验证，所得性能与单一划分下Adam训练结果相当，表明模型性能不依赖单次划分，在受限数据条件下具一定可靠性与稳定性。

3.4. 类别不平衡数据重采样效果（Part 2 Stage II）

研究人员在基础模型上分别应用ROS、SMOTE及CycleGAN过采样至每类155/300/500样本。结果表明重采样未明显优于五折交叉验证基线；ROS随过采样量增加测试准确率下降，SMOTE在每类300样本时测试准确率最高但未均衡提升轻度类，CycleGAN每类300样本时整体性能接近基线但改变类间预测分布（Class 1与Class 3略升、Class 2降）；过采样至每类500样本普遍降低性能。统计上McNemar检验（Holm–Bonferroni校正）显示各重采样模型与基线无显著差异（p＞0.05），证实单纯重采样未能显著改善该数据集下痤疮严重度分类。

3.5. 统计检验

配对McNemar确切检验及Holm–Bonferroni校正结果显示ROS、SMOTE及GAN重采样模型与基线模型预测差异无统计学意义，支持重采样未带来实质性性能提升之结论。

3.6. 基于Grad-CAM的可解释性分析

研究人员对测试集图像生成Grad-CAM热图，显示模型关注区域大致对应可见痤疮皮损皮肤区——非炎性类激活弥散局限，轻度类呈局部激活，中度—重度类激活较广泛。部分激活亦出现在口唇及口周，额外掩蔽唇部区域并未提升分类性能，提示从小样本面部图像中学习痤疮特异性视觉特征本身存在困难。

讨论与结论总结：

讨论部分指出面部解析预处理提升了特征一致性与泛化能力；ResNet50优于浅层及其他架构，Adam自适应学习率机制利于不平衡数据；五折交叉验证佐证模型稳定性；重采样增益有限可能因小样本合成未增加临床有意义的视觉多样性，过高过采样致过拟合；整体约0.51的测试准确率反映真实条件下痤疮级别间（尤相邻级别）视觉边界模糊及光照、肤色、姿态等干扰因素使图像级CNN难充分区分。该框架尚不能作为自主诊断工具，仅为受限不平衡非公开数据条件下迁移学习、重采样及可解释性分析的探索性基准，未来需更大样本、多族群（含Fitzpatrick I–VI型）、多视角图像、皮损级标注及多阅片者共识标注加以验证，并可探索皮损注意力机制以提升解释性。

结论部分译文：本研究基于受限、不平衡及非公开真实世界面部图像评估了用于痤疮严重度分级的迁移学习框架，结果提示数据受限条件下自动化面部痤疮分级具探索可行性，但当前性能尚不足以支持自主临床决策。对预处理、模型架构、优化器选择及验证策略的系统评估为模型性能提供了更结构化考量；然而基于重采样的类别不平衡处理收益有限且未明显提升分类性能。结果表明除类别不平衡外，数据集规模小、严重度级别间细微视觉差异及真实面部图像变异性均可能影响模型表现。未来研究应在考虑临床部署前，利用更大规模更多样化数据集、多视角面部图像、皮损级标注及临床评价对该框架作进一步验证。