基于StyleGAN的合成图像增强技术，用于多类别耳镜图像分类

《Scientific Reports》：StyleGAN-based synthetic image augmentation for multi-class otoscopy image classification

　　

摘要

准确诊断耳膜异常对于有效管理各种耳部疾病至关重要。耳镜检查是一种非侵入性诊断方法，可以详细观察耳道和耳膜，以识别中耳炎、鼓膜穿孔等病理情况。尽管技术有所进步，但由于光线变化、运动模糊以及多种异常情况的存在，对耳镜图像进行分类仍然具有挑战性，尤其是由于标记数据集有限和评估方法的主观性。准确诊断的一个主要障碍是缺乏客观的评估方法，例如利用机器学习技术来将图像分类为正常或异常。此外，在处理耳镜视频时，传统方法需要大量的人工经验来选择具有代表性的帧进行分析。本研究探讨了使用StyleGAN3进行人工图像增强以提高耳镜图像分类准确性的效果。研究使用了包含人工和合成耳镜图像的增强数据集来训练和验证ResNet-101模型。总共使用了816张人工图像和816张合成图像（250张渗出性病变、340张正常图像、113张穿孔图像和113张鼓膜硬化图像），以及80,685张经典增强图像（24,651张渗出性病变、33,660张正常图像、11,187张穿孔图像和11,187张鼓膜硬化图像）。结果表明，整合StyleGAN3生成的合成图像显著提高了分类性能。我们的方法平均测试准确率为0.95±0.03，F1分数为0.96±0.02，超过了传统增强方法的效果，这代表了一个较为理想的情况。相比之下，如果不进行任何增强处理，准确率和F1分数分别为0.82±0.03和0.78±0.02；而使用经典增强方法后，准确率和F1分数分别为0.87±0.02和0.85±0.02。这些发现凸显了基于GAN的增强技术在提升耳膜图像分类系统及解决诊断准确性问题方面的潜力。