基于视角和属性的自监督条件GAN用于少样本螺栓缺陷图像生成与分类

《IEEE Transactions on Power Delivery》：Perspective and Attribute-Based Self-Supervised Conditional GAN for Few-Shot Bolt Defect Image Generation and Classification

针对输电线螺栓缺陷样本稀缺问题，提出基于对比语言图像预训练的视角自动分类方法，结合视角与属性条件引导的生成器，引入残差跳层激励增强梯度流，设计Shape-crop技术优化T型螺栓特征提取，实验验证该方法能有效生成高质量缺陷图像并提升分类准确率。

　　

摘要：

输电线路中螺栓缺陷样本的稀缺性给分类和检测任务带来了重大挑战。为了解决这一问题，本文提出了一种基于视角和属性的自监督条件生成对抗网络（Perspective and Attribute-based Self-supervised Conditional Generative Adversarial Network），旨在提升少量样本螺栓缺陷图像的生成能力。首先，提出了一种基于对比语言-图像预训练（Contrastive Language-Image Pre-training）的标签生成方法，用于自动划分螺栓的视角，从而自动为螺栓数据集分配视角标签，以解决视觉差异的问题。其次，在生成器中引入了视角和属性信息作为条件指导，以提高生成的可控性；同时提出了残差跳层激励（Residual Skip-Layer Excitation）机制来增强梯度信息流动。最后，设计了U-Net自监督重建判别器（U-Net Self-supervised Reconstruction Discriminator），并专门为T形螺栓开发了一种名为“Shape-crop”的局部裁剪技术，从而提升了螺栓的特征提取能力和纹理细节生成能力。我们构建了一个包含少量样本的螺栓缺陷数据集，并在其上进行了实验。实验结果表明，本文提出的方法能够生成高质量的螺栓缺陷图像，有助于提高螺栓缺陷分类的准确性，验证了该方法的有效性。