一种基于Wasserstein生成对抗网络的用于光面混凝土表面缺陷的图像扩展方法

《Engineering Applications of Artificial Intelligence》：An image expansion method based on Wasserstein generative adversarial network for surface defects of fair-faced concrete

　　徐一东|张佳鼎|卢东明|李世通|李强|余小牛中国宁波315100，宁波科技学院土木工程学院摘要为解决公平面混凝土表面缺陷检测中因训练数据不足导致的深度学习模型泛化能力差的问题，本文提出了一种基于自注意力机制的Wasserstein生成对抗网络-梯度惩罚（SAWGAN-GP）图像增强方法。通过将自注意力机制引入生成对抗网络框架，提升了模型捕捉全局图像结构及长距离特征的能力，体现了注意力机制在生成式人工智能领域的创新应用。SAWGAN-GP通过Wasserstein距离优化分布差异度量，利用梯度惩罚稳定训练过程，有效解决了传统GAN在小样本场景下的模式崩溃和梯度不稳定问题。实验结果表明，SAWGAN-GP的Fréchet Inception距离为140.25，优于WGAN（682.07）、SAWGAN（307.08）和WGAN-GP（152.52）。其生成器损失波动幅度为16.06，较基准模型降低了39.4%，表明训练稳定性有所提升。使用生成的图像训练DarkNet-53分类器后，孔洞和腐蚀缺陷的识别准确率分别提高了8.89%和2.04%，验证了合成数据的有效性。这些生成数据提升了下游视觉识别性能，证明了生成式人工智能在解决工业视觉小样本问题中的实用价值与泛化能力。本研究为基于生成式人工智能的缺陷数据增强及跨任务迁移提供了可复用的技术解决方案，拓展了带注意力增强功能的GAN在专业人工智能视觉检测领域的应用前景。引言随着建筑行业的快速发展，作为重要建筑材料的公平面混凝土因其自然简洁的外观以及较高的结构强度而被广泛使用。然而，普通混凝土的表面缺陷（如裂缝、孔洞、剥落等）往往会影响建筑的美观性和耐久性。因此，及时准确地检测和修复这些缺陷已成为建筑质量控制的重要任务。传统的缺陷检测方法大多依赖人工检查，效率低下且易受人为因素干扰，无法满足现代建筑大规模、高效检测的需求。近年来，随着人工智能技术的快速发展，基于深度学习的自动化缺陷检测方法逐渐兴起。深度学习在图像识别和分类任务中展现出强大能力，能够从大量数据中学习有用特征，从而提高缺陷检测的准确性。不过，深度学习模型的准确性在很大程度上依赖于大量高质量标注的数据集。在实际应用中，缺陷图像的收集往往受到时间、成本和现场条件的限制，导致训练数据集规模不足且类型单一。这一问题会严重影响模型的泛化能力和识别精度，因为当数据集不足时，深度学习模型无法充分学习缺陷图像的多样性，从而导致模型性能不稳定。尤其是在公平面混凝土缺陷检测任务中，由于某些类型缺陷的图像样本稀缺，深度学习模型容易出现过拟合或泛化能力差的问题，无法有效识别各类缺陷。为缓解数据稀缺的问题，人们开发了数据增强技术。传统的数据增强方法主要包括单样本增强和多样本增强。单样本数据增强通过旋转、翻转、缩放、平移、裁剪、变形等操作改变单个图像的外观、角度、大小或视角，并添加噪声以提高数据多样性。多样本数据增强方法，如Mixup（Thulasidasan等人，2019年）和Mosaic（Yu等人，2021年），则是通过混合多个样本的特征来生成新的合成样本。然而，这些传统方法本质上只是对现有数据的变换或组合，难以从根本上解决小样本和样本不平衡问题，因为生成的样本在多样性和真实性方面仍存在局限。相比之下，生成对抗网络（GANs）（Goodfellow等人，2020年）作为一种强大的无监督生成模型，能够学习数据的底层分布，通过生成器和判别器的对抗训练生成高度逼真的新样本。与传统增强方法相比，GANs能够生成更多样化且更真实的图像，有效扩充数据集，从而显著提升模型的泛化能力，尤其是在样本稀缺或类别不平衡的情况下。这一优势已在多个领域得到验证。在农业领域，GANs被广泛用于作物病害检测。Li等人（2024年）通过改进的深度卷积生成对抗网络（DCGAN）模型，成功利用GANs对样本量较小的玉米病害图像进行了数据增强，大幅提升了病害检测的准确性。此外，Xu等人（2024年）将GANs技术与深度卷积神经网络相结合，为叶片识别任务生成了大量合成叶片图像，进一步扩充了数据集，提升了模型在不同季节和环境下的识别性能。Han等人（2024年）提出了基于改进DCGAN的甜樱桃数据增强方法。通过引入多尺度残差块和CBAM注意力机制，他们生成了高质量的甜樱桃缺陷图像，有效解决了数据不平衡问题，提升了甜樱桃分类模型的准确性。另外，Jordan等人（Bird等人，2022年）对用于水果图像生成的CGAN模型进行了剪枝优化。在工业缺陷检测领域，Zhao等人（2024年）提出了一种基于GANs的工件图像数据增强方法。通过自注意力机制和改进的残差网络，他们生成了高质量的工件缺陷图像，解决了传统GANs生成图像时存在的模糊和不真实问题。Wang等人（2024年）提出了一种名为辅助分类器谱归一化的GANs方法，用于增强输送带表面损伤样本的特征数据库。为避免DCGAN可能出现的崩溃现象，Liu等人（2024年）引入了焦点损失置信函数参与训练过程，有效解决了检测模型精确度和召回率之间的不平衡问题。Bu等人（2024年）整合了条件变分自编码器（DCCVAE）、辅助条件Wasserstein GANs以及基于DCNN的梯度惩罚机制，逐步生成了多种船舶涂层的缺陷图像，解决了因数据不平衡导致的过拟合问题。近年来，GANs在建筑结构表面缺陷检测与生成领域逐渐展现出潜力，相关研究的发展路径一般为从基础架构应用，到条件信息引导，再到特定机制优化。Deng等人（2024年）在GANs中加入了新的DG2对抗损失函数，提升了混凝土裂缝图像生成的质量。Li和Zhao（2023年）提出了一种基于条件GANs的高分辨率混凝土损伤图像合成方法，所合成的图像具有极高的真实性。值得注意的是，目前关于混凝土缺陷图像生成的GANs研究仍相对较少。Qin等人（2021年）使用DCGAN生成了与隧道衬砌的GPR（地面穿透雷达）图像相似的样本，并将其加入训练集，该方法使刚性肋、空衬砌以及初始衬砌厚度的识别准确率提升了2%-4%，证明了DCGAN生成GPR图像的可行性。Que等人（2023年）利用改进的DCGAN扩展了路面各种明显病害图像的生成，有效提升了分类网络的识别精度。此外，在具体结构方面，Nguyen等人（2017年）提出了D2GAN，用于解决缺陷图像生成过程中的多样性问题。他们在判别器中融入了多样性奖励机制，通过区分生成特征与真实特征来鼓励生成不同类型的图像。Liu等人（2021年）提出了双判别器Wasserstein生成对抗网络（D2WGAN），该网络利用KL散度和逆KL散度来优化生成模型，以生成丰富多样的样本。Zhang等人（2021年）开发了Defect GAN，通过在编码和解码过程中引入噪声来生成多种缺陷图像。不过，这类生成的缺陷图像可能包含完全不可感知或不必要的样本。另外，Niu等人（2020年）提出了表面缺陷生成对抗网络（SDGAN），在网络架构中增加了判别器，以便生成不同的特征。Hao等人（2021年）构建了改进的DCGAN模型，该模型引入了双时间尺度的更新规则，取消了生成器的归一化操作，并使用判别器来检测输送带表面缺陷。Guo等人（2022年）开发了MCC-CycleGAN模型，利用公共钢材数据集和规模有限的输送带数据集来扩充数据集，实现非配对图像到图像的转换，从而提升缺陷检测的准确性。Du等人（2022年）提出了一种结合变分自编码器（VAE）和ACGAN的数据增强算法，用于扩大二维心电图（ECG）图像数据集的规模，进而提高少数类数据的检测灵敏度。Shao等人（2019年）在ACGAN框架下，以一维卷积神经网络（1DCNN）作为生成器和判别器的构建模块。此外，Zhang等人（2019a）将自注意力机制与DCGAN相结合，并在生成器中采用谱归一化方法，形成了自注意力深度卷积生成对抗网络（SAGAN），该网络能够显著提升生成图像的细节特征，有助于模型更快收敛。GANs在建筑结构表面缺陷检测与生成领域逐渐展现出潜力，相关研究的发展路径一般为从基础架构应用，到条件信息引导，再到特定机制优化。为更清晰地呈现该领域的研究进展，表1总结了相关关键研究及其核心方法、应用对象和局限性。为详细解决多缺陷生成时的细节保真度问题、训练稳定性问题，以及因训练数据不足导致的公平面混凝土表面缺陷检测中深度学习模型泛化能力差的问题，本文提出了一种基于SAWGAN-GP（带梯度惩罚的自注意力Wasserstein GANs）的公平面混凝土表面缺陷图像样本扩充方法。作为强大的数据增强技术，GANs可以通过生成器和判别器的博弈训练生成与真实样本相似的图像，从而扩充数据集，克服数据不平衡和样本不足的问题。具体而言，SAWGAN-GP结合了自注意力机制、Wasserstein GANs以及梯度惩罚技术，能够生成高质量的缺陷图像，提升训练数据集的多样性和代表性，进而改善训练效果，提高深度学习模型的检测精度。片段理论基础WGAN（Wasserstein生成对抗网络）是由Arjovsky等人（2017年）为解决传统GANs在训练过程中出现的不稳定性和模式崩溃问题而开发的。在传统GANs中，损失函数依赖JS（Jensen-Shannon散度）等传统散度技术来衡量生成数据分布与真实数据分布之间的差异。然而，这种设计往往会导致梯度消失现象，当实验数据集与配置实验所需的数据集是通过无人机采集的。采集地点包括两座已投入使用的公共建筑以及三座正在建设的发电厂。这两座公共建筑分别是宁波市昆仑阁和院士中心景观走廊，而三座发电厂则分别是温州市的中国资源电力温州发电厂、台州市的台州第二发电厂以及宁波市的海浙能源发电厂。图5损失值对比本研究在SAWGAN-GP中引入自注意力模块和残差模块的设计，是基于对混凝土缺陷图像特征的考量。自注意力机制使得网络在生成裂缝和腐蚀等长结构缺陷时，能够更好地建模像素间的长距离依赖关系；而残差模块则有助于解决深度网络中的梯度消失问题，有利于模型的恢复与结论为解决公平面混凝土表面缺陷检测中因训练数据稀缺导致的模型泛化能力不足问题，本文提出了一种基于自注意力机制和梯度惩罚的Wasserstein生成对抗网络（SAWGAN-GP）图像增强方法。通过系统的实验和多维度评估，得出以下结论：(1)SAWGAN-GP显著提升了图像CRediT作者贡献声明的质量与多样性。徐一东：撰写——初稿、方法论、研究、资金获取、正式分析。张嘉鼎：撰写——初稿、研究、正式分析。陆东明：撰写——审阅与编辑、资源、方法论、研究、正式分析。李世通：撰写——审阅与编辑、资源、研究。李强：撰写——初稿、研究。于小牛：撰写——审阅与编辑、撰写——初稿、资源、研究、正式分析。利益冲突声明作者声明不存在任何可能影响本文所报告工作的已知财务利益或个人关系。致谢本研究得到了国家自然科学基金（项目编号52478281）、宁波公益研究项目（项目编号2024S077、2023S007）、宁波重点研发计划（项目编号2024Z287）、宁波建筑研究项目（项目编号2024-19、2024-23）以及东南大学启动研究基金（项目编号4012002501）的资助。