物理信息数据合成与用于多类别水下大坝损伤图像增强的注意力感知 GAN

《Engineering Structures》：Physics-informed data synthesis and an attention-aware GAN for multi-class underwater dam damage image enhancement

　　

摘要

获取混凝土大坝损伤的高保真图像受到复杂水下环境的严重制约，非均匀光照、色差和模糊等退化现象降低了自动检测的有效性。为克服这些限制，本研究提出了UDEGAN，一种专门针对水下大坝图像增强的新型生成对抗网络框架。具体而言，UDEGAN集成了基于U-Net的编码器-解码器生成器，并采用基于简化水下光学退化机制的物理信息配对数据合成策略，以实现高性能的有监督训练。综合实验表明，UDEGAN显著优于最先进的增强算法，其SSIM、PSNR和UIQM值分别为0.835、21.271和3.311。此外，该模型在真实场景中展现出优越的泛化能力，并证明对下游检测任务有益。因此，UDEGAN为恢复水下图像质量提供了稳健的解决方案，为准确和稳定的自动化损伤评估奠定了坚实基础。

引言

表面损伤，包括裂缝、渗漏和剥落，对结构完整性构成重大风险，在极端情况下可能危及大坝的整体安全[1]。因此，及时可靠的损伤检测对于确保混凝土大坝的安全运行和生命周期管理至关重要[[2]，[3]，[4]]。传统上，定期人工检查一直是损伤识别的主要方法。然而，目视检查受到严重限制[[5]，[6]，[7]]，具体包括：(1)效率低且缺乏实时反馈；(2)操作不灵活；(3)人工成本高昂；(4)暴露于危险工作环境；(5)检测结果主观且不一致。

近年来，大坝损伤检测的先进技术得到了广泛研究。特别是，基于计算机视觉的方法因其成本效益高、便携性强和降低操作风险而成为主流解决方案[8]。多项研究专注于表面检查：Zhao等[9,10]将无人机（UAV）图像与3D重建相结合来建模大坝表面，而Huang等[5]提出了一种改进的Faster R-CNN（更快的基于区域的卷积神经网络）来自动识别无人机和地面摄像头捕获图像中的损伤。此外，Huang等[11]提出了一种智能检测系统，利用无人机实时识别混凝土大坝的多种损伤类型。值得注意的是，关于水下检查方面，Kang等[12]通过将深度学习与ROV（遥控潜水器）相结合，开发了一种用于检测水下大坝损伤的智能系统。

然而，水下损伤检测相比其陆地对应方法面临更大的挑战。人类潜水员受生理限制，其操作深度约为60米，且易受水下水流影响，从而产生重大安全隐患[12,13]。为减轻这些风险和限制，基于ROV和计算机视觉的检查方法得到了广泛采用。通过在水下结构附近机动，ROV可以捕获高分辨率图像，从而通过先进的计算机视觉和深度学习算法促进自动化损伤检测。

在实际应用中，为保持基于计算机视觉的自动化水下大坝损伤检测方法的有效性，高保真图像是前提条件，并在下游深度学习模型的性能中发挥关键作用。然而，复杂的水下环境导致严重的图像退化，其特征为非均匀光照、颜色失真和模糊，这些在陆地图像中较少出现。如图1所示，主导的绿色色调和低对比度掩盖了关键的损伤边界，从而增加了特征提取的难度并降低了后续检测任务的准确性[12,14]。水下图像严重退化的原因是光在水中传播受到吸收和散射的限制，这损害了视觉清晰度。具体而言，由于选择性光谱吸收，较长波长（红光）迅速衰减，而较短波长持续存在。这种现象导致图像具有明显的蓝绿色调，在更深处色差失真变得越来越严重[15,16]。此外，悬浮颗粒物散射环境光产生幕光（后散射），这大幅降低了对比度并产生明显的雾效[17]。因此，为减轻这些退化效应，研究工作应专注于能够校正颜色失真、去雾和增强结构细节的算法[18,19]。开发专门针对水下大坝损伤场景的稳健增强算法至关重要。

水下图像增强方法已被广泛研究，一般从基于物理模型和非物理模型的方法演变到最近的深度学习范式[20]。基于物理模型的方法通常尝试通过数学公式化水下光学成像模型——经典由Jaffe和McGlamery建立[21,22]——来逆转退化过程以恢复清晰场景[23,24]。虽然理论上合理，但这些方法在复杂水域条件下往往面临准确参数估计的挑战。相反，非物理方法，如直方图均衡化（HE）[25]、基于图像融合的方法[26]、Retinex理论[27]和多尺度融合算法[28]，直接操纵像素强度来提高对比度和校正颜色偏差[29,30]。虽然计算效率高，但它们可能无意中引入噪声或伪影。近年来，基于深度学习的方法因其稳健的特征表示能力而获得 prominence。开创性工作如WaterGAN [31]和UGAN [32]利用生成对抗网络（GANs）合成数据集进行数据驱动恢复，而后续贡献如Water-Net [33]和统一的UICE2-Net [34]进一步标准化了基准并集成了多颜色空间特征以实现最先进的性能。大多数现有的水下图像增强方法使用一般海洋图像进行开发和评估，包括自然物体、潜水员、珊瑚礁和开阔水域场景。虽然海洋和水库环境具有由波长依赖性吸收和粒子散射引起的相同基本退化机制，但水下大坝检查呈现独特的特定应用条件。大坝检查通常在水库、消能池、取水结构和输水隧洞等近距离进行，其中沉积物积聚和ROV引起的再悬浮可能产生局部和空间变化的浑浊度。此外，通常需要使用人造点光源，导致强烈的光照不均匀、局部反射、阴影和后散射。观察的场景也由单调的混凝土表面和微妙的结构损伤主导，而非视觉上多样化的自然物体。因此，水下大坝检查的增强方法不仅必须校正颜色和提高对比度，还必须保留精细的损伤相关特征，如狭窄裂缝、剥落边界和钢筋外露纹理。然而，专门针对这些需求的研究仍然有限。

近年来，一些努力已致力于水下基础设施图像增强。最终目标是通过恢复纹理细节和抑制噪声来弥合水下图像与陆地图像之间的视觉差距。例如，Fan等[15]专注于提高泛化能力，而Ma等[35]设计了一个将增强与检测集成的流程。虽然一定程度上有效，但传统的基于像素级调整的方法往往缺乏复杂大坝表面所需的稳健性。相反，基于深度学习的方法已成为优越的替代方案。Chen等[36]针对水下裂缝优化了CycleGAN，Cao等[37]提出了一种同时进行颜色和亮度校正的多任务框架。同样，Teng等[38]探索了用于裂缝增强和检测的无监督学习。然而，一个关键限制仍然存在：混凝土大坝损伤表现为多种形态（例如剥落、钢筋外露、裂缝），但大多数现有研究主要关注单一损伤类别。因此，开发能够同时处理多种损伤类型的统一增强模型是至关重要的。此外，水下图像增强模型的研究基于配对数据集，这在真实水库环境中很难获得。

为克服这些限制，本文提出了UDEGAN（水下大坝图像增强GAN），一种专门针对水下混凝土大坝损伤增强设计的新型生成对抗网络。UDEGAN框架具有一个针对结构保持优化的基于U-Net的编码器-解码器生成器。关键的是，为减轻数据稀缺的挑战，我们提出了一种混合配对数据集生成策略，将无监督图像翻译与物理光学衰减模型相结合。该策略为有监督训练建立了稳健的数据基础。最后，所提出的模型在真实水库大坝数据集上进行验证，以证明其在增强和下游检测任务中的有效性。本研究的主要贡献总结如下：

1. 开发了用于水下大坝损伤增强的物理信息配对数据合成策略。通过将无监督风格翻译与简化光学退化算子相结合，该方法构建了一个真实配对数据难以获得的领域中的空间对齐退化/清晰图像对。

2. 建立了一个名为UDEGAN的损伤导向增强框架，集成了注意力引导的特征细化和梯度保持优化。该框架专门设计用于在颜色失真、非均匀光照和模糊条件下保留精细裂缝连续性、剥落边界和钢筋外露纹理。

3. 所提出的方法在多种损伤类别上进行了评估，并进一步使用真实水库图像、特征匹配和下游损伤检测进行检验，提供了其在合成配对测试图像之外适用性的证据。

本文其余部分组织如下。第2节回顾了水下光学的理论背景以及水库环境中的相关水下成像挑战。第3节介绍了所提出的增强框架。第4节详细介绍了实验设计，包括数据集构建和评估指标。第5节呈现了比较结果、特征匹配性能和实际工程验证。最后，第6节总结了本研究。

水库环境下水下光学成像原理与挑战

与开放海洋环境不同，水库大坝检查环境可能由于悬浮粒子、沉积物积聚和ROV引起的扰动而表现出高且空间变化的浑浊度，这严重损害了成像质量。本节概述了水下光传播的基本原理，并考察了阻碍混凝土大坝损伤准确检测的水库中特定光学挑战。

水下损伤图像增强方法

本节介绍了为水下大坝检查提出的图像增强框架。如图5所示，该方法论结构化为三个核心阶段：(1)配对水下损伤数据集的构建；(2)增强网络（UDEGAN）的训练和优化；(3)实际部署以验证模型的工程适用性。每个阶段的具体实现在后续小节中详细介绍。

(1)配对水下数据集的生成

数据集准备

使用所提出的配对数据合成方法构建了一个水下大坝损伤配对图像增强数据集，称为UDDPD。源图像来自作者通过使用DJI M300 RTK无人机和佳能EOS 80D相机对辽宁省多座混凝土重力坝进行实地检查所建立的混凝土大坝损伤档案。检查区域包括大坝表面、溢洪道、闸门墩和检查廊道。图像从正面、侧面等角度捕获。

结果与讨论

为全面评估所提出的UDEGAN在水下损伤图像增强方面的有效性，该模型首先利用第4节中详述的配对数据集UDDPD进行训练和优化。这一严格的训练过程旨在确保网络在性能评估前收敛到最优状态。

实验评估组织如下：首先，在测试集上评估UDEGAN的内在增强性能。通过特征

结论

本研究开发了UDEGAN，一种用于水下混凝土大坝检查的损伤导向图像增强框架，以解决颜色失真、非均匀光照、模糊和低对比度问题，同时保留精细损伤结构。还开发了一种物理信息配对数据合成策略以缓解水下大坝损伤配对图像的稀缺。主要结论总结如下：

(1)开发了一个结合无监督图像翻译与物理光学衰减模型的配对数据合成框架。

CRediT作者贡献声明

Ben Huang：撰写-审阅与编辑，撰写-原稿，可视化，验证，监督，软件，方法论，调查，形式分析，数据管理，概念化。Fei Kang：撰写-审阅与编辑，撰写-原稿，验证，监督，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理。Sizeng Zhao：撰写-审阅与编辑，撰写-原稿，验证，监督，

利益冲突声明

本稿件的提交不存在利益冲突，且稿件已获所有作者批准发表。我想声明所描述的工作是原创研究，之前未发表，且未在其他地方接受审查。我们声明我们与其他人或组织之间不存在可能不当影响我们工作的财务和个人关系，不存在任何专业或其他个人利益。

致谢

本工作由中国国家重点研发计划（2022YFB4703404）、中国国家自然科学基金（52079022，51979027，52609220，52609210）、广西重点技术研发计划（桂科AB24010003）、中央高校基本科研业务费（DUT21TD106）资助。

Ben Huang | Fei Kang | Sizeng Zhao | Junjie Li

河海大学苏州高等研究院，苏州，215004，中国