基于多模态和多层次小波技术的电力设备语义分割，用于无人机检测

《Pattern Recognition》：Semantic segmentation of power equipment guided by multi-modal and multi-level wavelet for UAV inspections

　　赵建华|刘若韵|安德宇|朱成|林邦江|方莉|叶大鹏|罗志聪
中国科学院海西研究院泉州装备制造研究所，中国泉州362000

**摘要**
鉴于电力系统在现代基础设施中的关键作用，研究并应用其中的航空图像语义分割具有重大价值。然而，数据集的稀缺性阻碍了这一领域的全面研究。为了克服这一限制，我们利用AirSim仿真生成了多种电力设备的航空图像。该数据集包括电力线路、路灯、交通信号灯和其他电力设施。此外，众所周知，来自不同模态的信息可以相互补充。例如，结合深度信息可以增强视觉模型的空间感知能力，帮助无人机（UAV）更有效地检查电力设备。基于上述数据集，我们提出了一种RGB-D语义分割方法——M3WaveGNet，用于实时检查航空电力设备。首先，通过多级小波变换利用多分辨率分析的优势，在每个网络层次提供详细信息，确保高层次语义与低层次细节之间的有效映射。此外，我们引入了基于状态空间模型的阶段级特征交换（SFE）和多模态融合模块（MmFM），它们负责局部和全局特征提取，增强了多模态特征之间的交互能力。广泛实验证实了深度信息在提高语义分割准确性方面的有效性。与单模态算法相比，我们提出的方法在mIoU上提高了25%以上。在多模态算法中，我们的方法在速度和准确性之间表现出色。

**引言**
使用无人机（UAV）检查电力设备已成为一种重要的技术策略。近年来，由于图像传感器的成本较低，RGB图像被广泛用于UAV的航空电力线路感知。然而，所有现有的电力设备数据集都存在某些缺陷。如图1和表1所示，大型数据集分辨率较低且注释质量较差；而小型数据集分辨率较高，但仅包含RGB单一模态，导致来自单一模态的信息不足。总体而言，这些数据集面临一个共同挑战，即前景像素（如电力线路）的比例过低。电力线路常常被复杂的背景遮挡，使得感知变得困难。这种现象已被广泛观察到，并存在几种常见的解决方案。

电力线路检测技术大致可以分为两类：传统方法和基于深度学习的方法。传统方法将电力线路检测视为直线检测问题，采用诸如霍夫变换[1]、拉东变换[2]和线段检测器（LSD）[3]等技术。然而，这些方法在准确性方面经常面临挑战，因为它们需要针对不同场景进行手动调整，并且难以考虑重力等因素引起的电力线路自然弯曲。这些限制使得传统方法不适合自主无人机检查。另一方面，深度学习方法可以自动从图像中学习和提取特征。虽然深度学习利用多尺度技术和预处理方法（如图像裁剪和缩放）来增强电力线路的可见性，但这些方法并未从根本上解决根本问题。此外，深度学习方法需要大量的硬件资源和大型数据集，这可能会造成实施障碍。

随着领域的发展，整合传统方法和深度学习的优势对于推进基于无人机的电力设备检查至关重要。所提出的方法在深度学习网络的早期阶段应用小波变换，将图像分解为高频和低频成分。高频成分代表图像边缘和纹理，而低频成分反映原始图像的近似值，包含冗余的背景信息。通过利用高频成分指导低频成分，可以获得背景干扰较小的特征图。这种方法不仅增强了前景像素的激活效果，还最小化了冗余背景数据的影响。因此，模型识别和定位前景元素的能力显著提高，有效解决了前景像素比例低的问题。

前述方法仅依赖RGB图像进行电力线路检测，其性能已达到上限。随着无人机现在配备了多种传感器，通过多模态方法优化电力设备检查是一个有前景的方向。结合深度信息可以弥补RGB数据的局限性并提高检测准确性。虽然多模态融合在室内环境中通过增强空间感知和分割性能而得到验证[8]，但其在外部无人机场景中的应用仍较少。RGB-D融合通过利用两种模态的互补信息来增强基于无人机的电力设备检查。深度数据提供三维空间信息，有助于区分电力线路和背景杂乱，并减轻视角失真。RGB图像受光照条件影响较大；相比之下，深度数据保持稳定，从而实现更可靠的检测。此外，深度信息还能细化物体边界，减少误报并提高分割准确性。尽管有这些优势，但在无人机场景中仍存在一些挑战，包括传感器同步、高效融合策略以及户外数据集的标注工作量大等问题。解决这些问题将充分发挥RGB-D融合的潜力，实现更可靠的基于无人机的检查。

本研究提出了一套有效的解决方案来应对这些挑战。图2展示了所提出的网络结构，包括多模态和多级小波特征融合编码器（M3 WFFE，见第3.2节）和多模态融合模块（MmFM，见第3.3节）。首先，我们根据RGB信息和深度信息的不同特性设计了M3WFFE（见第3.4节），采用不同的处理策略来最佳利用两种数据类型的优势。RGB图像具有丰富的色彩、纹理和亮度，提供了场景的详细视觉表示。由于RGB图像的复杂性和多样性，RGB分支需要更强的特征提取能力，因此在其分支中使用更多的卷积层以确保捕捉到丰富的细节。另一方面，深度信息通常较为简单，反映了场景的几何结构，这允许使用更简单或更轻量级的网络架构来处理深度数据。其次，通过多级小波变换利用多分辨率分析的优势，显著简化了电力线路等细节的检测。在这种方法中，编码器的每个阶段都整合了来自相应分辨率的小波变换的特征图，并将它们与前一阶段的特征图融合，以实现多分辨率融合。随后，RGB图像的多级小波分解指导深度分支，而深度小波分解指导RGB分支。这种使用小波变换的分解和指导技术利用了每种模态的独特优势，增强了模型合并多模态特征的能力。RGB图像的多级小波分解丰富了纹理和颜色细节，而深度图像的小波分解提供了精确的空间和形状信息。这种双向特征指导有力地提高了模型识别和分析复杂场景的能力。接下来，受Mamba[9]的启发，我们提出了一种基于状态空间的多模态全局信息交互模块。编码器阶段由小波引导进行局部特征交互，但缺乏全局特征交互。因此，我们设计了MmFM来利用不同模态的全局信息，通过交叉引导获得融合的全局信息。状态空间模型具有全局感受野和线性计算复杂性。借助这一优势，我们引入了多模态状态空间模型（MMS6）进行多模态空间信息的融合。在MMS6之后，使用全局上下文块（GCB）促进全局通道信息融合。最后，我们使用AirSim[10]仿真平台进行无人机仿真，并收集多模态数据，称为AirSim电力系统数据集（APSD）。在包含电力设备的四个场景中收集了超过4000帧数据，并将数据分为训练集、验证集和测试集。语义类别包括电力线路、电力杆、路灯和交通信号灯。此外，数据还包括全景注释，以便进行全类别语义分割，研究人员可以根据需要进行相关数据集转换。经过广泛实验，本文提出的方法在评估测试集上表现优异，实现了准确性和速度之间的新平衡。

**总结**
本文在以下几个方面做出了贡献：
1. 我们创建了一个户外无人机RGB-D语义分割数据集APSD，包含来自AirSim环境的四个场景，包含超过4000帧关于电力设备的图像。该数据集将公开提供。
2. 我们提出了一种轻量级的RGB-D语义分割算法M3WaveGNet，基于多模态和多级小波特征融合编码器。此外，我们引入了一种涉及阶段级多模态特征交换的局部特征融合方法和基于状态空间的多模态融合模块进行全局特征融合。据我们所知，我们是第一个提出多输入单输出状态空间模型并将其应用于无人机RGB-D语义分割任务的。
3. 我们提出了一种评估指标IoU-Fscore，该指标受到F-score的启发，用于定量评估mIoU和FPS之间的平衡。通过广泛实验，我们的方法在APSD上实现了实时性能和准确性之间的新型平衡。

**章节摘录**
**航空图像电力线路检测**
近年来，开发了许多从航空图像中提取电力线路的传统技术。Chen等人[11]提出了一种改进的拉东变换（CRT），用于从卫星图像中提取电力线路等弱线性特征。尽管它对噪声具有鲁棒性并且适用于离线提取，但不适用于实时在线检测任务。Cao等人[2]提出了一种基于对称偏导数分布的新型电力线路识别方法。

**概述**
本文介绍了一种针对无人机检查航空电力设备的新型实时RGB-D语义分割方法。与CMX和DFormer等现有框架不同，所提出的方法在编码阶段利用多级小波变换来增强多尺度特征交互，从而通过卷积建立各种模态之间的局部相关性。与CMX和DFormer相比，特征融合通常是...

**Airsim电力系统数据集**
为了评估我们提出的RGB-D语义分割算法，我们首先使用AirSim[10]仿真器构建了一个名为APSD（AirSim电力系统数据集）的数据集。然后，我们对APSD进行了一系列消融实验和比较研究，以证明所提方法的有效性。

**结论**
在这项研究中，我们提出了M3WaveGNet，这是一种专为无人机电力系统检查设计的感知算法。首先，我们利用AirSim仿真工具收集、清理和处理各种场景的数据，创建了一个名为APSD的数据集，其中包含超过4000帧模拟的无人机电力系统数据。其次，我们应用多级小波变换来提高效率并减少冗余。然后，我们使用无参数的阶段级特征交换进行跨模态...

**作者贡献声明**
赵建华：撰写——审稿与编辑、撰写——原始草稿、验证、监督、项目管理、方法论、调查、资金获取、数据管理、概念化。
刘若韵：撰写——审稿与编辑、验证、资源管理、方法论、调查、形式分析、数据管理、概念化。
安德宇：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**
本研究部分得到了福州-厦门泉州国家独立创新示范区合作创新项目（编号2023FX0002）和福建省科技计划STS项目（编号2024T3102）的支持。