基于边缘引导的特征融合用于输电线路的实时红外实例分割

《Neurocomputing》：Edge-guided feature fusion for real-time infrared instance segmentation of power transmission lines

　　

Zhuoliang Yang|Yi Sun|Bin Sun|Junyi Tao|Tianfu Gong|Chao Yuan

湖南大学电气与信息工程学院，中国长沙，410082

摘要

随着智能电网的快速发展，基于无人机的红外检测已成为输电线路维护的重要工具。然而，输电线路组件的红外图像往往存在分辨率低、对比度低、强度不均匀、热噪声以及物体边界模糊等问题。这些缺陷使得现有的基于YOLO的实例分割模型难以在复杂的热背景中区分物体轮廓，从而导致掩码模糊、边界泄漏以及细节丢失。为解决这些问题，我们提出了一种用于红外输电线路图像的实时实例分割框架——边缘引导特征融合YOLO（EGF-YOLO）。具体而言，我们设计了梯度语义耦合交互模块（GSCM），通过语义门控的梯度交互增强与物体相关的边界响应，同时抑制红外伪边缘。此外，我们还引入了边缘增强任务对齐动态头（ETADH），通过回归对齐的特征生成掩码系数，从而提升定位与掩码预测之间的几何一致性。另外，我们采用轻量级的P2特征注入机制，在有限的计算开销下恢复精细的空间细节。在大规模的CSG-IRIns数据集上的实验表明，EGF-YOLO的AP值达到81.81%，mBIoU值为85.46%，不仅优于现有的基于YOLO的实时方法以及非YOLO基线方法，还能保持高效的推理速度。

引言

输电线路是电力系统中的关键基础设施，其可靠运行对于稳定的电力供应至关重要。在长期使用过程中，绝缘子、电缆终端等输电线路组件会遭受强烈的太阳辐射、酸雨和结冰等恶劣户外环境的影响，这会加速绝缘材料的老化，并引发局部温度异常，从而对系统安全构成重大威胁[1]。

深度神经网络的最新进展显著提升了视觉识别性能，推动了输电线路自动化检测系统的发展[2]、[3]、[4]、[5]。这类系统在处理高质量可见光图像中的裂缝和老化等缺陷方面表现良好。然而，红外检测图像往往存在空间分辨率低、对比度低、强度不均匀、热噪声以及物体边界模糊等问题[6]、[7]、[8]、[9]、[10]。而在基于无人机的红外检测中，由于成像质量和机载计算资源都受到限制，这些问题更为突出。

实例分割旨在同时实现物体分类、定位以及像素级掩码预测，从而提供比传统检测方法更精确的结构信息[11]。在输电线路的红外检测中，准确的实例掩码有助于确定温度测量区域，为后续的过热诊断提供支持。不过，现有的大多数实例分割方法都是针对自然图像开发的，应用在分辨率低、对比度低的输电线路组件红外图像上时效果不佳。

其主要挑战可总结为以下几点：i）强度不均匀与热噪声：非均匀的辐射、背景干扰以及传感器噪声会掩盖精细的结构细节，产生伪边缘响应；ii）边界模糊：较弱的边缘响应会阻碍准确勾勒轮廓，尤其是对于绝缘子、套管和电缆终端等结构较为复杂的组件；iii）效率与精度之间的平衡：在严格的实时性要求下，对于计算资源有限的无人机平台来说，实现准确的掩码预测仍然是一项挑战。

现有研究从不同角度尝试解决这些问题。一些方法通过边界感知损失函数和边缘增强策略来重点处理复杂的轮廓区域[12]、[13]、[14]、[15]、[16]，而另一些方法则通过活动轮廓法和水平集方法来显式建模红外图像或复杂图像中的强度不均匀、噪声以及弱边界问题[7]、[8]、[9]、[17]、[18]。不过，这些方法大多属于迭代型或基于区域的算法，且并非专为实时实例分割而设计。超分辨率和高分辨率特征融合策略虽然能够提升空间细节的保留程度[19]、[20]、[21]、[22]，但往往会增加计算成本或依赖于高分辨率数据。

基于YOLO的实例分割模型提供了一种高效的单阶段解决方案，非常适合在无人机上部署。然而，当直接应用于红外热图像时，它们存在一些常见缺陷：低分辨率的初始掩码可能会使物体边界模糊，以检测结果为导向生成的掩码系数可能与物体轮廓的几何结构不对齐，而含噪的浅层特征则可能引入由背景引起的错误响应。这些缺陷表明，仅仅比较不同的YOLO变体是不够的，还需要针对红外图像中边界模糊的特点重新设计特征交互和掩码预测流程。

为解决这些问题，我们提出了一种实时实例分割框架——边缘引导特征融合YOLO（EGF-YOLO）。该框架并未将边缘增强、任务对齐和高分辨率融合视为独立的组件，而是将它们整合到一个面向红外图像的逐步分割流程中。具体而言，GSCM通过语义门控的梯度交互来抑制红外伪边缘，P2特征注入机制则能提供轻量级的高分辨率空间细节，而ETADH则通过回归对齐的特征生成掩码系数，从而提升定位与掩码预测之间的几何一致性。如图1所示，热图可视化结果进一步表明，GSCM能够将注意力从无关的背景区域转移到目标区域。

本文的主要贡献如下：

• •
  我们提出了EGF-YOLO，这是一种针对红外输电线路图像的边缘引导型实时实例分割框架，专门用于处理边界模糊、对比度低以及空间细节不足的问题。
• •
  我们设计了GSCM，这是一种语义门控的梯度交互模块，能够增强与物体相关的边界响应，同时抑制由背景辐射和强度不均匀引起的红外伪边缘。
• •
  我们开发了ETADH，它将任务对齐的预测功能从框定位扩展到掩码系数生成，通过让掩码预测依赖于回归对齐的特征，提升了实例掩码的几何一致性。
• •
  我们引入了一种轻量级的P2特征注入机制，能够在有限的计算开销下恢复精细的空间细节，从而改善基于无人机的红外检测的精度与效率之间的平衡。

我们在自建的CSG-IRIns红外实例分割数据集上进行了大量实验，该数据集包含了在复杂背景和不同温度条件下的各类输电线路组件。与现有的基于YOLO和非YOLO的实例分割模型相比，所提出的方法在精度与效率之间取得了更好的平衡。尤其是在保持轻量级推理的同时，提升了掩码级和边界级的性能，非常适合用于基于无人机的输电线路红外检测。实验结果如图2所示。

章节节选

实时实例分割与基于原型的掩码

在计算成本和推理延迟是主要约束条件的边缘设备应用中，实时实例分割显得尤为重要。常见的方法包括YOLACT [23]、SOLO [24]、SparseInst [25]、YOLACTEdge [26]、OrienMask [27]和CenterMask [28]。基于YOLO的框架也被扩展用于实例分割，由于其出色的精度与效率平衡，在工业应用中被广泛采用[29]。

基于原型的掩码生成是一种常见的策略

方法

输电线路组件的红外实例分割与自然图像的实例分割在三个方面存在差异。首先，热扩散和较低的成像分辨率会削弱物体边界，使得基于原型的掩码容易出现边界泄漏问题。其次，浅层特征虽然包含精细的空间细节，但极易受到热噪声和背景辐射的影响，而深层特征虽然具有更强的语义信息，却会丢失边界细节。第三，以检测为导向的

数据集描述

本研究使用的数据集是在中国南方电网的支持下构建的，专门用于中大型输电组件（如绝缘子和电缆终端）的实例分割，以支持后续的过热检测工作。该数据集被称为CSG-IRIns，包含了CSG数据集[19]中的所有与绝缘子相关的样本，其中共有4073张绝缘子的红外图像，以及13,629个标注数据

结论

在本文中，我们提出了EGF-YOLO，这是一种用于输电线路组件红外图像实时实例分割的边缘引导特征融合框架。为了解决基于无人机的红外检测中存在的边界模糊、强度不均匀以及计算资源有限等问题，EGF-YOLO整合了GSCM用于语义门控的梯度交互，ETADH用于基于回归对齐的特征的掩码系数预测，同时还采用了轻量级的P2特征注入机制来恢复精细的空间细节。在

CRediT作者贡献说明

Zhuoliang Yang：撰写——初稿、方法论、概念设计。Yi Sun：撰写——审阅与编辑、形式分析、数据整理。Bin Sun：软件开发、研究调查、资金筹集。Junyi Tao：可视化处理、监督指导。Tianfu Gong：验证工作。Chao Yuan：监督指导、资源协调、研究调查、资金筹集、形式分析。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Zhuoliang Yang于2024年获得辽宁工程技术大学的工学学士学位，目前在中国长沙的湖南大学电气与信息工程学院攻读硕士学位。他的研究兴趣包括深度学习以及计算机视觉在智能电网中的应用。