《Protection and Control of Modern Power Systems》：Global-Local Feature Fusion Network for Drone-Captured Power Grid Inspection Image Retrieval
编辑推荐：
电网设备和现场作业的巡检日益依赖无人机（UAV）进行图像采集。得益于无人机的高灵活性、低成本和高清成像能力，运维人员能够高效获取大规模电力线路和作业场景图像，从而提升巡检系统的自动化和智能化水平。在此背景下，从大规模图像集中快速准确地检索相关目标已成为基于无人
电网设备和现场作业的巡检日益依赖无人机（UAV）进行图像采集。得益于无人机的高灵活性、低成本和高清成像能力，运维人员能够高效获取大规模电力线路和作业场景图像，从而提升巡检系统的自动化和智能化水平。在此背景下，从大规模图像集中快速准确地检索相关目标已成为基于无人机的巡检系统的关键挑战。为解决现有图像检索方法全局与局部特征提取能力不足的问题，本文提出了一种全局-局部特征融合网络（GLFN），该网络结合卷积神经网络（CNN）和Transformer架构，以提高复杂环境下无人机图像检索性能。所提网络采用双分支架构。CNN分支通过多尺度局部令牌生成（MLTG）模块提取丰富的局部视觉信息，Transformer分支则整合局部信息并建模图像中的全局依赖关系。同时，开发了局部特征融合适配器（LFFA），通过多头注意力机制促进局部表征与全局上下文嵌入之间的交互，同时保留原始Transformer参数。所提方法在多个公开图像检索数据集以及从电力巡检场景采集的私有真实无人机数据集上进行了评估。在电力巡检数据集上，所提方法在32位表征下达到92.8%的平均精度均值（mAP），表明其在有限表征能力下仍能实现准确检索。这些结果表明所提方法在基于无人机的实际电力巡检应用中具有潜力。
**研究背景与问题**
随着移动互联网技术和智能无人机（UAV）的快速发展，多媒体数据的获取与传输在效率和可扩展性方面取得了显著提升。在电力巡检等典型工业场景中，配备高清成像设备的无人机能够采集大量图像数据，显著提高作业自动化水平和效率。然而，高频次巡检往往导致采集图像数据中出现冗余和重复，迫切需要高效的图像检索技术，不仅支持故障识别，还能有效过滤冗余信息。基于内容的图像检索（CBIR）技术因此受到广泛关注，已成为支持智能巡检的重要计算机视觉工具。CBIR旨在从大规模图像语料库中检索视觉相似的实例，在搜索引擎基础设施、电子商务平台、多媒体应用和无人机辅助视觉巡检系统等领域具有广泛适用性。传统手工特征描述符在弥合低层感知属性与高层上下文解释之间的语义鸿沟方面存在局限。当前CBIR方法根据所用骨干网络分为基于卷积神经网络（CNN）的方法和基于Transformer的方法两大类。基于CNN的方法如深度监督哈希（DSH）、GreedyHash和HashNet等虽取得一定进展，但缺乏对全局信息的利用。基于Transformer的方法如TransHash和视觉Transformer哈希（VTS）优先关注全局语义而低估了关键局部线索。原始ViT虽在建模长程依赖方面表现强大，但常忽略局部细节，缺乏局部与全局特征之间的有效交互。CNN擅长建模复杂局部模式，但CNN与Transformer架构的集成在图像检索系统中仍相对未被充分探索。研究人员认为，将CNN特征引入Transformer有助于实现全局与局部特征的融合，在无人机电力巡检图像检索等实际应用中取得更好的检索效果。
**主要关键技术方法**
研究人员提出了全局-局部特征融合网络（GLFN），采用双分支架构：CNN分支默认使用ResNet50作为骨干网络提取多尺度特征，通过多尺度局部令牌生成（MLTG）模块生成局部令牌，该模块包含1×1卷积、GELU激活、3×3卷积和自适应池化；Transformer分支使用ViT-Base作为骨干，通过局部特征融合适配器（LFFA）将CNN局部令牌与ViT各层输出融合，LFFA包含降投影层、基于多头交叉注意力的局部-全局融合模块和升投影层，并采用残差连接。训练时仅MLTG和LFFA可训练，其余参数冻结。实验使用CIFAR-10、Pascal VOC 2012、MIRFLICKR三个公开数据集及自建电力巡检无人机数据集P Data（633张图像，覆盖11个类别，训练集220张、查询集110张、检索库303张）。评价指标为平均精度均值（mAP），哈希码长度设置为32、48和64位。
**研究结果**
**CIFAR-10数据集实验结果**：通过在该数据集上与多种CBIR方法对比，GLFN在32位和64位哈希码下分别达到0.978和0.979的mAP，优于所有对比方法。相对CNN方法HashNet提升0.224，相对Transformer基线VTS在32位下提升0.011，相对MSViT在32位下提升0.05。这表明将CNN提取的失真敏感表征引入ViT框架能显著增强检索效果。
**Pascal VOC数据集实验结果**：通过在该更复杂数据集上评估，GLFN优于现有技术。相对HashNet在32位和64位下分别提升0.078和0.085，相对VTS分别提升0.015和0.007。这表明融合CNN局部特征与Transformer全局特征在更复杂场景中具有优势。
**MIRFLICKR数据集实验结果**：通过在该检索集更大的数据集上评估，GLFN在32位和64位下分别达到0.846和0.864的mAP。相对MSViT分别提升0.022和0.017，相对VTS分别提升0.017和0.022，相对DAGH分别提升0.036和0.038。这证明全局与局部特征在图像检索任务中均不可或缺，且所需训练参数更少。
**P Data电力巡检数据集实验结果**：通过在该无人机实拍数据集上与重新实现的竞争方法对比，GLFN在所有评价指标上均取得最优性能。相对HashNet在32位和64位下分别提升0.042和0.043，相对VTS分别提升0.012和0.002。虽然相对Transformer基线提升幅度较小，但GLFN设计更轻量、参数开销更低，验证了其实际适用性。
**可视化结果**：通过在Pascal VOC 2012和MIRFLICKR数据集上对比精确率-召回率（P-R）曲线及检索样本数对应的召回率和精确率曲线，GLFN均优于其他方法。在P Data上展示前10个检索结果，绝大多数正确匹配，表明该方法能满足无人机电网巡检实际应用需求。
**消融实验**：通过组件分析发现，忽略MLTG或LFFA均导致性能下降，忽略CNN特征同样降低性能，两分支特征融合取得最优结果。通过分析ViT特征使用方式发现，仅使用CLS令牌或仅使用内容令牌均导致性能退化，使用全部令牌可提高泛化能力。通过对比全微调与LFFA发现，LFFA在相当参数规模下取得更优检索性能，能以更少更新参数捕获更具判别性的特征。通过分析不同尺度CNN特征发现，组合所有尺度特征时模型性能最佳，表明包含局部和语义信息的多尺度令牌有效提升检索性能。通过替换不同CNN骨干网络发现，更深的骨干通常提升检索性能，ResNet101进一步将32位和64位mAP提升至0.855和0.869，表明模型能有效利用更强的CNN骨干增强表征能力。
**讨论与结论**
本文提出的GLFN结合CNN和Transformer架构，以提高图像检索的准确性和效率，满足电力巡检中日益普遍的无人机图像采集需求。首先引入MLTG提取图像中的局部信息用于后续特征融合；同时提出局部特征融合适配器，将Transformer提取的特征与MLTG的局部信息相结合，实现图像局部细节与全局上下文信息的融合。实验结果表明，GLFN在多个标准数据集及无人机电力巡检数据集上优于现有主流方法，验证了其在无人机图像智能分析中的应用价值。
