用于电力设备巡检的大语言模型引导双寻址记忆与非非线性子空间投影约束

《ADVANCED ENGINEERING INFORMATICS》：Large language model-guided dual-addressing memory and nonlinear subspace projection constraints for electric power equipment inspection

　　

摘要

电力设备巡检长期以来是保障电网安全稳定运行的重要组成部分。电力设备巡检涉及多种巡检目标。近年来，将无人机（UAV）或机器人平台与基于深度学习的检测模型相结合的巡检方法得到了广泛研究。然而，现有大多数方法针对每个目标类别构建独立模型，这不仅降低了设备巡检的整体效率，还增加了模型部署和维护的成本。尽管现有方法也探索了针对不同巡检类别的统一异常检测，但其性能仍可能受到各类别复杂度和跨类别多样性的限制。为解决这一问题，本研究提出了一种结合大语言模型引导的双地址记忆（LLMG-DMem）模块和非线性子空间投影约束（NSPC）的卷积自编码器框架，用于电力设备巡检中的多类别异常检测（MAD），命名为LN-CAE。具体而言，NSPC利用核主成分分析（KPCA）将潜在特征分解为主成分、中间成分和残差成分。然后，基于统一流形近似与投影（UMAP）的结构约束，端到端训练三个非线性投影网络（NPN）。这些约束鼓励投影表示学习对应KPCA成分的局部邻域结构。随后，各子空间中的投影特征由独立的LLMG-DMem模块处理，该模块包含基于内积和基于空间邻近度的记忆模块。利用大语言模型（LLM）对从正常训练样本中提取的深层语义特征进行聚类，构建原型正常模式。这些原型用于初始化记忆条目，以重建正常特征。在公开数据集上的实验结果表明，LN-CAE相较于最先进方法具有竞争性表现。

引言

电力设备巡检通过识别设备缺陷和潜在风险，在保障电力系统安全稳定运行方面发挥着重要作用。随着人工智能（AI）的快速发展，基于深度学习和计算机视觉的智能视觉巡检方法已被广泛采用，以减少对传统人工巡检的依赖[1]、[2]。如图1所示，电力设备图像可通过不同的巡检平台采集，包括无人机、手持相机、巡检车和机器人。同时，被检设备中可能存在各种异常状况，如部件断裂、异物和部件缺失。

在电力设备巡检中，异常检测（AD）是一种重要技术，用于识别与正常模式存在细微差异的缺陷（异常）区域[3]、[4]、[5]。在电力设备安装和运行过程中，受外部环境、机械效应和长期运行的影响，可能会出现各种异常或缺陷。这些缺陷通常分布在小范围局部区域内，且与正常区域的视觉差异可能较为细微。在实际巡检场景中，异常样本数量通常非常有限，而缺陷类型却十分多样。因此，细微缺陷区域在训练期间容易被忽略，这影响了细微缺陷特征的学习。根据工业异常检测的常见设置，仅使用无异常样本进行模型训练，而在测试阶段需要区分正常样本和异常样本[6]。异常分数用于判断观测值是正常还是异常。因此，关键在于建立可靠的正常模式边界，尤其是当缺陷特征细微且局限于小范围局部区域时。此外，不同类别之间外观的显著差异进一步增加了建模正常模式的难度。

传统巡检方法主要包括人工巡检、直升机巡检和地面巡检，这些方法通常面临劳动力成本高、安全风险相对较高和巡检效率有限等问题。随着深度学习和计算机视觉的发展，自动化视觉巡检逐渐成为电力设备巡检的重要技术方案[7]、[8]。深度学习模型在复杂巡检场景中的目标识别和判别性特征提取方面展现了强大的能力。为进一步提高巡检准确率和对挑战性环境的适应性，近期研究开始探索更先进的视觉异常检测和特征建模架构。近年来，一些研究将Transformer[9]、[10]引入电力设备巡检异常检测，并将其作为有效的特征提取模块，用于联合建模局部特征和全局上下文信息。同时，扩散模型[11]、[12]也在电力系统巡检中得到探索。此外，一些方法[13]、[14]采用归一化流来建模电力系统巡检中正常特征的分布。总体而言，这些研究表明能源系统的巡检技术正逐渐向更精确、实时和轻量化的方向发展。

对于设备巡检，现有大多数研究针对每个单独类别构建异常检测模型[15]、[16]。当涉及多个类别时，这种策略需要训练和部署多个模型，导致设备巡检效率相对较低。同时，由于巡检任务通常涉及多个检测类别，采用单类异常检测技术需要为不同类别分别部署多个单类异常检测模型，从而增加了模型部署和计算成本。近年来，多类别异常检测（MAD）得到了广泛探索[6]。因此，本研究采用多类别异常检测（MAD）方法进行电力设备巡检。然而，MAD要求一个统一模型学习多样化的正常模式并检测不同类别的异常，这对模型的特征表示能力提出了更高要求。为应对这一挑战，一些近期研究采用基于Transformer的架构来建模全局上下文信息和局部特征表示，旨在提高对细微局部异常的敏感性[17]、[18]。一些研究引入不同的引导机制来增强解码器重建正常特征的能力，例如使用空间风格调制来动态调整重建过程[19]，或利用一张正常图像提示[20]来引导正常特征重建。一些研究采用基于扩散的方法，利用其强大的图像生成和渐进式去噪重建能力。例如，一些方法使用扩散异常合成来生成更真实的伪异常样本并丰富异常模式的多样性[21]，还有利用Stable Diffusion构建重建框架，基于正常模式恢复异常区域，并通过测量输入与重建图像之间的重建误差来检测异常[22]。现有方法在解决该问题时仍面临两个挑战。首先，统一模型可能难以学习并保留来自不同类别的代表性正常模式，这可能限制其对多样化正常分布的覆盖。为缓解这一问题，可以引入记忆机制来显式存储正常特征，并通过存储记忆条目的加权组合生成重建表示。通过将特征重建约束为正常记忆条目的组合，该设计旨在提高正常特征的重建，同时使异常特征更难以被准确重建。其次，单一潜在空间可能无法充分表示多个类别的复杂多样的正常模式。在基于自编码器的异常检测中，这可能限制了获得紧凑且具有判别性的潜在表示的能力，因为不同的特征成分被投影到同一个潜在空间中。为缓解这一问题，可以引入多个子空间来分别建模正常信息的不同成分。这使得模型能够在不同子空间中学习正常模式的互补表示，而不是在单一潜在空间中表示所有特征。因此，将记忆机制与多子空间特征学习相结合，为提高MAD提供了一种有前景的方法。

基于上述观察，我们的思路是在自编码器框架中将多子空间特征学习与记忆机制相结合。考虑多个子空间来表示复杂正常模式的不同方面，而不是依赖单一潜在空间。同时，引入预训练LLM的语义信息来支持基于正常特征的记忆条目构建。该设计旨在丰富与目标类别、视觉属性以及上下文信息相关的特征表示。此外，我们在记忆检索过程中结合不同的寻址策略，以更好地将输入特征与基于正常原型的记忆条目进行匹配。总体而言，这些思路有望在一个统一MAD模型内增强多样化正常模式的表示和记忆能力。

在之前的研究中，基于主成分分析（PCA）的方法[23]、[24]和基于正交投影的方法[25]被用于执行线性特征映射。然而，这些线性方法难以分解具有复杂非线性结构的特征。因此，本研究使用核主成分分析（KPCA）[26]将编码器产生的非线性潜在特征解耦为主成分、中间成分和残差成分。这样，KPCA可以通过将特征投影到不同子空间中来解耦潜在特征，从而表示这些特征的不同方面。然而，KPCA中使用的投影基是通过中心化核矩阵的特征分解获得的，这使得它难以与神经网络直接进行端到端优化。因此，本研究设计了三个非线性投影网络（NPN），并使用受统一流形近似与投影（UMAP）[27]启发的策略进行训练。三个NPN投影的特征被约束分别学习由KPCA获得的主成分、中间成分和残差成分的局部邻域结构。这样，每个NPN学习从原始特征空间到其对应投影子空间的非线性映射，旨在近似其对应KPCA成分的局部邻域结构。

在获得三个对应子空间中的非线性投影后，受记忆增强自编码器（MemAE）[28]启发，进一步提出了一种改进的记忆模块，命名为大语言模型引导的双地址记忆（LLMG-DMem）。该模块与MemAE中采用的记忆机制不同。在MemAE中，采用余弦相似度进行记忆寻址。然而，余弦相似度主要反映特征之间的方向一致性，并不直接考虑其空间邻近度。空间邻近度衡量特征在特征空间中的接近程度，并提供关于其局部邻域关系的互补信息。因此，本研究引入了一种结合基于内积和基于空间邻近度寻址策略的双地址记忆机制。该机制同时考虑输入特征与记忆条目之间的内积相似度和空间邻近度，旨在检索到匹配度更高的正常原型，并减少依赖单一寻址策略所导致的潜在不匹配。

此外，MemAE中的记忆条目是随机初始化的，没有语义先验。在训练过程中，一些记忆条目可能学到相似的模式，导致表示冗余并限制了对多个类别多样化正常模式的覆盖。相比之下，LLMG-DMem使用LLM提取的深层语义特征来构建记忆条目，这些条目用于表示正常模式的原型元素。具体而言，正常样本输入LLM以获得其深层语义表示。由于来自多个类别的正常样本具有复杂多样的特征分布，从LLM中提取的深层特征首先通过K-means[29]进行聚类。随后，所有获得的聚类中心由记忆映射网络（MMN）处理，生成对应子空间的记忆条目。该设计在提高正常模式覆盖度的同时，压缩了记忆模块的表示空间并限制了其表示异常特征的能力。通过该方法，记忆原型被赋予了语义先验，并使用较少的记忆条目覆盖来自多个类别的正常样本的主要正常模式。因此，该设计可以减少记忆条目的冗余并增强正常特征的紧凑表示。

本研究的主要贡献如下：

1. 我们提出了LN-CAE，一种新的多类别异常检测框架，该框架将卷积自编码器与非线性子空间投影约束和大语言模型引导的双地址记忆模块相结合。

2. 我们提出了非线性子空间投影约束（NSPC）。首先，使用KPCA将潜在特征分解为主成分、中间成分和残差成分。然后，在基于UMAP的结构约束下，端到端训练三个非线性投影网络（NPN）。这些约束引导网络学习对应KPCA成分的局部邻域结构，从而促进潜在特征的解耦。

3. 我们提出了LLMG-DMem，该模块结合基于内积和基于空间邻近度的记忆模块，共同考虑输入特征与记忆条目之间的内积相似度和空间邻近度。LLM的冻结视觉编码器从正常训练样本中提取深层语义特征。

这些特征使用K-means进行聚类，所得的聚类中心被投影到相应的子空间中以初始化记忆项。4. 我们在MIAD数据集和InsPLAD数据集的子集上进行了广泛的实验，以评估LN-CAE并将其与最先进的异常检测方法进行比较。实验结果表明，LN-CAE具有有竞争力的异常检测性能和较高的推理效率。章节摘要工业多类别异常检测在工业领域，检测任务始终是热门的研究课题，并已广泛应用于各种应用领域，例如复杂变电站环境中的火焰和安全头盔检测[30]、离散电力设备状态监测[31]、具有各向异性退化的目标检测[32]、电梯门信号故障诊断[33]以及工业产品异常检测[34]。以往的工业异常检测方法通常为每个类别训练单独的模型。然而，概述在本节中，我们提出了LN-CAE，一种用于电力设备检查中多类别异常检测的卷积自编码器框架。该框架将大语言模型引导的双寻址记忆模块与非线性子空间投影约束相结合。LN-CAE旨在仅使用正常样本训练的统一模型，从多个类别中学习多样的正常模式。LN-CAE的整体框架如图2所示。给定一个输入图像，卷积编码器数据集实验在两个公开的工业异常检测数据集上进行，即维护检查异常检测数据集和输电线路资产检查数据集。这些数据集包含多个类别的工业对象，用于评估LN-CAE在多类别条件下的异常检测能力。MIAD是一个用于户外工业场景维护检查的异常检测数据集，包含超过MIAD数据集上与最先进方法的性能比较在本节中，将所提出的LN-CAE与几种最先进的异常检测方法进行比较，包括RealNet、InvAD、Dinomaly、UniAD、INP-Former、ViTAD和RLR。MIAD数据集上各类别的比较结果见表4、表5和图3，而平均AUC-ROC和AUC-PR结果汇总于表3。在所比较的方法中，LN-CAE取得了最佳的整体性能，平均AUC-ROC为0.5867，平均AUC-PR为0.5909。与第二好的与前人工作差异的讨论所比较的方法通过特征重构、参考引导重构和异常感知特征选择改进了正常模式建模。在基于Transformer的方法中，UniAD结合了特征抖动、邻居掩码注意力和逐层查询解码器，以缓解恒等捷径问题。ViTAD从全局和局部视角探索了简单的基于视觉Transformer的重构架构，而Dinomaly结合了预训练的结论本研究提出了用于电力设备检查多类别异常检测的LN-CAE。该框架将非线性子空间投影约束与大语言模型引导的双寻址记忆模块相结合，仅使用正常训练样本从多个类别中学习多样的正常模式。在MIAD和InsPLAD子集上的实验表明，LN-CAE在所比较的方法中取得了最佳的整体检测结果，并展现了有效的实时。CRediT作者贡献声明Yu Qien：撰写初稿、验证、监督、资源、项目管理、方法论、调查、资金获取、形式化分析、概念化。Li Hao：可视化、验证、软件、形式化分析、数据整理。Wu Bo：撰写审稿与编辑、可视化、监督、资源、资金获取。利益冲突声明作者声明，他们没有任何已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所述工作的呈现方式。致谢本研究得到重庆市教委科学技术研究项目和日本学术振兴会资助项目的支持。Yu Qien | Li Hao | Wu Bo