基于图推理与反事实学习的轻量化YOLO框架在光伏电致发光缺陷检测中的应用

《Solar Energy》：Lightweight YOLO framework with graph reasoning and counterfactual learning for photovoltaic electroluminescence defect detection

　　

• 所提出的G2C-YOLOv8框架集成了Ghost卷积、图推理和反事实学习，用于高效的光伏电致发光缺陷检测。
• 在PVEL-AD数据集上，仅使用129万参数便达到96.2%的mAP@0.5，相比YOLOv8n减少了57%的参数。
• 增强了长程依赖关系建模和因果特征利用，提高了对噪声和背景偏差的鲁棒性。
• 支持实时边缘部署，在NVIDIA Jetson Orin Nano上推理时间为32.46毫秒，在树莓派上为291.4毫秒。

**引言**

光伏组件是现代可再生能源系统的重要组成部分。然而，制造问题和长期使用中的磨损，如裂纹、栅线断裂、短路、位移和划痕等，会严重影响其性能和使用寿命[1][2]。这些问题不仅降低了电气性能，还加速了组件的磨损，导致维护需求增加和成本上升[3]。电致发光成像已成为一种重要的无损检测方法，能够识别常规目视检查往往无法发现的小型结构问题[4][5]。然而，手动解读电致发光图像耗时、主观性强，且不适合大规模应用。这凸显了对自动化检测系统的迫切需求。早期的基于特征提取和传统机器学习分类器的方法在面对多样化纹理、噪声和类内变化时表现不佳。深度学习，特别是卷积神经网络，通过数据实现了特征的层次化获取，显著提高了光伏缺陷的检测效果，增强了结果的准确性和泛化性[6]。YOLO（You Only Look Once）系列目标检测框架因其能够在速度与精度之间取得平衡并提供实时结果而广受欢迎，非常适合工业检测任务[7][8]。尽管具有这些优势，传统的基于YOLO的模型仍然需要大量的计算资源来处理边缘设备，并且在检测电致发光图像中小型、细长缺陷时往往力不从心。标准卷积操作主要关注其邻域内的模式，这可能导致错误的关联，并在涉及不同光照条件、噪声和成像问题的场景中降低效果[9]。这些局限性凸显了对更加上下文感知、可靠且轻量化的检测框架的迫切需求。

近年来，基于深度学习的自动化光伏缺陷检测取得了显著研究进展。这些研究旨在应对手动检查和传统图像处理方法的不足。早期深度学习方法主要使用卷积神经网络分类器来识别缺陷。文献[10]的作者提出了SeMaCNN，基于PaDiM和ResNet18进行半监督异常检测，达到了95.8%的F1分数，但该方法仅限于二分类异常检测，无法提供精确的边界框定位。随着目标检测框架的成功，基于YOLO的检测器已成为定位和分类光伏缺陷的领先方法。Su等人[4]发布了大规模PVEL-AD数据集并提出了PVEL-YOLO，为基于电致发光的缺陷检测提供了公共基准。然而，其模型的mAP相对较低，仅为51.1%，难以检测细小裂纹。Zhang等人[2]提出了PSA-YOLOv7，通过集成部分卷积、可切换膨胀卷积和RMosaic增强，在PVEL-AD-2021上达到82.9%的mAP@0.5。遗憾的是，该模型仅限于四种缺陷类别。Zhang等人[11]引入了MLCA-YOLO，通过向C2f模块中添加多级通道注意力，在PVEL-AD上达到92.3%的mAP@0.5，但这伴随着更高的模型复杂度。

多项研究致力于改善特征表示和背景抑制（见表1）。Tan等人[7]提出了RAFBSD，使用DAT、ODConv和RFAConv来减少背景干扰，并报告了5.3%的mAP提升。Alnuaimi等人[6]引入了DABSM模块以进一步加强背景建模。Cao等人[12]提出了YOLOv8-GD，通过组合DWConv、GSConv和BiFPN，在82 FPS下达到92.8%的mAP@0.5，但该方法仅在有限的数据集上进行了验证。除基于YOLO的检测器外，Liu等人[13]提出了MNFI-Net，结合GCSM、NFIM、GAM和边界增强损失，达到95.5%的mAP@0.5，但推理速度低于YOLOv8。Zang等人[8]使用CSP-MS、带有CGA的CFPN和DyHead，为海洋缺陷检测引入了MCD-YOLO。该方法依赖小型数据集，但在密集和小目标检测方面表现强劲。对于红外太阳能组件检测，Vinod等人[14]使用了基于FPGA的Tiny MobileNet加速器，实现了超低延迟，但仅进行了二分类而无定位功能。

除了光伏领域的文献外，关于轻量化边缘导向缺陷检测的更广泛研究也直接相关于本文的设计选择。Wang等人[15]提出了一种高效的YOLOv5 s-GhostNet架构用于工业表面缺陷检测，将基于Ghost的轻量骨干和颈部与知识蒸馏训练方案相结合，以降低资源受限的边缘硬件上的延迟；虽然对一般表面缺陷有效，但该方法未在光伏电致发光图像上进行评估，也未纳入任何显式的关系推理或因果推理机制来应对长程依赖关系或虚假关联。Lei等人[16]提出了一种云边协作缺陷检测框架，在YOLO骨干中集成了SCDown、GhostConv、RepNCSPELAN4和ScalSeq模块，并结合增量学习策略，使模型能够扩展到新的缺陷类别而无需完全重新训练；该系列工作展示了Ghost风格压缩对边缘部署的实用价值以及增量适应性对不断演变的缺陷分类体系的价值，但其依赖于云边编排层来维持随着新类别引入时的精度，且未针对光伏电致发光图像中特有的图结构化和细长缺陷模式。与这两种轻量化边缘检测尝试相比，本工作在三个方面存在具体差异：(i) 针对光伏电致发光图像，其中裂纹和位移等缺陷通常是细长的、碎片化的且空间上延伸的，而非紧凑的表面缺陷；(ii) 在Ghost基础压缩基础上增加了显式的图推理模块，在远距离的结构相关空间位置之间传播信息，而文献[15]和[16]均未纳入此模块；(iii) 引入了仅训练用的反事实正则化分支，以显式地减少模型对虚假主导局部线索的依赖，这一因果鲁棒性机制在先前两项工作中均不存在，它们仅依赖架构压缩和知识蒸馏或增量学习，而非因果特征正则化。

尽管先前的研究已展示了准确率的显著提升，但大多数方法依赖于重量级骨干网络和更复杂的注意力机制，这提高了计算成本并限制了其适用于边缘部署。此外，许多方法要么忽视了电致发光图像中常见的长尾分布和小缺陷问题，要么仅关注少数缺陷类别。现有的轻量化光伏缺陷检测方法主要专注于架构压缩、注意力增强或特征融合来提高检测准确性和推理效率[7][11][12][15][16]。虽然这些方法取得了令人满意的结果，但它们通常缺乏机制来建模结构相关缺陷区域之间的长程空间依赖关系，并降低复杂电致发光背景引入的虚假关联的影响[15][16]。此外，许多现有的轻量化检测器缺乏实现计算效率所需的特征表示能力，使其在检测光伏电致发光图像中的细长、碎片化和低对比度缺陷方面效果不佳[2][11]。为了解决这些局限性，本工作提出了一种轻量化的图与反事实YOLO框架，在统一的检测架构中联合集成了基于Ghost的特征提取、用于全局上下文建模的图推理以及用于鲁棒因果特征表示的反事实学习。与之前专注于独立增强网络架构或注意力机制的工作相比，所提出的框架同时实现了计算效率、上下文特征建模和鲁棒性之间的平衡，使其非常适合在资源受限的边缘设备上实时进行光伏缺陷检测。以下是本工作主要贡献的概述：

• 提出了一种轻量级的基于Ghost的YOLOv8架构，在保持具有竞争力的检测准确率的同时，显著降低了计算复杂度和模型参数。
• 检测框架中集成了图推理模块，增强了复杂且细长的光伏缺陷模式的建模能力，加强了全局结构表示。
• 在训练过程中，使用了反事实学习策略来提高模型鲁棒性，减少虚假关联并促进因果相关特征的使用。
• 所开发的轻量化框架在异构嵌入式平台上实现了稳定和高效的推理，根据在树莓派和NVIDIA Jetson Orin Nano上进行的广泛边缘部署实验，允许用于低功耗监控和实时工业检测场景的实际部署。

本文其余部分组织如下：第2节涵盖数据集概述，包括其描述和增强。第3节提出了模型架构，首先介绍整体系统工作流程，然后详细解释基于Ghost卷积的骨干网络、层次化多尺度特征聚合、多尺度YOLO检测头、基于图的推理模块和反事实学习策略。第4节展示了结果和讨论。第5节展示了消融研究。第6节展示了定性对比分析。第7节涵盖计算方面和边缘部署。第8节对论文进行了总结。

**数据集描述**

本研究实验在如图1所示的多类别PVEL-AD图像数据集[4]上进行，该数据集包含具有不同结构和材料缺陷的太阳能电池照片。数据集包含十二种缺陷类别，包括栅线断裂、裂纹、黑核、粗线、水平位移、短路、垂直位移、星状裂纹、印刷错误、角缺陷、碎片和划痕。每张图片都手动添加了YOLO格式的边界框。

**提出的模型架构**

图3展示了所提出的光伏缺陷检测系统的完整端到端流程。首先，我们收集电致发光图像并进行一些预处理，如调整大小、归一化和标准化。接下来，使用类别感知的几何和光度变换来增加预处理图像的多样性并解决类别不平衡问题。增强后的数据集然后输入到所提出的G2C-YOLOv8框架中。该框架使用轻量级的Ghost卷积快速提取

**结果与讨论**

所有实验均在配备13代Intel Core i7-13620 H处理器（2.40 GHz时钟频率）、16 GB RAM和Windows 11 64位的工作站上进行。模型在系统上训练和测试，以确保所有实验条件相同。该配置是测试快速和易于发现缺陷的模型的真实计算环境的典范。此处，我们通过总体呈现不同配置的检测性能

**消融研究**

表5展示了消融研究的结果，该研究考察了架构修改和学习层次对EL图像中多缺陷识别所提出框架的影响。每种配置逐步添加特定的设计选择，详细说明每个组件如何贡献于检测准确性和计算负担。中间配置所使用的命名约定反映了每种配置所隔离的特定结构修改。

**独立公开数据集上的泛化性评估**

为进一步验证所提出模型的泛化能力，在公开PV-MultiDefect数据集[21]上进行了更多实验。根据数据集的实验协议，使用四种缺陷类别进行评估：黑边、破损、热点和无电流。所提出的G2C-YOLOv8达到了89.2%的总mAP@0.5，表明所学的特征表示具有超越PVEL-AD数据集的泛化能力。类别级别的精确率-召回率曲线显示

**定性对比分析**

表6呈现了近期YOLO变体和代表性最先进光伏缺陷检测模型的定量对比。文献普遍表明，提高检测准确率通常需要增加模型复杂度和计算能力。例如，修改后的Swin Transformer[22]基于Transformer构建，具有大量参数。这可能使其在缺乏大量资源的检测系统上难以使用。一些高级

**边缘部署和运行时性能**

所提出的G2C-YOLOv8模型与轻量级YOLO变体在树莓派5（8 GB RAM）上的运行时比较见表7。除了显著降低CPU温度和处理器利用率外，所提出的模型还实现了最低的推理延迟162.9毫秒和最高的吞吐量6.14 FPS，这证明了其在资源受限的边缘设备上的卓越计算效率。表8还总结了所提出的

**结论**

本文介绍了G2C-YOLOv8，一种轻量级的光伏电致发光缺陷检测框架，结合了Ghost卷积、图推理和反事实学习。

所提出的模型在仅有127万个参数的情况下，mAP@0.5达到了96.2%，比YOLOv8n少57%。边缘部署测试显示，在Raspberry Pi上的推理延迟为162.9毫秒，在NVIDIA Jetson Orin Nano上的推理延迟为32.46毫秒。这意味着Raspberry Pi的运行速度为6.14 FPS，NVIDIA Jetson Orin Nano的运行速度为30.8 FPS。CRediT作者贡献声明：Sasmitha S：撰写——审阅与编辑，撰写——初稿，可视化，方法论，调查研究，形式分析，数据整理，概念构思。Mohan S：撰写——审阅与编辑，撰写——初稿，可视化，形式分析，数据整理，概念构思。Harikumaran Ramesh：撰写——审阅与编辑，撰写——初稿，可视化，方法论，形式分析，数据整理，概念构思。Rayappa David Amar Raj：撰写——审阅与编辑，……利益冲突声明：作者声明，他们没有已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。Sasmitha S. | Mohan S. | Harikumaran Ramesh | Rayappa David Amar Raj | Manimaran Sivasamy