基于YOLO的深度学习架构在光伏故障定位中的应用:架构、数据集及边缘优化部署策略的综合综述
《Computers and Electrical Engineering》:YOLO-based deep learning architectures for photovoltaic fault localisation: A comprehensive review of architectures, datasets, and edge-optimised deployment strategies
【字体:
大
中
小
】
时间:2026年10月24日
来源:Computers and Electrical Engineering 5.5
编辑推荐:
# 摘要
光伏(PV)装机容量的快速增长增加了对精准、高效且具备部署条件的故障定位系统的需求。基于深度学习的目标检测方法,尤其是"你只看一下"(YOLO)系列,凭借其高定位精度和高效推理成为主流方法。本综述使用PRISMA指导方法系统地分析了2016年至2025年发表的13
# 摘要
光伏(PV)装机容量的快速增长增加了对精准、高效且具备部署条件的故障定位系统的需求。基于深度学习的目标检测方法,尤其是"你只看一下"(YOLO)系列,凭借其高定位精度和高效推理成为主流方法。本综述使用PRISMA指导方法系统地分析了2016年至2025年发表的130篇同行评审研究,所涉文献按12个技术类别组织,涵盖基线和轻量级YOLO模型、Transformer及注意力增强架构、特征融合方法、混合方法、迁移学习、基于生成对抗网络(GAN)的数据增强以及面向部署的优化策略。此外,本综述还回顾了17个基准数据集,涵盖电致发光(EL)、红外(IR)、RGB、无人机采集及合成图像,并介绍了常用的评估指标和部署设置。为提高已发表结果的透明度,本综述对数据集、IoU阈值、输入分辨率、硬件平台和实验方案进行了对比分析。对YOLOv11n在树莓派5上的实验基准测试进一步表明,基于ONNX的部署提升了推理效率,最佳情况延迟为153.01毫秒,帧率为6.54 FPS。最后,本综述讨论了开发健壮、轻量级且可在边缘部署的光伏故障定位系统所面临的当前挑战和未来研究方向。
## 1. 引言
光伏装机的快速增长加速了向清洁能源和可持续能源生产的转型,同时也增加了对可靠故障检测和运维系统的需求。在长期运行过程中,光伏组件容易出现各种缺陷,包括热点、微裂纹、电势诱导衰减(PID)、分层、积尘和遮挡。这些缺陷会降低能量转换效率,加速组件退化,增加维护成本,若未在早期发现,最终可能危及光伏电站的安全性和可靠性[1]。
传统光伏检测方法,如人工巡检、电流-电压(I-V)曲线分析和红外热成像,往往劳动强度大、耗时较长,且难以扩展至大规模光伏装机场景。为克服这些局限,基于电致发光(EL)、红外(IR)、RGB及无人机采集图像的检查方法因非侵入性特点和自动化故障定位能力而受到广泛关注。近年来,基于深度学习的目标检测方法,特别是YOLO系列,因其高定位精度、快速推理速度和适配实时应用的特点,已成为光伏故障定位领域应用最为广泛的方案之一[2]。其轻量级架构和高效推理能力进一步使其可在嵌入式边缘设备、无人机(UAV)和基于物联网(IoT)的监测系统中部署。
尽管已有大量研究提出了改进型YOLO架构用于光伏故障定位,但现有综述文章主要聚焦于模型精度和架构发展,相比之下对计算复杂度、推理效率、硬件兼容性、嵌入式实现和基准测试一致性等面向部署的方面关注较少。此外,数据集、标注策略、评估指标、IoU阈值、输入分辨率、硬件平台和运行框架的显著差异使得已发表研究之间难以进行直接比较。
为应对这些局限,本综述使用PRISMA指导方法系统地分析了2016年至2025年发表的130篇同行评审研究。所筛选研究按12个技术类别组织,包括基线YOLO架构、轻量级模型、Transformer增强网络、注意力方法、创新损失函数、特征融合策略、混合架构、优化的主干和颈部设计、多任务学习、基于GAN的方法、迁移学习以及基于检测Transformer(DETR)方法的对比研究。本综述还考察了17个涵盖电致发光(EL)、红外(IR)、RGB、无人机采集、多模态和合成图像的基准数据集。为提高已发表结果的透明度和可追溯性,本综述综合列出了所审查研究中报告的数据集、评估指标、IoU阈值、输入分辨率、硬件平台、部署框架和实验设置,进行全面对比分析。
除文献综述外,本工作还特别聚焦面向部署的光伏故障定位。对轻量级YOLO架构、迁移学习、数据增强、量化、基于ONNX的优化和嵌入式推理框架进行了批判性分析,以评估其在资源受限边缘平台上的适用性。本综述进一步讨论了面向部署的性能指标,包括推理延迟、每秒帧数(FPS)、模型大小、参数量、内存占用、热行为和计算复杂度,这些对于评估嵌入式光伏监测系统的实际可行性至关重要。
为补充文献综述,本工作基于YOLOv11n在树莓派5上开展了实验部署研究,分别采用PyTorch和ONNX Runtime v1.20.1实现。基准测试在相同运行条件下,通过端到端推理评估,对比了PyTorch FP32与基于ONNX的FP32、FP16和INT8部署格式。结果表明,与原生PyTorch执行相比,基于ONNX的优化显著提升了推理效率,凸显了轻量级YOLO模型在嵌入式光伏巡检中的实际潜力。尽管所获得的推理吞吐量更适合近实时图像巡检,而非连续高帧率无人机视频分析,但实验研究为YOLO-based光伏故障定位在资源受限边缘设备上的实际部署提供了有价值的参考。
总体而言,本综述通过整合系统文献分析、数据集对比、实验可追溯性、边缘部署评估和实际实施考量,为基于YOLO的光伏故障定位提供了全面且面向部署的视角。本综述所呈现的研究发现旨在为研究人员和从业者开发精准、高效且可扩展的光伏故障定位系统提供支持,以满足下一代智能太阳能监测的需求。
图1. 目标检测中的早期传统方法
## 2. 背景
### 2.1 光伏故障类型及检测挑战
光伏系统会受各种缺陷影响,包括热点、微裂纹、电势诱导衰减(PID)、分层和电池碎裂,这些缺陷会显著降低其效率、功率输出和运行寿命。基于成像的技术,如红外(IR)、电致发光(EL)和可见光谱成像,广泛用于光伏故障检测和定位[3]。然而,由于缺陷尺寸小、图像噪声、低对比度、复杂背景、环境可变性以及类内高度变异等因素,精确缺陷定位仍具挑战性。检测和分类这些故障,特别是在大规模户外光伏装机场景下,对于在实际环境条件下运行的自动化光伏巡检系统而言,仍是一个重大挑战。
另一个重要问题是数据集不平衡和类别分布不均。光伏数据集通常划分为训练、验证和测试子集,各类别缺陷样本数量差异较大。例如,指形(Finger)缺陷类别包含的标注图像远多于稀有类别,如边角(Corner)、碎片(Fragment)和划痕(Scratch)缺陷。这种类别不平衡会对欠代表缺陷的模型泛化和定位性能产生负面影响。此外,标注不一致、图像分辨率差异以及跨成像模态的变化会给模型训练和部署评估带来额外挑战。因此,均衡数据集、稳健的标注策略和面向部署的基准测试方案仍然是开发可靠深度学习光伏巡检框架的重要要求。
### 2.2 光伏应用中的目标检测
传统光伏故障检测方法依赖手工特征提取方法,并结合支持向量机(SVM)等机器学习分类器和模板匹配算法。尽管这些方法在受控条件下表现尚可,但在多变环境和运行场景下的鲁棒性往往不足。深度学习的最新进展,特别是卷积神经网络(CNN),通过实现自动化特征提取和精确目标定位,显著提升了光伏缺陷定位能力。结合卷积架构与高级特征学习策略的整合式深度学习框架,在不同运行条件下也展现出强大的光伏故障分类和稳健缺陷分析能力[4]。在现代目标定位框架中,YOLO系列等单阶段检测器因其高效推理流水线和定位能力与计算效率的良好平衡而备受瞩目。与Faster R-CNN等两阶段检测器相比,基于YOLO的模型通常具备更低的计算复杂度和更高的推理效率,适合无人机辅助巡检、嵌入式部署和大规模光伏监测应用。最新YOLO架构还引入了轻量级优化技术、注意力机制、多尺度特征融合策略以及量化、ONNX加速等面向部署的推理优化方法。这些进展在资源受限嵌入式边缘平台上提升了部署效率,同时保持了强大的光伏故障定位能力。图1展示了目标检测方法从传统机器学习方法到现代深度学习定位框架的演进。
图2. 用于太阳能故障检测与定位的YOLO模型基本架构
### 2.3 YOLO架构演进
图2所示的基本YOLO架构由三个主要组件构成:主干(backbone)、颈部(neck)和检测头(head)。主干负责从输入图像中提取层次化特征,颈部聚合并融合来自不同主干阶段的多尺度特征表示。检测头执行最终预测任务,包括边界框回归、目标性估计和类别概率预测[2]。图3展示了主要YOLO模型开发与发布时间线。
YOLO系列(YOLOv1–YOLOv11)在定位能力、推理效率和鲁棒性方面经历了显著提升。YOLOv1引入了单阶段目标定位以实现高效推理,YOLOv3引入多尺度特征预测以改善小目标定位能力。后续版本包括YOLOv5,进一步提升了架构效率、模型优化和训练灵活性。YOLOv7、YOLOv8、YOLOv9、YOLOv10和YOLOv11等较新架构引入了注意力机制、Transformer启发模块、改进的特征聚合策略、轻量级优化技术和增强的损失函数等高级组件。这些发展提升了定位精度、增强了特征表示,并改善了资源受限环境下的部署效率,使YOLO架构日益适用于光伏缺陷定位任务。
大多数现有光伏故障检测综述对传统机器学习方法、电气分析技术和通用人工智能方法提供了广泛概述,但通常缺乏对基于YOLO的架构及其实际部署考量的详细讨论,如表1所示。特别是,以往综述很少全面分析轻量级YOLO变体、模型优化技术、量化策略、基于ONNX的部署优化、推理效率以及嵌入式边缘设备部署可行性等光伏故障定位应用方面的内容。相比之下,本综述对基于YOLO的深度学习框架在光伏缺陷检测和定位中的应用进行了专门分析。本工作系统考察了不同YOLO架构、数据集特征、轻量级模型增强、基于GAN的数据增强方法、迁移学习策略、量化方法、基于ONNX的优化技术和面向部署的推理框架。此外,本综述通过分析延迟、每秒帧数(FPS)、模型大小、参数量、内存占用、温度变化和GFLOPs等推理相关指标,强调了实际部署考量,这些对于评估实际光伏监测系统中嵌入式边缘设备的适用性至关重要。
图3. YOLO模型发展与发布时间线
表1. 光伏故障检测现有综述对比
| 参考文献及年份 | 涵盖的具体主题 | 局限与不足 |
| --- | --- | --- |
| [5], 2021 | 比较光伏故障诊断的机器学习模型,包括训练数据需求和模型分类,涉及遮挡、开路故障和组件衰减等问题。 | 对YOLO和ResNet等高级深度学习架构分析有限,对基于图像的光伏故障定位关注不足。 |
| [6], 2022 | 综述基于ANN的光伏故障诊断模型,使用电气和热数据进行缺陷识别。 | 对基于图像的故障检测、部署基准测试和嵌入式部署考量关注不足。 |
| [7], 2022 | 聚焦基于机器学习方法(如SVM、ANN和决策树)的光伏和风能系统AI驱动故障监测技术,使用电气和热数据分析。 | 对高级深度学习模型、推理效率和面向部署的光伏故障定位方法探讨有限。 |
| [8], 2022 | 综述用于光伏故障诊断的传统机器学习模型,使用电气测量和热数据分析。 | 主要聚焦传统机器学习方法,对CNN和YOLO等基于深度学习的图像定位方法分析有限。 |
| [9], 2023 | 比较I-V曲线分析等电气诊断技术与红外热成像和电致发光成像等目视检查方法,用于光伏故障检测。 | 主要聚焦传统检查方法,对基于深度学习的光伏缺陷定位和嵌入式部署策略探索有限。 |
| [10], 2023 | 综述基于AI的光伏故障诊断和系统监测方法,包括支持向量机、人工神经网络和模糊逻辑方法。 |
侧重于常见的故障类别,如阴影遮挡、开路故障和组件退化。对基于深度学习的图像定位、部署效率以及用于光伏检测的嵌入式边缘设备实现关注有限。[11],2023年
比较了支持向量机(SVM)、K近邻(KNN)和人工神经网络(ANN)等机器学习模型,用于基于热成像和电气测量的光伏缺陷诊断。对高级深度学习架构、轻量化优化技术和实际光伏部署应用的分析有限。[12],2023年
综述了用于可再生能源应用的基于深度学习的模型,包括太阳能和风能预测、智能状态监测、系统调度和电网管理。对光伏故障定位、嵌入式部署优化和物体定位架构的讨论有限。[13],2024年
侧重于基于视觉的光伏故障检测方法,包括红外热成像(IRT)、电致发光(EL)成像和人工智能辅助图像分析技术。对高级优化策略的研究有限,包括基于GAN的数据增强、基于ONNX的优化、迁移学习和面向部署的边缘计算方法。[14],2024年
综述了用于可再生能源集成、预测分析、系统调度和智能故障监测的深度学习方法。对基于光伏图像的故障定位、部署基准测试和面向边缘的光伏检测系统的强调有限。
本文综述专门聚焦于基于YOLO的深度学习架构,用于基于热成像、电致发光、RGB和无人机成像数据集的图像光伏故障定位。该综述系统分析了用于光伏检测系统的轻量化YOLO架构、基于GAN的数据增强、迁移学习策略、面向部署的优化技术、量化方法、基于ONNX的推理优化以及嵌入式部署基准测试。提供了对基于YOLO的光伏故障定位框架的聚焦和面向部署的分析,强调轻量化架构、推理效率、嵌入式边缘设备的可行性以及大规模光伏监测应用中的实际部署考虑。
3. 系统综述方案
本文综述采用结构化且透明的方法,系统考察了基于YOLO的光伏(PV)故障定位模型的最新进展。综述过程按照《系统综述和荟萃分析优先报告条目》(PRISMA 2020)指南进行,以提高文献选择过程的透明度、可重复性和一致性 [15]。
在四个主要学术数据库中进行了一次全面的文献检索,即IEEE Xplore、ScienceDirect、SpringerLink和Google Scholar。检索在2025年1月至3月间进行,最终检索于2025年3月31日完成,涵盖2016年至2025年间发表的研究。仅考虑英文撰写的同行评审出版物。为了最大限度地覆盖文献,采用了结合与YOLO架构、光伏故障定位、物体检测、深度学习和边缘部署相关的关键词的布尔检索策略。代表性检索式包括:用于IEEE Xplore的("YOLO" OR "You Only Look Once")AND("photovoltaic" OR "solar panel" OR "PV")AND("fault detection" OR "fault localisation" OR "defect detection" OR "object detection"),用于ScienceDirect的("YOLO")AND("photovoltaic" OR "solar panel")AND("fault detection" OR "defect localisation")AND("deep learning" OR "computer vision"),用于SpringerLink的("YOLO")AND("photovoltaic")AND("fault localisation" OR "object detection")AND("edge deployment" OR "embedded systems"),以及用于Google Scholar的更广泛关键词组合,如"YOLO photovoltaic fault detection"、"solar panel defect detection"和"deep learning object detection"。在适当情况下,还纳入了额外的关键词,包括"transformer"、"lightweight architecture"、"attention mechanism"、"GAN"、"ONNX"、"quantisation"、"data augmentation"、"embedded inference"和"edge deployment"。在相应数据库搜索引擎支持的情况下,检索词应用于标题、摘要和关键词字段。
纳入标准考虑了以英文发表的同行评审研究,这些研究提出、改进或评估了用于光伏故障定位的YOLO模型,使用基于图像的数据集并报告了定量实验结果。专注于图像分类、无物体定位的语义分割、无缺陷分析的光伏组件检测、非基于图像的故障诊断方法或缺乏充分实验验证的研究被排除在该综述之外。使用预定义的纳入和排除标准进行标题、摘要和全文筛选,以确保研究选择过程的一致性和透明度。
研究选择过程包括四个阶段:识别、筛选、资格评估和最终纳入。最初,通过数据库检索识别了312条记录,加上通过参考文献追踪获得的18条额外记录,总计330项研究。在删除82条重复记录后,剩余248项唯一研究用于标题和摘要筛选。
在筛选阶段,66项研究因不符合综述范围而被排除。具体而言,22项研究与光伏系统无关,28项研究未采用基于YOLO的物体检测模型,16项研究不是基于图像驱动的故障定位。剩余的182项研究随后通过全文审阅进行评估。在资格评估期间,52项研究因以下原因被排除:14项研究仅涉及分类而无定位,9项研究仅专注于分割,8项研究调查无缺陷分析的光伏组件检测,6项研究处理遥感应用如组件方向或布局估计,10项研究缺乏充分的实验验证或部署细节,5项研究发表于非同行评审来源。
因此,总计130项研究满足预定义的纳入标准,并被选入详细分析。对于每项选中的研究,使用预定义的数据提取框架系统提取了与数据集、成像模态、YOLO变体、架构修改、评估指标、IoU阈值、输入分辨率、部署平台、运行时框架、硬件配置、计算特征和关键实验发现相关的信息。提取的信息构成了本综述中呈现的对比分析、分类和可追溯性表格的基础。
图4展示了PRISMA流程图,说明了本系统综述中所考虑研究的识别、筛选、资格评估和最终纳入。
下载:下载高分辨率图像(603KB)下载:下载完整尺寸图像
图4. PRISMA流程图,说明了本综述中考虑的基于YOLO的光伏故障定位研究的识别、筛选、资格评估和最终纳入。
3.1. 范围定义
本综述专门聚焦于为光伏(PV)缺陷定位而开发的基于图像的YOLO架构。在本综述范围内,"基于YOLO的光伏缺陷定位"一词指的是使用YOLO物体检测模型,通过边界框或等效的物体级别定位输出来识别并空间定位光伏组件中的物理缺陷。所综述的研究主要处理在电致发光(EL)、红外(IR)、热成像、RGB或无人机获取的图像中观察到的缺陷,如裂纹、热点、电势诱导退化(PID)、污垢、阴影遮挡、断栅线、黑芯以及其他结构或表面异常。本综述包括提出、改进或评估YOLO定位模型的同行评审研究,这些研究使用定量实验验证。专注于无定位的图像分类、无物体检测的语义或实例分割、无缺陷分析的光伏组件检测、非基于图像的故障诊断方法(如电气信号分析),或仅限于组件方向、屋顶制图或阵列布局估计的遥感应用的研究被排除在本综述之外。除了算法发展之外,本综述还涵盖了面向部署的研究,涉及轻量化YOLO架构、嵌入式和边缘计算平台、无人机辅助检测系统,以及针对资源受限的光伏监测应用的模型优化技术,如量化、剪枝、基于ONNX的推理和其他加速框架。
3.2. 研究分类
为了便于清晰和系统的比较,所选研究根据其主要方法贡献进行分组,而非按YOLO模型的时间发展顺序。尽管一些研究结合了多种技术,但每项研究都被归入最能代表其主要贡献的类别,以在整个综述中保持一致性。所选研究被分为12个类别:(i) 基线YOLO架构,(ii) 轻量化YOLO架构,(iii) Transformer增强的YOLO架构,(iv) 注意力增强的YOLO架构,(v) 具有创新损失函数的YOLO架构,(vi) 特征融合和多尺度改进,(vii) 混合和融合型YOLO架构,(viii) 优化的骨干和颈部模块架构,(ix) 多任务YOLO模型架构,(x) 合成数据和GAN模型,(xi) 基于YOLO的迁移学习和微调架构,以及(xii) YOLO与检测Transformer(DETR)方法的比较。这种分类为基于YOLO的光伏故障定位的不同研究方向提供了清晰的概述。它还便于比较不同方法的优势、局限、定位性能、计算效率和部署适用性。本综述的对比分析、可追溯性表格和讨论部分一致使用相同的分类。
表2. 最终综述语料库的特征(130项选定研究)。
方面 | 描述 | 数量
发表时期 | 2016–2025年间发表的研究 | 130
主要任务 | 光伏缺陷检测和定位 | 130
成像模态 | 电致发光(EL)、红外(IR)、RGB、无人机和多模态图像 | 130
技术类别 | 基线、轻量化、Transformer增强、注意力增强、创新损失函数、特征融合、混合架构、优化的骨干/颈部、多任务学习、GAN方法、迁移学习以及YOLO与DETR的比较 | 12
综述的数据集 | 公开和定制的光伏基准数据集 | 17
评估指标 | mAP、精确度、召回率、F1分数、IoU、FPS、延迟、内存使用和模型大小 | 多个
部署平台 | GPU、嵌入式边缘设备、Raspberry Pi 5、NVIDIA Jetson、无人机平台和云边系统 | 多个
3.3. 最终语料库特征
总计130项研究满足预定义的纳入标准,并被选入详细分析。这些研究发表于2016年至2025年间,利用广泛的成像模态调查用于光伏故障检测和定位的YOLO方法,包括电致发光(EL)、红外(IR)、RGB、无人机获取和多模态图像。所综述的文献包括公开可用和定制数据集,以及多样的实验设置、评估指标和部署平台。
为了便于全面分析,所选研究从模型架构、优化策略、评估协议、部署环境、计算特征和应用场景等方面进行了系统考察。根据其首要方法贡献,研究被组织成12个技术类别,便于对不同的基于YOLO的光pv故障定位方法进行结构化比较。
表2总结了最终综述语料库的整体特征,包括发表时期、应用重点、成像模态、技术类别、基准数据集、常报告的评估指标和部署平台。这一概述展示了所综述文献的广度,并为后续章节中呈现的对比分析、可追溯性表格、研究趋势和讨论提供了基础。
3.4. 数据提取和对比分析
为了确保一致和系统的综述过程,使用预定义的数据提取框架从每项选定研究中提取信息。提取的信息包括发表年份、成像模态、数据集、YOLO变体、架构修改、评估指标、IoU阈值、输入分辨率、评估级别、硬件平台、部署框架、计算复杂度、运行时性能,以及每项研究报告的主要技术贡献。随后,提取的信息根据预定义的研究类别进行组织,并用于构建本综述中呈现的对比分析和可追溯性表格。由于所综述的研究采用了不同的数据集、成像模态、评估协议、硬件平台和部署环境,直接的定量比较并不总是合适的。因此,研究主要通过定性分析进行比较,同时单独总结相应的实验设置,以提高报告结果的可追溯性、可重复性和公平解释。
3.5. 本综述的贡献
本综述的主要贡献总结如下:
• 本综述提供了对2016年至2025年间发表的130项基于YOLO的研究的综合分析。所选研究被系统地组织成12个技术类别,为YOLO架构在光伏故障定位中的演进提供了结构化的概述。
• 呈现了17个基准光伏数据集的详细比较,涵盖电致发光(EL)、红外(IR)、RGB、无人机获取和合成图像。讨论数据集特征、注释格式、类别不平衡和成像模态差异,以支持数据集选择和未来研究。
• 本综述系统地比较了常报告的评估指标,包括mAP、精确度、召回率、F1分数、IoU、推理延迟、每秒帧数(FPS)、内存利用率和模型大小。为提高结果可追溯性,专门的可追溯性表格额外总结了所综述研究报告的数据集、IoU阈值、输入分辨率、评估协议、硬件平台和其他实验设置。
• 对轻量化、注意力机制、Transformer增强、特征融合、混合、优化的骨干和颈部、多任务、GAN以及迁移学习YOLO架构的最新进展进行了批判性分析,突出了它们的架构创新、优势、局限、计算效率以及对实时边缘部署的适用性。
• 本综述识别了关键研究挑战,包括罕见故障样本的有限可获得性、数据集不平衡、评估协议不一致、部署基准测试有限以及多模态数据集成。还讨论了潜在的未来研究方向,如合成数据生成、域适应、轻量化优化、多任务学习和边缘智能。
• 除文献综述外,基于YOLO的光伏故障定位的实际部署在Raspberry Pi 5上使用YOLOv11n的PyTorch和ONNX实现进行了实验评估。部署研究比较了PyTorch FP32与基于ONNX的FP32、FP16和INT8推理在延迟、FPS、内存利用率和部署效率方面的表现,证明了基于ONNX的优化对资源受限边缘设备的有效性。
下载:下载高分辨率图像(977KB)下载:下载完整尺寸图像
图5. 用于光伏故障定位的代表性基准数据集,展示了最近研究中采用的电致发光(EL)、红外(IR)、RGB、无人机、热成像和多模态成像模态的多样性。
4.
## 故障研究中使用的不同基准数据集
基准数据集在基于YOLO的光伏(PV)故障定位模型的开发和评估中发挥着基础性作用。它们为训练、验证和性能比较提供了基础,同时使研究人员能够在不同的成像条件和缺陷特征下评估模型的鲁棒性。然而,现有的数据集在成像方式、标注格式、缺陷类别、采集环境、数据集规模和评估目标方面存在相当大的差异。因此,在比较不同定位模型的性能时,应考虑这些差异。
本综述分析了17个公开且广泛采用的基准数据集,详见表3。这些数据集涵盖了电致发光(EL)、红外(IR)、热成像、RGB、无人机(UAV)采集、电气以及模拟数据,涵盖了光伏缺陷的广泛谱系,包括裂纹、热点、电势诱导衰减(PID)、腐蚀、断裂细栅线、阴影遮挡、污垢污染、失配故障以及其他制造或运行异常。
在基于EL的数据集中,ELPV数据集[16]是最早且最常用的光伏缺陷分析基准之一。它包含2624张灰度电致发光图像,代表裂纹和电势诱导衰减等缺陷。PVEL-AD数据集[17]已成为最全面的对象检测基准之一,提供了36543张近红外电致发光图像,带有12类缺陷的边界框标注。此外,包括EL腐蚀数据集[18]、719 EL数据集[19]、UCF-EL数据集[20]、大规模EL数据集[21]和PV多缺陷数据集[22]在内的其他EL数据集,提供了不同标注策略下的高分辨率图像,以支持对象检测、分割和分类任务。
红外和热成像数据集主要用于识别在电致发光图像中可能不可见的运行故障。光伏热成像数据集[23]包含带有缺陷电池分割掩膜的无人机采集热成像图像,而红外太阳能组件数据集[24]提供了约20000张红外图像,在类别不平衡条件下展示了多种故障类型。同样,PV热成像数据集[25]和蜗牛轨迹红外数据集[26]包含了在实际运行条件下采集的热成像图像以及环境和气象信息,使研究者能够调查与温度相关的缺陷,如热点和热异常。
多个数据集将光伏故障分析扩展到传统基于图像的检验之外。PVMD数据集[27]结合RGB和热成像图像来检测热点、裂纹和阴影缺陷,而失配故障数据集[28]整合了从老化光伏组件收集的红外、视觉和电气测量数据。留尼汪数据集[29]提供了在变化阴影条件下运行的屋顶光伏系统的长期电气测量数据。此外,LTSpice[30]提供了约690万个模拟故障样本,支持虚拟训练和算法验证。新光伏组件数据集[31]和迷你面板数据集[32]提供了电气测量数据以及电流-电压(I-V)和功率-电压(P-V)特性曲线,用于分析电气退化和故障诊断。
总体而言,经审核的数据集展示了可用于深度学习研究的光伏检验数据的日益多样性。电致发光数据集仍然是检测精细结构缺陷的首选,而红外和热成像数据集更适合识别热点和温度异常等运行故障。多模态和模拟数据集进一步提高数据多样性和模型泛化能力,特别是在真实故障样本有限的情况下。因此,选择合适的基准数据集取决于目标缺陷类型、成像方式、标注格式、部署场景和评估目标。这些基准数据集的代表性示例如图5所示,其详细特性总结于表3中。
**表3. 光伏故障定位中常用的基准数据集。**
| 数据集 | 规模 | 模态 | 主要缺陷 | 标注类型 | 类别数 | 主要特征 |
|--------|------|------|----------|----------|--------|----------|
| ELPV [16] | 2624 | EL | 裂纹、PID、互连故障 | 软标签 | 4 | 光伏电池缺陷分析的公开基准 |
| PVEL-AD [17] | 36543 | 近红外EL | 12类缺陷 | 边界框 | 12 | 大规模工业级对象检测数据集 |
| 光伏热成像图像 [23] | 1069 | 热成像 | 电池异常 | 分割掩膜 | 3 | 无人机采集热成像用于缺陷定位 |
| 红外太阳能组件 [24] | 20000 | 红外 | 热点、裂纹、污垢 | 图像级标签 | 12 | 具有多种故障类别的大规模红外数据集 |
| 光伏系统热成像 [25] | 277 | 热成像 | 热点、蜗牛轨迹 | 图像级标签 | – | 带有环境信息的无人机采集热成像图像 |
| EL腐蚀数据集 [18] | 5400 | EL | 裂纹、腐蚀 | 电池级标签 | – | 用于老化分析的高分辨率电致发光数据集 |
| 719 EL测量 [19] | 719 | EL | 测量变异性 | 图像级标签 | – | 用于组件可靠性研究的高分辨率EL测量 |
| UCF-EL [20] | 17064 | EL | 裂纹、腐蚀 | 像素级掩膜 | 3 | 分割任务的基准数据集 |
| 大规模EL数据集 [21] | 3629 | EL | 细栅线缺陷 | 人工标签 | 2 | 支持分类和定位研究 |
| PV多缺陷 [22] | 1018 | EL | 表面缺陷 | 缺陷标签 | 5 | 包含多种光伏缺陷类型的公开数据集 |
| PVMD [27] | 1000 | RGB+热成像 | 热点、裂纹、阴影 | 图像级标签 | 3 | 无人机多模态光伏数据集 |
| 失配故障数据集 [28] | ~36例 | 红外+电气 | 裂纹、污垢、阴影 | 元数据标签 | 5 | 带有电气(I-V)特性的户外测量 |
| 留尼汪数据集 [29] | 12个月数据 | 电气 | 阴影故障 | 数值标签 | 2 | 屋顶光伏系统的长期监测数据集 |
| LTSpice模拟数据集 [30] | 690万样本 | 模拟 | 部分阴影、短路/开路 | 数值标签 | 3 | 用于算法开发的大规模合成数据集 |
| 新光伏组件数据集 [31] | 120样本 | 电气 | 输出变异 | 组件级标签 | 3 | 新制造组件的电气表征 |
| 迷你面板数据集 [32] | 60次测试 | 电气 | 反向偏置、阴影 | 测试级标签 | 3 | 室内和室外I-V及P-V测量 |
| 蜗牛轨迹红外数据集 [26] | 277 | 红外 | 热点、蜗牛轨迹 | 图像级标签 | 3 | 带有气象信息的公开热成像数据集 |
注:EL:电致发光;IR:红外;PID:电势诱导衰减。"—"表示原始研究中未报告相应信息。标注指与每个数据集一起提供的真实信息类型。
---
## 5. YOLO模型在光伏缺陷检测中的分类
本节回顾了用于光伏缺陷检测的基于YOLO的模型的详细分类。这些研究根据架构增强、训练策略和部署适用性分为12个不同类别,以突出不断演变的趋势和技术创新。
### 5.1. 用于太阳能光伏故障定位的基线YOLO模型
基线YOLO模型是指YOLO架构的原始世代,通过卷积神经网络框架执行统一的对象定位和分类,设计用于同时进行边界框回归和类别预测。这些架构联合优化边界框坐标、对象置信度和类别概率,用于光伏故障定位任务。
$$\mathcal{L}_{\text{YOLO}} = \mathcal{L}_{\text{coord}} + \mathcal{L}_{\text{conf}} + \mathcal{L}_{\text{cls}}$$
其中 $\mathcal{L}_{\text{coord}}$ 惩罚边界框位置和尺度的误差,$\mathcal{L}_{\text{conf}}$ 惩罚对象置信度的不正确估计,$\mathcal{L}_{\text{cls}}$ 惩罚检测到的光伏缺陷类别的分类误差。在光伏检验应用中,此优化目标直接影响热点、裂纹和微裂纹等缺陷的定位能力,其中精确的边界框回归和分类置信度至关重要。
基于深度学习的YOLO架构已在多种成像方式和部署条件下,展示了强大的自动化光伏故障定位能力。早期基于YOLO的实现,特别是YOLOv3,通过启用高效的无人机辅助空中定位以及可靠的热缺陷分析,同时与早期对象检测框架相比保持了定位能力和推理效率之间的良好平衡,为光伏检验建立了强大的基线[33]、[34]、[35]。在实际的光伏检验应用中,YOLOv3在光伏污染定位中达到了97.78%的准确率[33],展示了强大的识别表面级光伏缺陷的能力。同样,YOLOv3在航天器光伏面板定位中达到了98.89%的精确度和89%的召回率,同时运行速度快于基于Faster R-CNN的框架[34],凸显了其计算效率和适用于部署导向的检验场景。
**图6. YOLOv11模型的内部架构结构。**
早期基线研究中的一个明显趋势是,初始YOLO架构(如YOLOv3)提供了强大的计算效率和相对轻量的部署能力,而后期变体(如YOLOv5至YOLOv11)则改善了在多样化光伏成像条件下的鲁棒性和泛化能力。然而,定位性能仍然高度依赖于光伏缺陷类型和成像方式,其中热成像可见的缺陷(如热点)通常比微裂纹和旁路二极管故障等细微结构缺陷更容易被可靠定位。需要注意的是,本综述中使用的"YOLOv11"一词指的是基于YOLO框架构建的近期社区驱动实现和研究适配版本,包括基于Ultralytics的变体,而非单一官方标准化发布版本。此外,使用YOLOv3进行无人机辅助光伏检验,在蜗牛轨迹和破碎玻璃等光伏缺陷上达到了98.4%的mAP和91%的准确率,优于YOLOv2和基于AlexNet的框架[35],展示了在实际光伏检验应用中可靠的光伏故障定位能力。后续发展,特别是基于YOLOv5的架构,标志着向更加鲁棒且面向部署的光伏故障定位框架的过渡,这些框架能够在支持嵌入式和低功耗部署环境的同时提高跨数据集的泛化能力[36]至[43]。比较基准研究表明,在某些光伏检验设置下,YOLOv5的mAP值高于YOLOv3和YOLOv4[36],尽管YOLOv4在定位精度和计算效率之间保持了更有利的平衡。这些观察结果凸显了定位能力改善与部署效率之间的权衡。
在实际的光伏检验场景中,YOLOv5在多种光伏缺陷类别上展示了强大的性能,在污垢定位中达到了80%以上的准确率[37],在使用无人机采集的图像识别多种光伏缺陷类别时达到了98%的精确度[38]。YOLOv5还展示了稳定的热热点定位能力,准确率为81%[39],而数据集质量的改善将定位准确率从83%提高到87%[40]。此外,YOLOv5使用紫外成像进行光伏裂纹定位时达到了92.3%的准确率[41]。轻量级YOLOv5变体进一步展示了在低功耗嵌入式环境中可靠部署的适用性[42]、[43],强化了其在实际光伏监测系统中的应用性。使用YOLOv7和YOLOv8架构的进一步发展改善了在不同照明条件、噪声、无人机图像变化和环境复杂性下的定位鲁棒性[44]至[47]。在这些基线架构中,出现了一个一致的模式,即较新的YOLO变体(如YOLOv8至YOLOv11)改善了在不同光伏检验条件下的泛化能力和定位鲁棒性,而早期架构(如YOLOv3和YOLOv5)则相对更具计算效率,更容易部署在嵌入式平台上。这反映了定位性能提升与架构复杂性增加之间持续的权衡。
在实际的光伏检验场景中,YOLOv7在基于红外和RGB的数据集上都展示了可靠的定位性能,在ROBOFLOW热成像上达到了85.9%的准确率[44],在使用无人机采集的RGB图像结合预处理策略时达到了95.91%的准确率[45]。YOLOv7还展示了在嵌入式光伏检验应用中强大的部署适用性,在面向部署的推理条件下达到了高达99%的mAP[46]。此外,域泛化技术进一步改善了来自不同成像来源的光伏数据集之间的性能一致性,在基于无人机的热成像数据集中达到了99%的mAP@0.5[47]。在此基础上,较新的YOLO变体突出了重要的任务特定定位差异。例如,YOLOv5在光伏裂纹定位中达到了94.1%的精确度,YOLOv8在鸟粪定位中达到了79.2%的召回率,YOLOv11达到了报告的最高mAP@0.5,为93.4%[48],表明定位性能根据光伏缺陷类型和成像条件而有很大差异。
比较基准研究表明,YOLOv8和YOLOv9在泛化能力和不同光伏检验条件下的定位一致性方面优于早期YOLO变体[49]至[53]。YOLOv8展示了基于电致发光的光伏缺陷定位改善,达到了90.5%的准确率,同时与基于YOLOv5的框架相比改善了推理效率[54]。它进一步改善了红外光伏成像中微裂纹和分层缺陷的定位能力[55]。同样,基于SPHERE光伏数据集的基准研究表明,YOLOv8-m达到了97.26%的准确率和100%的灵敏度,优于YOLOv9-e和定制CNN架构[49]。此外,YOLOv9在光伏热点定位中达到了精确度、召回率和mAP均超过0.96的表现[50]。进一步的比较研究表明了相对于早期YOLO架构的持续改善。例如,基于GELAN的评估报告称,在热成像光伏故障定位中,YOLOv8和YOLOv9优于YOLOv5至YOLOv7,达到了70.4%的mAP[51]。额外的基准研究进一步确认了YOLOv8在不同照明和有噪声的光伏检验条件下优越性[52]、[53]。
在此基础上,近期YOLOv10和YOLOv11架构进一步改善了光伏故障定位能力。YOLOv11-X达到了89.7%的精确度、87.7%的召回率、92.7%的mAP和90%的F1分数[2]。然而,使用YOLOv11进行热点和旁路二极管定位达到了相对中等的性能,召回率为0.807,精确度为0.726,mAP@0.5为0.769[56],表明对于细微和复杂的光伏缺陷类别仍存在局限性。在无人机辅助的光伏检验场景中,集成红外和视觉图像的定位框架使用YOLOv8和Faster R-CNN,在光伏故障定位中达到了87%的mAP,在结构损伤识别中达到了76%的准确率[57]。除标准YOLO架构外,替代框架也展示了有竞争力的定位性能。例如,PP-YOLO在机载光伏灰尘定位中优于SSD、Faster R-CNN和YOLOv5,达到了89.71%的精确度和90.23%的召回率[58]。同样,YOLOv8在AgriPV光伏环境中的阴影定位中优于基于GAN和编码器-解码器的框架[59]。
此外,混合和基于Transformer增强的架构为多样化光伏检验条件下的鲁棒性改善做出了贡献。集成学习和基于Transformer的增强进一步改善了YOLOv9和YOLOv11在多种光伏故障条件下的定位鲁棒性[60]、[61],而基于YOLOv7和YOLOv9的混合架构在无人机采集的数据集中展示了针对图像模糊和遮挡的改善鲁棒性[62]、[63]。从部署角度来看,包括量化和剪枝在内的优化策略改善了YOLOv8在嵌入式边缘设备上的部署效率,同时保留了可接受的定位能力[64]、[65]。最近期的YOLOv11实现进一步展示了在恶劣光伏检验条件下(如雾气和低照明)改善的鲁棒性,达到了88.5%的mAP[66]。
总体而言,这些研究表明,各代 YOLO 模型在定位能力上的改进不仅受到架构深度的影响,还受到特征表示策略、成像模态、部署优化以及光伏数据集特征之间相互作用的共同影响。先进 YOLO 模型的内部架构如图 6 所示,而各基线 YOLO 模型在光伏故障定位方面的对比总结见表 4。为提高所报告结果的可追溯性,表 5 汇总了基线 YOLO 光伏故障定位研究中报道的数据集、评估指标、IoU 阈值、输入分辨率、评估层级、硬件配置及关键实验设置。如表 5 所示,基线 YOLO 研究采用了多样化的数据集、评估协议、硬件平台和实验设置。IoU 阈值、评估层级、输入分辨率和运行环境方面的差异限制了所报告性能的直接比较。因此,在解读定位结果时,应结合相应的实验设置一并考虑。
**5.1.1 主要发现**
- 从 YOLOv3 到 YOLOv11 的基线 YOLO 架构始终展现出定位能力与计算效率之间的良好平衡,这推动了其在无人机辅助及面向部署的光伏检测应用中的广泛采用。
- 各代 YOLO 模型的改进主要由增强的特征表示、优化策略和训练方法驱动,而非重大的架构重新设计,从而在定位鲁棒性和泛化能力方面实现了稳步提升。
- 定位性能在不同光伏缺陷类别之间差异显著,其中较大且热可见的缺陷(如热斑)通常比细微的结构缺陷(包括微裂纹和旁路二极管故障)更容易被可靠定位。
- 尽管较新的架构如 YOLOv8 至 YOLOv11 在光照变化、噪声和环境条件下提升了鲁棒性,但也增加了架构复杂度和部署开销,特别是在资源受限的嵌入式边缘平台上。
**表 4. 用于光伏故障定位的基线 YOLO 模型详细对比。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|---------|------|------|-------------|---------|------|------|
| [35] | YOLOv3 | 无人机辅助空中光伏缺陷定位 | 98.4% | 准确率:91% | 空中光伏检测定位效率高 | 计算开销较高,嵌入式部署适用性有限 |
| [46] | YOLOv7 | 面向嵌入式的光伏缺陷定位 | 99.0% | 指标详情未完全报告 | 高定位精度与高效推理行为 | 对大规模光伏部署的扩展性有限 |
| [49] | YOLOv8-m | SPHERE 基准光伏缺陷定位 | – | 准确率:97.26%,灵敏度:100% | 光伏缺陷定位灵敏度高 | 缺失 mAP 值,限制直接定量比较 |
| [2] | YOLOv11-X | 基于热成像的光伏故障定位 | 92.7% | 精确率:89.7%,召回率:87.7%,F1 分数:90% | 多评估指标下定位性能均衡 | 不同光伏缺陷类别间定位性能差异较大 |
| [56] | YOLOv11 | 热斑和旁路二极管定位 | 76.9% | 召回率:80.7%,精确率:72.6% | 有效的热斑定位能力 | 旁路二极管缺陷定位性能下降 |
注:"–"表示原研究中未报告该指标。各基线 YOLO 模型的性能评估采用不同的数据集、部署设置、运行时框架和测试协议。部分研究未一致地指定 IoU 阈值、数据集划分策略、硬件配置,或评估是在图像级、组件级还是缺陷级粒度上进行的,这限制了跨模型和部署环境的直接定量比较。
**表 5. 基线 YOLO 光伏故障定位研究中数据集、指标和实验设置的可追溯性总结。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|---------|--------|---------|-----|--------|------|------|------|
| [35] | PVEL-AD, EL2021 | mAP、准确率 | NR | 高分辨率 EL | 图块级 | 边缘(NR) | 使用自定义 EL 数据集进行微裂纹定位的注意力增强 YOLO 模型。 |
| [46] | ELPV + PVEL-AD | mAP@0.5 | 0.5 | 640×640 (512×512) | 图块级/全图 | RTX3090 (4.8 ms) | YOLOv7 及其轻量变体用于裂纹、热斑和多故障定位评估。 |
| [49] | SPHERE | 准确率、精确率、召回率、F1 | N/A | NR | 全图 | NR | 使用整板图像进行图像分类基准测试;IoU 不适用。 |
| [2] | PVEL-AD, Drone, Aerial IR | 精确率、召回率、mAP@0.5 | 0.5 | 640×640 | 图块级/全图 | RTX4090 (9.2 ms) | YOLOv5、YOLOv8、YOLOv10 和 YOLOv11 在光伏故障定位中的比较。 |
| [56] | Thermal PV Dataset | 精确率、召回率、mAP@0.5 | 0.5 | NR | 全图 | NR | 使用 YOLOv11 进行热斑和旁路二极管故障的热成像定位。 |
注:NR 表示未报告信息,N/A 表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果之间的直接比较。
**表 6. 用于光伏板故障定位的轻量级深度学习模型详细对比。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|---------|------|------|-------------|---------|------|------|
| [67] | YOLOv5 + ShuffleNet v2 + 注意力机制 | 轻量骨干网络与注意力增强特征提取 | – | 准确率:93.5% | 高效特征提取提升定位精度 | 架构复杂度和训练开销增加 |
| [68] | YOLOv8n + C2f-Faster + EMA + WIoU | 增强版 YOLOv8n 与轻量优化模块 | – | mAP 提升:+2.3%,速度:+152 FPS | 推理效率和定位能力提升 | 复杂性可能降低对低功耗嵌入式设备的适用性 |
| [69] | CWE-YOLOv8 | 动态卷积、小波池化和高效检测头 | – | mAP 提升:+5.1%,模型大小:7.26 MB | 紧凑架构下定位改进显著 | 架构复杂度和训练难度增加 |
| [70] | SDHS-RLDNet | 多尺度热斑定位与知识蒸馏 | 93.7% | 准确率:95.2%,召回率:94.5% | 密集热斑缺陷定位能力强 | 模型复杂度和训练成本较高 |
| [71] | DFL-PVNet | 通过优化特征提取降低复杂度 | 92.1% | 召回率:94.8%,复杂度降低:56.7% | 轻量架构且定位能力强 | 推理基准测试和参数报告不完整 |
| [72] | YOLOv8-FS | FasterNet 骨干网络与混合卷积及动态上采样 | – | 准确率:98.4%,精确率:98.2%,召回率:98.3% | 紧凑设计下定位性能优异 | 架构复杂度和优化要求增加 |
注:"–"表示原研究中未报告该指标。
**5.2 轻量级 YOLO 架构**
轻量级 YOLO 架构专为资源受限的部署环境而设计,通过减少模型大小、推理延迟和计算复杂度,同时保持强大的光伏故障定位能力。这些架构利用高效模块,如 GhostConv、深度可分离卷积、轻量骨干网络和紧凑特征融合策略,以最小化冗余特征生成并提高嵌入式边缘平台上的部署效率。近期专为 Edge TPU 部署优化的轻量架构,如 TinyTripleNet,进一步体现了紧凑型光伏故障检测框架在低功耗嵌入式推理环境中的重要地位 [73]。
(2) Ghost(x) = x·W? + f(x·W?)
其中 x 表示输入特征图,W? 和 W? 为可学习的卷积权重,f(·) 表示计算开销较低的线性变换,如深度卷积。该公式在减少冗余特征生成的同时,为嵌入式和无人机辅助检测平台上的光伏故障定位保持了足够的表示能力。
轻量级 YOLO 架构的最新发展显著提升了光伏故障定位能力,特别是在面向部署的嵌入式环境中。早期的轻量级实现验证了低功耗硬件平台上光伏检测的可行性,其中 YOLOv5-nano 在小型光伏数据集上达到了 89% 的准确率,表明其适用于资源受限的部署条件 [66]。类似地,使用轻量级 YOLOv5 变体的无人机辅助光伏检测系统实现了良好的 F1 分数,证明了其在空中检测条件下的有效定位能力 [74]。在此基础上,后续的轻量级架构专注于提升推理效率,同时不显著牺牲定位性能。将优化骨干网络如 ShuffleNet v2 与注意力机制相结合,在保持轻量级架构特征的同时提升了定位能力 [67]。此外,基于 YOLOv8 的轻量级架构在 Raspberry Pi 5 等嵌入式平台上进一步展示了部署适用性,实现了较强的 mAP 性能,同时推理行为较为高效 [75]。进一步的发展强调了模块化优化策略,其中 C2f-Faster 模块和 EMA 注意力等技术同时提升了定位能力和推理效率 [68]。分层轻量特征提取框架结合 GRU 网络等序列建模技术,在面向边缘的部署限制下也展示了有效的光伏故障检测能力 [76]。类似地,Slim-Neck 和基于 CSP 的模块等结构改进在保持定位性能的同时降低了计算复杂度 [77]。小波池化和 DySnakeConv 等高级特征提取策略进一步提升了特征表示能力,从而在紧凑架构中实现了更高的定位准确率 [69]。
在更专业的光伏检测场景中,轻量级架构被调整为满足特定的缺陷定位需求。例如,SDHS-RLDNet 通过知识蒸馏策略提升了密集热斑定位 [70],而 DFL-PVNet 则在定位性能有限下降的情况下降低了计算复杂度 [71]。YOLOv8-FSD 等混合轻量级架构在保持紧凑面向部署设计的同时,实现了接近最先进水平的定位准确率 [72],彰显了高效 YOLO 光伏检测框架的持续演进。类似地,融合 Ghost 卷积、BiFPN 和 ECA 注意力机制的 YOLOv8n-GBE 等混合轻量级框架,在保持紧凑面向部署架构设计的同时,展现了强大的光伏缺陷定位能力 [78]。这些架构的一个共同趋势是:当与高效特征提取和优化策略相结合时,轻量级模型能够实现具有竞争力的定位性能。然而,与较重的基于 Transformer 增强或注意力机制的架构相比,它们在检测极小、低对比度或空间复杂的光伏缺陷时,定位能力通常会下降。这反映了计算效率与细粒度定位能力之间的固有权衡。轻量级 YOLO 模型的详细对比见表 6。为进一步分析部署可行性,表 7 汇总了代表性的可边缘部署 YOLO 架构及其常用效率指标。由于输入分辨率、硬件平台、运行时框架和评估协议方面的差异,跨研究的直接比较仍然困难。
需要指出的是,所报告的 FPS 和部署效率指标高度依赖于硬件平台、优化框架、运行时配置和输入分辨率,在没有标准化基准测试条件下,难以进行跨研究的直接定量比较。以下关键观察总结了轻量级 YOLO 光伏故障定位框架的整体趋势和架构权衡。
**表 7. 轻量级可边缘部署 YOLO 模型对比。**
| 模型 | 参数量 | GFLOPs | 输入 | mAP 指标 | FPS/设备 |
|------|--------|--------|------|---------|---------|
| YOLOv5-n | – | – | 640 | mAP@0.5 | 报道了嵌入式部署适用性 |
| YOLOv8n | – | – | 640 | mAP@0.5 | >150 FPS(基于 GPU 评估) |
| CWE-YOLOv8 | – | – | 640 | mAP@0.5 | 面向边缘的部署能力 |
| DFL-PVNet | 已减少 | – | 640 | mAP@0.5 | 高效嵌入式部署 |
注:"–"表示未报告该指标。所报告的性能和效率指标高度依赖于硬件平台、运行时框架、优化设置和输入配置,限制了跨研究的直接比较。
为提高所报告结果的可追溯性,表 8 汇总了轻量级 YOLO 光伏故障定位研究中报道的数据集、评估指标、IoU 阈值、输入分辨率、评估层级、硬件配置及关键实验设置。如表 8 所示,轻量级 YOLO 模型采用了多样化的数据集和评估协议,同时强调面向嵌入式和边缘光伏检测的计算效率。在比较所报告的性能时,应考虑实验设置和硬件配置的差异。
**表 8. 轻量级 YOLO 光伏故障定位研究中数据集、指标和实验设置的可追溯性总结。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|---------|--------|---------|-----|--------|------|------|------|
| [67] | PV Fault Dataset | 准确率 | NR | NR | 全图 | NR | 具有 Ghost 模块和注意力机制的轻量级 YOLOv5,用于高效热故障定位。 |
| [68] | PV Cell Defect Dataset | mAP@0.5、FPS | 0.5 | NR | 图块级 | NR | 增强 YOLOv8n(C2f-Faster、EMA 注意力、WIoU),用于面向边缘的缺陷检测。 |
| [69] | Custom PV Defect Dataset | mAP | NR | NR | 全图 | NR | CWE-YOLOv8 采用动态卷积和小波池化进行轻量级缺陷检测。 |
| [70] | Thermal PV/UAV Dataset | mAP@0.5、准确率、召回率 | 0.5 | 640×640 | 全图 | 98.8 FPS;其余 NR | 知识蒸馏和基于 Transformer 的轻量级模型,用于热热斑定位。 |
| [71] | Custom UAV Thermal Dataset | mAP@0.5、召回率 | 0.5 | NR | 全图 | NR | 降低计算的轻量级 YOLOv8 框架,用于无人机热光伏检测。 |
| [72] | EL PV Cell Dataset | 准确率、精确率、召回率 | NR | NR | 全图 | NR | 基于 FasterNet 的轻量级架构,用于电致发光缺陷检测和边缘部署。 |
注:NR 表示未报告信息,N/A 表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果之间的直接比较。
**5.2.1 主要发现**
- 轻量级 YOLO 架构始终在定位性能和计算效率之间实现了良好的平衡,使其适用于嵌入式边缘设备、无人机辅助光伏检测以及面向部署的监控系统。
- 性能提升主要由 GhostConv、ShuffleNet、C2f、EMA 注意力和轻量特征融合策略等高效架构模块驱动,表明优化的架构设计可以显著降低计算开销,同时保持定位能力。
- 这些架构对常见和中等复杂度的光伏缺陷表现有效;然而,对于极小、细微或低对比度缺陷的定位能力通常仍低于较重的基于 Transformer 增强或注意力机制的架构。
- 尽管先进的轻量级架构可以接近最先进水平的定位性能,但它们通常引入了额外的架构复杂性、优化难度和部署开销,凸显了简洁性、效率与最大定位能力之间持续的权衡。
**5.2.2 轻量级边缘光伏检测的实际部署考量**
对于 YOLO 光伏检测系统的实际部署,应解决以下几个面向部署的考量:
- **成像模态选择:** 电致发光(EL)成像在检测微裂纹和潜在诱导衰减(PID)等微观光伏缺陷方面尤为有效,而红外(IR)成像更适合检测热斑等热异常。RGB 成像通常适用于识别污垢和遮荫等大面积缺陷。
- **高度与分辨率权衡:** 在无人机辅助光伏检测中,提高飞行高度可增加检测覆盖范围,但会降低空间分辨率,从而对小型光伏缺陷的定位能力产生负面影响。
- **标注粒度:** 细粒度的标注(如边界框和像素级标签)可显著提升定位准确率,尤其对于不规则和空间分布的光伏缺陷。
- **嵌入式部署约束:** 边缘设备受限于内存容量、计算资源、功耗和热管理约束。因此,轻量级架构与剪枝、量化、ONNX 加速和精度感知推理等优化策略相结合,对于高效的嵌入式部署至关重要。
- **维护工作流集成:** 光伏故障定位输出应集成到自动化维护和监控流程中,以支持实时报告、调度和预测性维护操作。
**5.3 基于 Transformer 增强的 YOLO 架构**
基于 Transformer 增强的 YOLO 架构将源自 Transformer 网络的自注意力机制集成到 YOLO 框架中,以提升光伏故障定位能力,特别是针对小型、低对比度和空间分散的缺陷。这些架构通过结合卷积特征表示与基于 Transformer 的自注意力机制,改进了特征提取和全局上下文建模。
(3) Attention(Q, K, V) = softmax(Q·K?/√d?)·V
其中 Q、K 和 V 分别表示查询矩阵、键矩阵和值矩阵,d? 表示键向量的维度。在光伏检测应用中,该注意力机制通过捕获红外和电致发光图像中的长程上下文依赖关系,提升了低对比度和空间分布光伏缺陷的定位能力。
基于 Transformer 增强的 YOLO 架构通过解决传统卷积特征提取的局限性,显著提升了光伏故障定位能力。早期的发展表明,将 CNN 骨干网络与基于 Transformer 的注意力机制相结合,提升了对小型和视觉细微光伏缺陷的定位能力。
例如,文献[79]提出的框架将偏振自注意力与紧凑卷积Transformer(CCT)集成到YOLO架构中,达到了77.9%的mAP@0.5,相比基线YOLOv8性能提升了17.2%。这证明了Transformer增强的上下文建模在细粒度光伏缺陷定位中的有效性。使用补丁嵌入和多头自注意力的Transformer架构如图7所示。在初步发展基础上,后续架构将注意力机制与多尺度特征融合策略相结合,以提高在挑战性光伏成像条件下的鲁棒性。YOLO-HRS[80]等框架将注意力增强模块与多尺度特征聚合相结合,达到了88.98%的mAP@0.5,同时提高了在不同光照条件和复杂背景下的定位鲁棒性。
除架构改进外,面向优化的训练策略进一步提升了定位能力。YOLOS-PV[81]通过代价函数优化策略增强了光伏故障定位,达到了89.4%的mAP@0.5:0.95。这些发现凸显了优化目标和训练方法对于提高Transformer增强光伏检测系统定位精度的重要性。进一步的进展集中在更具集成性的混合Transformer-YOLO架构上,以平衡定位性能和计算效率。PV-YOLO框架[82]集成了PVTv2、CBAM、改进的标签分配和SIoU损失,达到了92.56%的mAP,相比基于YOLOX的配置提升了10%以上。该框架展示了一种平衡架构,能够在保持相对高效推理行为的同时提高定位性能,适合部署。与轻量级和基线YOLO架构相比,Transformer增强模型在捕获全局上下文信息和检测小而微弱且空间分布的光伏缺陷方面具有明显优势,特别是在复杂成像条件下。然而,这些改进通常伴随着计算复杂度、内存使用量和部署开销的增加,降低了其在高度资源受限嵌入式部署环境中的适用性。总体而言,这些发展展示了从早期实验性Transformer集成向更加精细化和面向部署的Transformer-YOLO框架的演进,后者能够提高定位精度、上下文建模能力和在不同光伏检测条件下的鲁棒性。Transformer增强YOLO模型在光伏故障检测中的比较分析见表9。
为提高报告结果的可追溯性,表10总结了Transformer增强YOLO光伏故障定位研究中报告的、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
表9. Transformer增强YOLO模型在光伏板故障检测中的比较分析。
| 文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|------|------|------|-------------|----------|------|------|
| [79] | 偏振自注意力 + CCT YOLO | 早期Transformer-注意力与CNN骨干网络的集成 | 77.9% | 检测提升:比基线+17.2% | 改善了微妙和小规模光伏缺陷的定位能力 | 计算复杂度较高,推理效率降低 |
| [81] | YOLOS-PV | 具有优化代价函数的Transformer-YOLO框架 | — | mAP@0.5:0.95: 89.4% | 通过面向优化的训练改善了定位性能 | 面向部署的基准测试有限,运行时评估不完整 |
| [82] | PV-YOLO | 具有PVTv2骨干网络和注意力模块的混合框架 | 92.56% | 未明确指定IoU阈值 | 具有平衡推理行为的高定位精度 | 计算复杂度增加可能降低嵌入式部署适用性 |
注:"—"表示原始研究中未报告相应指标。
如图7所示,Transformer增强YOLO模型采用多样化的数据集和实验设置,同时改善了光伏故障定位的上下文特征表示。在比较报告的性能时,应考虑评估协议、硬件平台和测试条件的差异。
表10. Transformer增强YOLO光伏故障定位研究中数据集、指标和实验设置的可追溯性总结。
| 文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估级别 | 硬件 | 来源 |
|------|--------|----------|-----|--------|----------|------|------|
| [79] | PVEL-AD, Roboflow | mAP@0.5 | 0.5 | NR | 全图 | NR | 集成PSA和CCT模块的Transformer增强YOLO,用于改进上下文特征提取和微裂纹定位。 |
| [81] | 私有热成像数据集 | mAP@0.5:0.95 | 0.5:0.95 | 640 × 640 | 全图 | NR | YOLOS-PV将基于Transformer的特征学习与优化的代价函数设计相结合,用于光伏故障检测。 |
| [82] | PVEL-AD, 自定义无人机数据集 | mAP@0.5 | 0.5 | 640 × 640 | 补丁/全图 | RTX3090; Jetson Orin Nano (>45 FPS) | 集成PVTv2、注意力模块和SIoU损失的混合基于Transformer的YOLO架构,用于高效边缘部署。 |
| [80] | 光伏板数据集 | mAP@0.5 | NR | NR | 全图 | NR | 具有多尺度特征融合的混合注意力-Transformer框架,用于光伏故障定位。 |
注:NR表示未报告信息,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响报告结果的直接比较。
5.3.1. 关键发现
• 在YOLO架构中集成基于Transformer的注意力机制,通过捕获传统基于CNN的架构可能忽略的长距离上下文依赖性,一致地改善了对小型、微妙和低对比度光伏缺陷的定位能力。
• 将基于Transformer的注意力与多尺度特征融合相结合,进一步提高了在挑战性光伏检测条件下的鲁棒性,包括光照变化、噪声和复杂背景环境。
• Transformer增强架构中的定位改进不仅受架构修改的影响,还受面向优化的训练策略(如代价函数细化和高级标签分配技术)的影响。
• 尽管具有较强的定位能力和上下文建模性能,Transformer增强的YOLO架构引入了较高的计算复杂度、内存使用量和部署开销,使其与轻量级YOLO替代方案相比,不太适合高度资源受限的嵌入式部署平台。
5.4. 用于光伏板故障定位的注意力增强YOLO模型
注意力增强YOLO模型通过集成CBAM、SE、坐标注意力和GAM等注意力机制,改善了光伏故障定位,增强了空间和通道维度的特征表示能力。这些机制提高了模型聚焦于缺陷相关区域并抑制无关背景信息的能力,这对于检测小型、低对比度和空间分布的光伏缺陷尤为重要。
(4) CBAM(F) = Mc(F) ? Ms(F) ? F
其中F表示输入特征图,Mc(F)表示通道注意力图,Ms(F)对应空间注意力图,?表示逐元素乘法。该机制通过在特征提取期间强调光伏缺陷相关的空间和通道信息来提高定位能力(见图9)。
集成在YOLO架构中的注意力机制显著改善了光伏故障定位性能,如表11所示。紧凑的基于注意力的架构如AAPN-Tiny进一步证明,自适应金字塔注意力机制可以改善多类别光伏故障诊断,同时保持嵌入式边缘环境的部署适用性[83]。早期发展集成了CBAM和相关注意力机制以提高特征选择能力,其中EL-YOLOv5等初始框架达到了86%至95%的定位准确率[84]。在这些发展基础上,ST-YOLO将模型权重减少了15%,同时将精度提高了2.9%,展示了相比早期YOLO变体改进的部署效率[85]。在无人机辅助RGB图像分析中观察到进一步改进,SDS-YOLO将mAP@50提高了40.2%,F1分数提高了26.6%[86],凸显了注意力机制在复杂光伏检测条件下的有效性。同样,注意力增强架构如YOLOv7-x-ca在红外光伏图像中达到了96.06%的准确率[87],而YOLOv8-NCS改善了小型光伏缺陷的定位性能,达到了93.18%的精度和91.71%的召回率[88]。集成CBAM和GhostConv模块的轻量级变体进一步展示了定位性能与计算效率之间的强平衡,基于YOLOv8n的架构达到了91.4%的mAP[89]。
除基本的注意力集成外,增强的聚焦机制和架构改进进一步提高了光伏故障定位能力。YOLOv5框架集成SE注意力和Ghost模块达到了92.4%的mAP,比基线配置提升了16.2%[90],而YOLOv5n通过专门的注意力优化技术将训练损失降低了7%以上[91],如图10所示。高级注意力增强框架继续在不同光伏缺陷类别中改善鲁棒性和定位性能。YOLOv7-GX集成GAM注意力和XIoU损失达到了93.4%的mAP[92],而YOLOv7-SE-DS-NWD将微裂纹定位精度提高了1.4%[93]。高性能架构如MRA-YOLOv8达到了96.3%的mAP,F1分数超过95%[94],而优化的YOLOv7-GX框架达到了94.8%的mAP,精度和召回率均超过93%[95]。同样,集成CAM、SAM和麻雀优化的YOLOv3在热点定位方面达到了近乎完美的准确率和召回率[62]。
为提高报告结果的可追溯性,表12总结了注意力增强YOLO光伏故障定位研究中报告的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
表11. 用于光伏板缺陷检测的注意力增强YOLO模型比较。
| 文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|------|------|------|-------------|----------|------|------|
| [87] | YOLOv7-x-ca | 具有注意力模块和NetV2块的YOLOv7 | — | 准确率: 96.06% | 改善了红外光伏图像的定位性能 | 在其他成像模态上的评估有限 |
| [88] | YOLOv8-NCS | 具有NAM、RFBNet和WIoU损失的YOLOv8 | — | 精度: 93.18%,召回率: 91.71% | 增强了小型和微妙光伏缺陷的定位能力 | 计算复杂度增加 |
| [92] | YOLOv7-GX | 具有GAM注意力、小目标层和XIoU损失的YOLOv7 | 93.4% | 指标详情未完全报告 | 小型光伏缺陷的鲁棒定位性能 | 训练复杂度和部署开销略有增加 |
| [94] | MRA-YOLOv8 | 具有MBCANet、ResBlock和AMPDIoU的YOLOv8 | 96.3% | F1分数: >95% | 跨多个光伏数据集的高定位精度 | 较高的计算需求降低了嵌入式部署适用性 |
| [96] | YOLOv10 + PSA + CIB | 具有部分自注意力和紧凑倒置块的YOLOv10 | 98.5% | 指标详情未完全报告 | 跨多个光伏缺陷类别的极高定位精度 | 对特定光伏缺陷模式的性能一致性降低 |
| [62] | YOLOv3 + CAM + SAM + 麻雀优化 | 具有双重注意力和优化策略的YOLOv3 | — | 准确率: 99.2%,召回率: 99.1% | 热点检测的强定位性能 | 基于较旧的骨干网络,泛化能力有限 |
注:"—"表示原始研究中未报告相应指标。
如图8所示,坐标注意力机制结构。
如图9所示,卷积块注意力模块的示意图。
如图10所示,用于特征细化的通道注意力模块和空间注意力模块。
如表12所示,注意力增强YOLO模型采用多样化的数据集和实验设置,同时改善了光伏缺陷的特征表示和定位。在比较报告的性能时,应考虑评估协议、硬件平台和测试条件的差异。
表12. 注意力增强YOLO光伏故障定位研究中数据集、指标和实验设置的可追溯性总结。
| 文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估级别 | 硬件 | 来源 |
|------|--------|----------|-----|--------|----------|------|------|
| [87] | 红外光伏数据集 | 准确率 | 0.5 | NR | 补丁/全图 | NR | 用于红外光伏故障定位的注意力增强YOLO框架,使用坐标注意力和特征融合。 |
| [88] | PVEL-AD, UAV光伏数据集 | 精度、召回率、mAP@0.5 | 0.5 | 1024 × 1024 (EL); 640 × 640 (RGB) | 补丁/全图 | 4.24 ms; 45.9 FPS; 其他NR | 具有NAM、坐标注意力和DyHead的基于注意力的YOLO模型,用于小型缺陷和UAV辅助光伏检测。 |
| [92] | 自定义光伏数据集 | mAP@0.5 | 0.5 | NR | 全图 | NR | YOLOv7-GX集成GAM注意力和XIoU损失,用于多故障光伏定位。 |
| [94] | PVEL-AD, SPD | mAP@0.5, F1分数 | 0.5 | NR | 补丁 | NR | MRA-YOLOv8将MBCANet、ResBlock和AMPDIoU相结合,用于轻量级光伏缺陷定位。 |
| [96] | EL太阳能电池数据集 | mAP@0.5 | 0.5 | 640 × 640 | 全图 | Viking Cluster | 具有部分自注意力和紧凑倒置块的YOLOv10,用于高精度光伏缺陷检测。 |
| [62] | 自定义热点数据集 | 准确率、召回率 | NR | 640 × 640 | 全图 | NR | 具有CAM、SAM和麻雀优化的YOLOv3,用于热斑定位。 |
注:NR表示未报告信息,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响报告结果的直接比较。
在近期发展中,通过高级模块和面向部署的优化策略,注意力机制得到了进一步扩展。如YOLOv10集成部分自注意力的架构在多个光伏缺陷类别中达到了98.5%的mAP[96],而MLCA-YOLO在标准IoU评估阈值下展示了强大的定位性能[97]。同样,结合测试时增强的YOLOv8相比早期YOLOv5框架实现了改进的定位能力[98]。从应用角度看,无人机辅助光伏检测系统也显著受益于注意力机制。基于YOLOv7的框架在鸟粪定位中达到了93.91%的准确率,并在自动化清洁操作后对光伏效率改善作出了可测量的贡献[99], [100]。在这些研究中,注意力机制被证明对检测小型和视觉上微妙的光伏缺陷特别有效,尤其是在特征对比度有限的红外和无人机辅助成像环境中。然而,定位改进因所使用的特定注意力模块而异,轻量级注意力机制通常在定位精度和部署效率之间提供更有利的平衡。此外,集成坐标注意力(图8)的增强YOLOv5框架将定位准确率提高了10%以上[101],而集成CSP-OSA模块的YOLOv7实现了强大的精度和召回率性能[102]。最后,集成Ghost模块、SimAM注意力和全局注意力框架的轻量级和混合注意力机制,在提高定位准确率的同时减少了模型复杂度和计算开销[103], [104], [105]。这些发展凸显了注意力机制在提高光伏故障定位系统的定位能力和部署效率方面日益增长的重要性。
5.4.1. 关键发现
• 注意力机制通过增强模型聚焦于信息丰富的空间和通道维度特征表示的能力,一致地改善了光伏故障定位,使其对小型、微妙和低对比度光伏缺陷高度有效。
• 这些改进在无人机辅助检测条件、红外成像场景和复杂光伏环境中尤为明显,在这些场景中注意力机制改善了特征判别和定位鲁棒性。
• CBAM、SE、坐标注意力和基于Ghost的注意力等轻量级注意力机制在定位精度和计算效率之间提供了有利的平衡,支持在嵌入式和资源受限的边缘平台上部署。
• 然而,高级注意力架构可能引入较高的模型复杂度、计算开销和训练成本,凸显了改进的定位性能与嵌入式部署可行性之间的权衡。
5.5. 具有创新损失函数的YOLO模型
具有创新损失函数的YOLO模型引入了如Varifocal Loss和SIoU Loss等高级优化公式,以改善光伏故障定位精度,特别是针对不平衡、重叠和几何复杂的缺陷模式。
这些损失公式通过增强置信度校准、边界框回归和特征对齐能力,在挑战性光伏检测条件下改善了定位可靠性。
(5) LVF = ?qt log(pt), LSIoU = 1 ? SIoU(Bp, Bgt)
其中qt表示目标IoU分数,pt表示预测的置信度分数,Bp和Bgt分别对应预测和真实边界框。
这些方法改进了光伏缺陷的定位可靠性,尤其针对存在遮挡、重叠、不规则几何形状以及空间模糊的缺陷。近年来,光伏故障定位研究的最新进展日益集中于在深度学习架构中优化损失函数,以提升定位精度和鲁棒性。损失函数优化已成为一种有效策略,能够在不大幅修改架构的前提下提升性能。一个显著示例是将Varifocal Loss集成到增强版YOLOv5框架中[53],该框架在优化过程中自适应平衡困难样本与简单样本。这种方法提高了对遮挡光伏缺陷(如鸟粪和植被遮挡)的定位能力,达到98.5%的精确率和95.9%的召回率,同时以最小的架构开销支持光伏自动清洗应用。在此基础上,引入了几何感知损失函数,以更好地处理不规则且对方向敏感的光伏缺陷。一个改进的YOLOv8框架集成了线性角度方向损失和蛇形卷积模块,提升了无人机辅助光伏检查性能[60]。该策略实现了更精确的方向感知定位,并改善了几何复杂光伏故障模式下的特征提取。该框架达到93%的IoU和85.4%的mAP@50,相比YOLOv8基线性能提升了9.2%,凸显了方向感知优化策略在航拍光伏故障定位中的有效性。进一步的进展集中于通过更复杂的损失函数公式来提升多缺陷定位和鲁棒性。PA-YOLO框架[106]引入了排斥损失、EMA卷积模块和增强特征金字塔,以改善重叠光伏缺陷的分离能力。排斥损失减少了过量的边界框重叠,而EMA模块改善了特征稳定性和定位一致性。这些改进使mAP达到94.5%,同时将模型大小从71.3 MB缩减至48.4 MB。这些研究结果表明,将先进的损失函数公式与轻量级架构优化相结合,可以同时提升定位性能和部署效率。总体而言,这些进展表明,损失函数创新在改善遮挡、重叠及几何复杂光伏缺陷的定位精度方面发挥着重要作用。与大规模架构重新设计相比,先进的损失函数公式通常能在保留底层YOLO架构的同时,以较低的计算开销提供性能提升。用于太阳能电池板故障检测的创新损失函数模型总结于表13。为提高报告结果的可追溯性,表14汇总了采用创新损失函数的基于YOLO的光伏故障定位研究报告中的数据集约、评价指标、IoU阈值、输入分辨率、评估层级、硬件配置及关键实验设置。
**表13. 太阳能电池板故障检测中的创新损失函数模型**
| 文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|------|------|------|-------------|----------|------|------|
| [53] | 改进YOLOv5 + Varifocal Loss | YOLOv5结合Varifocal Loss实现遮挡感知定位 | — | 精确率:98.5%,召回率:95.9% | 对遮挡和类别不平衡的光伏缺陷具有强定位能力 | 部署导向评估有限,运行时分析不完整 |
| [60] | YOLOv8 + 角度损失 + 蛇形卷积 | 方向感知定位与几何敏感特征提取 | 85.4% | IoU:93% | 改善不规则和方向敏感光伏缺陷的定位 | mAP低于其他先进定位框架,推理评估有限 |
| [106] | PA-YOLO + 排斥损失 + EMA卷积 | 利用排斥损失和增强特征金字塔进行多缺陷定位 | 94.5% | 模型大小:48.4 MB | 有效分离重叠光伏缺陷且模型体积紧凑 | 训练复杂度增加,部署基准测试不完整 |
注:"—"表示原始研究未报告对应指标。
如表14所示,采用创新损失函数的研究使用多样化的数据集和实验设置来改善遮挡、重叠及几何复杂光伏缺陷的定位可靠性。在比较报告性能时,应考虑评估协议、硬件平台和测试条件的差异。
**表14. 采用创新损失函数的YOLO光伏故障定位研究的数据集、指标与实验设置可追溯性汇总**
| 文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|------|--------|----------|-----|--------|------|------|------|
| [53] | 自定义PV遮挡数据集 | 精确率、召回率 | 0.5 | 640×640 | 全图/局部 | RTX3090/4090;Jetson Xavier NX | YOLOv5结合Varifocal Loss,在桌面和边缘平台上实现遮挡感知光伏缺陷定位 |
| [60] | 模拟+真实PV数据集 | mAP@0.5、IoU | N/A | N/A | 全图 | N/A | YOLOv8结合角度方向损失和蛇形卷积,用于无人机光伏检查 |
| [106] | 自定义多故障PV数据集 | mAP@0.5 | 0.5 | N/A | 全图 | N/A | PA-YOLO集成排斥损失、EMA注意力和AFPN,实现重叠光伏缺陷定位 |
注:N/A表示未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响报告结果的直接比较。
**5.5.1. 主要发现**
• 优化损失函数提供了一种有效且计算高效的策略,可在不需大幅修改架构的前提下改善光伏故障定位性能。
• Varifocal Loss、SIoU Loss和排斥损失等先进损失函数公式通过改善置信度校准和边界框回归行为,显著提高了遮挡、重叠及类别不平衡光伏缺陷的定位可靠性。
• 几何感知和方向敏感损失函数在无人机辅助光伏检查场景中尤为有益,因为该场景中的缺陷常呈现不规则形状、多变方向和复杂空间分布。
• 尽管具有上述优势,复杂的损失函数设计可能增加优化难度、训练不稳定性及计算开销,且其有效性仍取决于缺陷特征、成像方式和数据集组成。
**5.6. YOLO架构中的特征融合与多尺度改进**
特征融合和多尺度技术通过将多个分辨率的特征图相结合,增强空间和语义表征能力,从而改善YOLO光伏故障定位。PANet和BiFPN等架构实现了多层级特征的高效聚合,提升了定位性能,尤其针对小型、低对比度和密集分布的光伏缺陷。
$$F_{out} = \frac{\sum_i w_i \cdot F_i}{\sum_i w_i + \epsilon}, \quad w_i > 0$$
其中$F_i$表示从不同网络层级提取的特征图,$w_i$表示控制每个特征贡献的可学习权重,$\epsilon$是为防止除零而引入的小常数。该公式通过有效的多尺度特征聚合,改善了对小型和空间分布光伏缺陷的定位能力。
特征融合策略通过增强小缺陷表征和整体鲁棒性,显著改善了光伏故障定位。早期对YOLOv5的改进结合了灵活卷积模块和ECA-Net,达到89.64%的mAP和36.24 FPS[107]。进一步集成C2f模块和SPPF的增强使mAP提升至91.5%[108],证明了多层级特征聚合对光伏缺陷定位的重要性。后续在YOLOv8中引入了C2f-MS、NWD和Soft-NMS等模块,相比YOLOv7-Tiny提升了超过9%[109]。类似地,DMFR-YOLO等模型在小型红外热点定位方面达到93.3%的mAP@0.5[110],而YOLO-ACF等自适应融合框架以有限额外计算开销提升了5.2%的召回率[111]。进一步的进展展示了在多尺度融合架构中集成注意力机制的重要性。例如,MFPD-Net达到92.0%的准确率和90.0%的mAP@50[112],而DEA-YOLOv9通过结合注意力和多尺度融合策略达到94.43%的mAP@0.5[113]。同样,PSA-det以93.6%的mAP和92.4%的F1分数实现了强定位性能,同时保持相对高效的推理行为[114]。
这些改进在无人机辅助和红外光伏检查场景中尤为显著。YOLO-WAD和ESD-YOLOv8等架构展示了强小目标定位能力,分别达到86.3%的准确率和91.8%的F1分数[115]、[116]。Coordinate Attention与BiFPN的集成进一步改善了红外光伏检查性能,达到95.2%的mAP@0.5[117],而使用DCNv3的分段增强框架在电致发光图像分析中达到94.3%的mAP@50[118]。近期设计聚焦于改善小型和密集光伏缺陷的定位精度。BiFDRep-YOLOv8n达到94.6%的mAP@0.5并具有高召回性能[119],而基于AFPN的框架相比YOLOv8基线架构同时改善了精确率和召回率[61]。此外,改进的非极大值抑制(NMS)技术在减少假阳性的同时将mAP提高了6.69%[65]。同样,YOLOv8-P1通过更大的检测头和增强的特征表征能力进一步改善了定位性能[52]。最后,混合融合架构在实际光伏检查条件下表现出强鲁棒性。BFWN-YOLO等框架在无人机光伏数据集中达到超过91%的准确率和F1分数[120],凸显了在光伏监测系统中集成多种融合策略的有效性。总体而言,这些发现表明,多尺度特征融合策略在检测热点和微裂纹等小型、密集和空间分布的光伏缺陷方面尤为有效,而对污垢等较大且视觉均匀的缺陷的改善相对较小。这表明多尺度融合的有效性强烈取决于缺陷尺度、空间分布和成像方式,而非在所有光伏故障场景中提供均匀的性能提升。太阳能电池板缺陷检测中特征融合与多尺度改进的比较呈现于表15。
为提高报告结果的可追溯性,表16汇总了采用特征融合和多尺度增强策略的YOLO光伏故障定位研究报告中的数据集约、评价指标、IoU阈值、输入分辨率、评估层级、硬件配置及关键实验设置。
**表15. 太阳能电池板缺陷检测中特征融合与多尺度改进的比较**
| 文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|------|------|------|-------------|----------|------|------|
| [110] | DMFR-YOLO | 双重多尺度融合的YOLOv8n | 93.3% | 指标细节未完整报告 | 红外热点检测定位性能强 | 架构复杂度增加 |
| [111] | YOLO-ACF | 自适应互补融合的YOLOv5 | — | 召回率提升:+5.2%,mAP提升:+0.8% | 召回率改善且推理行为高效 | 整体mAP改善有限 |
| [113] | DEA-YOLOv9 | 结合注意力机制(EMSA)的多尺度融合 | 94.43% | 指标细节未完整报告 | 精细和小型光伏缺陷定位准确率高 | 计算复杂度较高,增加部署开销 |
| [114] | PSA-det | 空间与通道特征融合的YOLOv8 | 93.6% | F1分数:92.4% | 推理高效且定位性能强 | mAP略低于顶尖模型 |
| [117] | YOLOv8 + CA + BiFPN | 结合BiFPN和坐标注意力的无人机红外定位 | 95.2% | 指标细节未完整报告 | 无人机辅助红外光伏检查性能强 | 跨数据集泛化能力有限 |
| [119] | BiFDRep-YOLOv8n | 精细多尺度融合用于小型光伏缺陷定位 | 94.6% | 召回率:94% | 小型密集光伏缺陷精度高 | 推理效率降低 |
| [52] | YOLOv8-P1 | 更大的检测头以改善特征表征 | 93.9% | 精确率:94.2%,召回率:93.7% | 改善热成像光伏图像定位精度 | 推理效率略有降低 |
注:"—"表示原始研究未报告对应指标。
如表16所示,特征融合和多尺度YOLO研究采用多样化的数据集和实验设置来改善小型、密集和空间分布光伏缺陷的定位。在比较报告性能时,应考虑评估协议、硬件平台和测试条件的差异。
**表16. 采用特征融合和多尺度YOLO光伏故障定位研究的数据集、指标与实验设置可追溯性汇总**
| 文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|------|--------|----------|-----|--------|------|------|------|
| [110] | 自定义红外PV数据集 | mAP@0.5 | 0.5 | 640×640 | 全图 | N/A | DMFR-YOLO集成双重多尺度特征重建,用于红外热点定位 |
| [111] | PVEL-AD | mAP、召回率 | 0.5 | 1024×1024/640×640 | 局部 | N/A | YOLO-ACF采用自适应互补融合改善特征聚合和推理效率 |
| [113] | 自建EL数据集 | mAP@0.5 | 0.5 | N/A | 模组/电池 | N/A | DEA-YOLOv9结合EMSA注意力与多尺度特征融合实现光伏缺陷定位 |
| [114] | PVEL-AD、自定义数据集 | mAP、F1分数 | N/A | 320×320(CWE-YOLOv8) | 局部/全图 | 边缘导向(7.26 MB) | PSA-det及相关YOLOv8变体利用空间-通道特征融合改善定位并支持轻量部署 |
| [117] | PVEL-AD、PV-Multi-Defect | mAP@0.5 | 0.5 | N/A | 局部/全图 | 7.0 GFLOPs;0.29 s/帧 | 坐标注意力和BiFPN增强多尺度红外光伏检查以支持边缘部署 |
| [119] | PVEL-AD | mAP@0.5、召回率 | 0.5 | 640×640 | 局部 | 7.6 GFLOPs | BiFDRep-YOLOv8n精细化多尺度特征融合以实现小缺陷准确定位 |
| [52] | PV-HSD-2025 | mAP@0.5、精确率、召回率 | 0.5 | 640×640 | 全图 | N/A | YOLOv8-P1引入高分辨率检测头以改善超小缺陷定位 |
注:N/A表示未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响报告结果的直接比较。
**5.6.1. 主要发现**
• 多尺度特征融合通过在多个分辨率层级结合空间和语义信息,持续改善小型、密集和低对比度光伏缺陷的定位。
• 这些方法在红外和无人机辅助光伏检查场景中尤为有效,因为这些场景中的缺陷往往细微、空间分布且难以通过单尺度特征表征区分。
• 在多尺度融合框架中集成注意力机制进一步提升了特征选择能力和在复杂环境与成像条件下的定位鲁棒性。
• 然而,高级特征融合策略增加了架构复杂度、计算开销和部署成本,凸显了定位性能提升与嵌入式部署效率之间的权衡。
**5.7. 混合与融合型YOLO架构**
混合与融合型YOLO架构将YOLO框架与分割网络、Transformer、注意力模块和优化策略等互补模型相结合,以改善光伏故障定位精度、鲁棒性和多任务能力。这些方法通过集成分割、分类、上下文建模和多模态特征融合等额外任务,扩展了标准目标检测流程。
$$L_{total} = \alpha \cdot L_{det} + \beta \cdot L_{seg}$$
其中$L_{det}$表示检测损失,$L_{seg}$表示分割损失,$\alpha$、$\beta$为平衡各优化目标贡献的权重因子。该公式实现了目标检测和像素级定位的联合优化,对复杂光伏故障场景尤为有益。
混合与融合型深度学习架构通过利用多个模型的互补优势,在光伏故障定位方面取得了显著提升。早期进展主要将分类骨干网络和基于CNN的框架与YOLO架构相结合,以改善特征提取和基线定位能力。例如,基于Xception和ResNet的集成方案展示了在挑战性光伏成像条件下将深度特征提取与YOLO定位流程相结合可行性[121]、[122]。在此基础上,优化驱动和嵌入方法进一步改善了定位性能和泛化能力。优化增强框架如PSO调优的YOLOv8达到了94%的mAP@50强定位精度[123],而基于嵌入的方法如YOLOv8n_CLIP在有限数据条件下展示了改善的泛化能力,达到了高精确率、召回率和mAP性能[124]。这些发现凸显了集成优化策略和语义嵌入对提升鲁棒性和特征表征能力的重要性。该类别内的一个重要进展是将分割与检测任务在统一框架内进行集成。
结合DeepLab和UNet变体等分割网络与基于YOLO的检测器的双分支架构,能够同时提升光伏缺陷的定位精度与像素级理解能力[51], [125], [126]。这些架构对于检测无法仅通过边界框定位准确表达的复杂、不规则光伏缺陷模式尤为有效。其他增强型分割框架进一步证明,在低分辨率和具有挑战性的光伏成像条件下,其IoU和F1得分性能得到提升[127]。基于Transformer和注意力机制增强的混合架构进一步改善了特征表示和上下文建模能力。融合PVT-v2、CBAM和SIoU的框架在复杂多变的光伏成像条件下展现了定位精度的显著提升[128]。这些结果表明,将注意力机制与混合特征提取策略相结合,能够有效提升定位能力和模型泛化能力。
多级和无人机辅助的光伏检测流水线进一步扩展了混合架构的实际适用范围。整合定位、分割和地理定位模块的系统能够实现更全面的光伏检测工作流程,提高定位可靠性和操作效率[129], [130], [131]。类似地,BFWN-YOLO等混合架构通过集成特征增强模块,改善了小缺陷的定位和鲁棒性[120]。最后,多模态融合方法在多样的环境和运行条件下表现出较强的鲁棒性。整合红外、RGB和电气测量的系统在实际光伏监测场景中实现了较高的精度和可靠性[132]。总体而言,混合架构通常优于单一架构框架,能够通过结合互补优势发挥作用,尤其适用于需要兼顾定位和上下文理解的复杂光伏检测场景。然而,这些改进通常伴随着架构复杂度、计算开销和部署难度的增加。混合和融合模型的对比如表17所示。
为提高所报告结果的可追溯性,表18汇总了混合和融合型YOLO光伏故障定位研究中报告的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
**表17. 混合和融合型光伏故障检测模型的详细对比。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 缺点 |
|---------|------|------|-------------|---------|------|------|
| [133] | 混合编码器-解码器 (Transformer + CNN) | 结合Transformer和CNN特征以提升定位能力 | — | 准确率:92.0% | 增强的特征表示和上下文建模能力 | 高计算复杂度 |
| [123] | YOLOv8 + PSO | YOLOv8结合粒子群优化进行超参数调优 | 94.0% | 指标细节未完全报告 | 通过优化提升了定位性能 | 训练时间和优化复杂度增加 |
| [124] | YOLOv8n_CLIP | 基于CLIP的嵌入集成,用于有限数据学习 | 98.5% | 精度:95.74%,召回率:96.51% | 在数据受限条件下具备较强的泛化能力 | 集成复杂且计算成本增加 |
| [128] | YOLOX + PVT-v2 + CBAM + SIoU | 结合Transformer骨干和注意力机制的混合架构 | — | mAP提升:+9.47% | 显著改善定位,增强特征建模 | 高计算成本和架构复杂度 |
| [125] | YOLOv4 + CNN分割 | 将检测与分割集成以实现精准光伏定位 | 98.5% | 准确率:99.8% | 高定位精度并提升像素级理解 | 资源密集型架构,推理效率降低 |
| [132] | 多模态系统 (红外+RGB+电气) | 多传感器融合框架,用于全面的光伏监测 | — | 精度:100%,准确率:98% | 在多种实际运行条件下表现稳健 | 复杂的多传感器集成增加部署开销 |
注:"—"表示原始研究中未报告对应指标。
如表18所示,混合和融合型YOLO研究利用多种数据集和评估设置,组合了多种架构和感知模态。在比较所报告性能时,应考虑实验协议、硬件平台和测试条件的差异。
**表18. 混合和融合型YOLO光伏故障定位研究中数据集、指标和实验设置的可追溯性汇总。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|---------|-------|---------|-----|-------|------|------|------|
| [133] | 光伏缺陷数据集 | 准确率 | NR | NR | 整体 | NR | 混合Transformer-CNN编码器-解码器改善光伏缺陷定位的特征提取 |
| [123] | 自定义光伏数据集 | mAP@0.5 | 0.5 | NR | 整体 | NR | 使用粒子群优化(PSO)优化YOLOv8,改善光伏故障检测 |
| [124] | EL光伏数据集 | mAP@0.5, 精度, 召回率 | 0.5 | 640×640 | 片段级 | NR | 增强型YOLOv8n在数据受限条件下改善定位和泛化 |
| [128] | 自建光伏数据集 | mAP@0.5 | 0.5 | NR | 整体 | NR | 混合YOLOX整合PVT-v2、CBAM注意力和SIoU损失,用于无人机光伏检测 |
| [125] | 私有sc-Si EL数据集 | mAP@0.5, 准确率 | 0.5 | 416×416 | 片段级 | 运行时间<3秒/模块 | 检测与分割框架结合YOLO与EL电池分割,实现精准缺陷定位 |
| [132] | 多模态光伏数据集 | 精度, 准确率 | NR | NR | 片段级/整体 | NR | 融合RGB、红外、电气和遥感数据,提升光伏监测鲁棒性 |
注:NR表示信息未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果的直接比较。
**5.7.1. 主要发现**
- 混合YOLO架构通过结合互补能力,如检测与分割,或CNN与Transformer特征提取,一致性地提升光伏故障定位性能,实现对复杂、不规则光伏缺陷的更准确定位。
- 将分割与检测集成,对于无法仅通过边界框定位准确表达的光伏故障场景尤为有效,能够同时提升像素级理解和定位精度。
- 多模态和多级融合方法通过利用红外、RGB和电气测量等多种数据源,提升了在光伏实际运行条件下的鲁棒性,适用于大规模光伏监测应用。
- 尽管这些架构具备较强的定位能力,但引入了更高的计算复杂度、部署开销和训练成本,凸显了定位精度、架构灵活性和嵌入式部署可行性之间的权衡。
**5.8. 基于优化YOLO骨干/颈部模块的架构**
优化的骨干和颈部模块通过增强特征提取和多尺度特征融合效率,提升基于YOLO的光伏故障定位性能,如图11所示,采用CSPNet、BiFPN、Ghost模块和轻量级注意力机制等架构改进。这些方法在保持相对较低计算复杂度的同时,提升了定位精度、推理效率和特征表示能力。
$F_{PANet} = \text{Concat}(P_3, \text{Upsample}(P_4), \text{Upsample}^2(P_5))$
其中$P_3, P_4, P_5$表示从不同骨干阶段提取的特征图,Upsample操作用于对齐特征图分辨率,Concat结合多尺度特征以提升光伏缺陷定位的表示能力。
优化的YOLO架构通过改进骨干和颈部模块以增强特征提取、定位精度和推理效率,显著提升了光伏缺陷定位能力。早期研究表明,YOLOv8、YOLOv9及相关基线YOLO变体在热成像和卫星成像场景中表现强劲,其中基于GELAN的YOLO框架报告了70.4%的mAP[138]。类似地,对于使用卫星图像的光伏板朝向检测,YOLOv4-MobileNetV2框架达到了80.71%的mAP@0.50,同时在精度、召回率和F1得分方面表现强劲,支持大规模光伏监测应用[63]。在这些初步发展的基础上,后续研究专注于通过改进的骨干结构提升特征提取。例如,在YOLOv5中集成权重自适应C3模块,使召回率提升6.13%、精度提升3.06%、F1得分提升5%、mAP提升4.6%,同时小目标检测误差降低19.8%[134]。类似地,YOLOv5s-GBC框架结合BiFPN、GhostConv和注意力模块,与标准YOLO架构相比,定位精度提升2%,推理效率提升20.3%[139]。

**表19. 带有优化骨干和颈部模块的YOLO模型用于太阳能光伏缺陷检测的详细对比。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 缺点 |
|---------|------|------|-------------|---------|------|------|
| [134] | 带权重自适应C3的YOLOv5 | 自适应C3模块增强特征提取 | — | 召回率提升:+6.13%,精度提升:+3.06%,mAP提升:+4.6% | 改善小缺陷定位和整体检测性能 | 架构复杂度增加,性能增益有限 |
| [135] | YOLOv5 + EPSA & Ghost/深度卷积 | 高效注意力与轻量级卷积模块 | 91.5% | 精度:93.3% | 高效计算下提升定位精度 | 架构复杂度和训练难度增加 |
| [22] | GBH-YOLOv5 | GhostConv和BottleneckCSP增强小目标定位 | — | mAP提升:+27.8% | 微小光伏缺陷检测性能强劲 | 架构复杂度增加 |
| [64] | 增强型GBH-YOLOv5 | 增强型GBH-YOLOv5,鲁棒性提升 | 94.6% | 精度:93.8%,召回率:92.1% | 鲁棒且可泛化的定位性能 | 计算需求较高,与基线架构相当 |
| [136] | PKGPVN (基于GBH-YOLOv5) | 先验知识引导的高分辨率光伏图像特征提取 | 97.8% | IoU:82.3%,精度:91.7%,召回率:93.3% | 高定位精度和强召回率,适用于遥感应用 | 领域专用架构限制了更广泛的适用性 |
| [137] | YOLOv9t + AOD-Net + SPD-Conv + iRMB-EMA | 增强型YOLOv9t,应对复杂环境条件 | — | mAP提升:+5.83%,模型尺寸缩减:18.21% | 模型尺寸减小,部署效率提升 | 架构复杂,部署速度评估有限 |
注:"—"表示原始研究中未报告对应指标。
进一步的进展表明,高效注意力机制和轻量级卷积模块对光伏检测任务的重要性。增强型YOLOv5框架结合EPSA注意力和深度Ghost卷积模块,与SSD、Faster R-CNN及早期YOLO变体相比,精度提升6.3%,mAP提升9.4%[135]。类似地,GBH-YOLOv5等架构使用GhostConv和BottleneckCSP模块进一步改善了小缺陷定位,mAP提升至少27.8%[22],后续研究确认了鲁棒性和泛化能力的提升[64]。更专门的方法集成领域知识和环境适应性,以改善挑战性运行条件下的光伏故障定位。例如,PKGPVN框架基于GBH-YOLOv5,融合了先验知识引导的特征提取和遥感信息,使用RCHAM和焦点损失优化策略,实现了超过91%的精度、82%的IoU、97.8%的mAP和93.3%的召回率[136]。最后,针对恶劣环境条件设计的优化架构进一步改善了部署适应性和可扩展性。增强型YOLOv9t框架集成AOD-Net、SPD-Conv和iRMB-EMA模块,mAP提升5.83%,同时模型尺寸减小18.21%,证明了实际光伏监测系统部署效率的提升[137]。与Transformer增强或混合架构相比,骨干和颈部优化策略通常提供增量但计算高效的特征提取和定位能力改进,且不会大幅增加整体模型复杂度。带有优化骨干和颈部模块的YOLO模型用于太阳能光伏缺陷检测的详细对比如表19所示。
为提高所报告结果的可追溯性,表20汇总了采用优化骨干和颈部模块的YOLO光伏故障定位研究中报告的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
如表20所示,采用优化骨干和颈部模块的研究利用多种数据集和实验设置,改善特征提取、多尺度特征融合和定位效率。在比较所报告性能时,应考虑评估协议、硬件平台和测试条件的差异。
**表20. 采用优化骨干和颈部模块的YOLO光伏故障定位研究中数据集、指标和实验设置的可追溯性汇总。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估 | 硬件 | 来源 |
|---------|-------|---------|-----|-------|------|------|------|
| [134] | 自定义RGB卫星数据集 | 精度, 召回率, mAP | 0.5 | 640×640 | NR | 鲲鹏920 + 4×Tesla A100 | 带权重自适应C3的YOLOv5改善特征提取和小缺陷定位 |
| [135] | EL光伏数据集 | mAP@0.5, 精度 | 0.5 | NR | 整体 | NR | YOLOv5集成EPSA注意力和Ghost模块,实现高效光伏缺陷检测 |
| [22] | PV-Multi-Defect | mAP@0.5 | 0.5 | 640×640 | 片段级 | NR | GBH-YOLOv5结合GhostConv和BottleneckCSP增强小目标定位 |
[64] | PV-Multi-Defect | mAP@0.5, 精度, 召回率 | NR | 600×600 | 片段级 | NR | 增强型GBH-YOLOv5使用Ghost卷积提升鲁棒性和推理效率 |
| [136] | AIR-PV, PVP | mAP, IoU, 精度, 召回率 | NR | NR | 片段级 | NR | PKGPVN融合先验知识和遥感特征,实现光伏提取 |
| [137] | 自定义光伏数据集 | mAP提升 | NR | NR | 整体 | 嵌入式清洁机器人 | YOLOv9t集成AOD-Net、SPD-Conv和iRMB-EMA,实现鲁棒的实时光伏检测 |
注:NR表示信息未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果的直接比较。
**5.8.1. 主要发现**
- 优化骨干和颈部模块一致性地提升特征提取和多尺度特征融合,带来更强的定位性能,尤其适用于微小和空间分布的光伏缺陷。
- CSPNet、GhostConv和BiFPN等轻量级、计算高效模块在提升部署效率的同时保持了强劲的定位能力,使这些架构适用于嵌入式和面向边缘的光伏检测系统。
- 该类别内的改进通常是增量性的,但可靠,表明改进特征表示和特征融合策略仍是提升光伏故障定位的有效方法,而无需重新设计整个YOLO架构。
- 然而,结合多种优化策略通常会增加架构复杂度、训练难度和部署开销,凸显了定位性能增益与模型简洁性之间的权衡。
**5.9. 多任务YOLO模型架构**
多任务学习架构通过联合执行多个相关任务,如缺陷定位、灰尘估计、分割和功率损失预测,利用共享特征表示增强基于YOLO的光伏检测系统。这些方法使YOLO模型能够同时执行光伏故障检测和辅助预测任务,同时提升整体系统级效率和操作洞察。
$L_{multi-task} = L_{det} + \lambda \cdot L_{reg}$
其中$L_{det}$表示目标检测损失,$L_{reg}$表示与辅助任务相关的回归损失,如功率损失估计,$\lambda$为平衡两个优化目标贡献的权重因子。
光伏故障定位在维持光伏系统能效和运行可靠性方面发挥着重要作用。早期多任务学习方法主要关注将缺陷定位与灰尘估计等辅助任务结合,以提升运行感知能力。例如,基于YOLO_NAS并集成OpenCV技术的框架达到了96%的精度和89%的召回率,证明了在实际部署场景中较强的定位可靠性[140]。此外,还探索了轻量级YOLO变体,如YOLOv3-tiny和YOLOv5,以提升推理效率并支持在资源受限平台上的部署[140]。在这些初步方法的基础上,后续研究引入了环境和上下文信息,将多任务学习扩展到基础故障检测之外。一种结合EfficientNet进行特征提取、主成分分析(PCA)进行降维以及YOLO定位的数据驱动框架,准确率超过50%,光伏功率损失预测最高达64.93%[141]。这些发现凸显了将环境信息集成到预测性光伏分析中的价值,尽管性能仍受数据复杂度和降维过程中潜在信息损失的制约。
进一步的进展专注于结合检测、分割和定位任务,以提升空间准确性并减少误检。
增强型YOLOv3等高级框架(集成RU_1模块)在利用热成像进行热点检测方面实现了超过98%的准确率[142]。该框架还集成了DeepLab v3+以实现分割精化,并结合几何定位方法进行精确的光伏故障定位,展示了面向复杂光伏检测场景的综合解决方案。总体而言,这些进展表明了一种从基础多任务扩展向更集成化、面向应用的光伏监控系统演进的趋势,后者融合了定位、预测、分割和环境分析等功能。尽管多任务学习提升了整体系统功能性和部署灵活性,但由于共享特征表示,个别任务的性能提升可能仍然有限,凸显了任务多样性与任务特定优化能力之间的权衡关系。光伏故障定位多任务模型的详细比较见**表21**。
**表21. 光伏故障定位多任务模型的详细比较。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|---------|------|------|-------------|----------|------|------|
| [140] | YOLO_NAS + OpenCV | 利用经典图像处理技术进行缺陷定位与灰尘估算 | – | 精确率:96%,召回率:89% | 高效的多任务能力,改进的部署适用性 | 缺乏集成的功率损耗预测或环境分析功能 |
| [141] | EfficientNet + PCA + YOLO | 利用EfficientNet进行特征提取和降维以实现光伏预测任务 | – | 准确率:64.93% | 整合环境信息以进行光伏功率损耗预测 | 预测准确率中等,降维过程中可能导致特征损失 |
| [142] | YOLOv3 + RU_1 + DeepLab v3+ | 用于热热点分析的检测、分割和定位框架 | – | 准确率:98.1% | 高空间定位准确率,减少误报 | 计算密集型架构,主要侧重于热成像场景 |
注:"–"表示原始研究中未报告相应指标。
为提高所报告结果的可追溯性,**表22**汇总了基于多任务YOLO的光伏故障定位研究中使用的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
**表22. 基于多任务YOLO的光伏故障定位研究的数据集、指标和实验设置可追溯性汇总。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估级别 | 硬件 | 来源 |
|---------|--------|---------|-----|--------|---------|------|------|
| [140] | 自定义光伏灰尘和缺陷数据集 | 精确率、召回率 | NR | NR | 全图 | NR | YOLO_NAS与OpenCV联合进行光伏检测中的缺陷定位和灰尘估算 |
| [141] | PVEL-AD、Roboflow、自定义光伏数据集 | 准确率、mAP | 0.5、NR | 640×640、224×224 | 局部/全图 | Viking GPU;其他NR | YOLO和EfficientNet框架结合故障定位与功率损耗预测及分类 |
| [142] | 私有UAV热成像数据集 | 准确率 | NR | 608×608 | 全图 | GTX1080 Ti | YOLOv3结合RU_1和DeepLab v3+进行检测、分割和热点定位 |
注:NR表示信息未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果的直接比较。
如**表22**所示,多任务YOLO研究采用了多样化的数据集和实验设置,以联合执行光伏故障定位及辅助任务(如灰尘估算、分割和功率损耗预测)。在比较所报告的性能时,应考虑评估协议、硬件平台和测试条件的差异。
### 5.9.1. 主要发现
- 多任务YOLO架构通过在相关任务(如定位、灰尘估算、分割和功率损耗预测)之间共享特征表示,提高了光伏监控的整体效率,实现了更具信息性和集成性的光伏检测系统。
- 这些框架在部署导向的光伏应用中尤其有价值,因为仅在故障定位方面往往不足以支撑全面监控,它们还提供了与环境影响和系统级性能相关的关键运行见解。
- 将检测与分割和定位相结合显著提高了空间精度并减少了误报,尤其针对复杂光伏缺陷(如热热点和不规则退化模式)。
- 然而,将YOLO框架扩展至多个同时执行的任务通常会引入模型复杂度增加、额外数据需求和计算开销,同时在任务多样性与单个任务性能之间产生优化权衡。
### 5.10. 合成数据与基于GAN的模型
基于生成对抗网络(GAN)的合成数据模型利用对抗学习框架生成逼真的光伏缺陷合成图像,从而提高训练数据多样性并改善YOLO基于的缺陷定位性能,尤其是针对罕见或代表性不足的故障类别。这些方法通过生成光伏缺陷合成样本,增强了YOLO架构在数据有限条件下的数据集平衡性、鲁棒性和模型泛化能力。
$$\min_{G}\max_{D}\mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{z\sim p_z}[\log(1-D(G(z)))]$$
其中:$D$表示判别器,$G$表示生成器,$x\sim p_{data}$表示从光伏缺陷分布中抽取的真实样本,$z\sim p_z$表示从先验分布中采样的随机噪声向量。生成器学习合成能够欺骗判别网络的逼真光伏缺陷图像。
近期研究强调了合成数据和基于GAN的框架(如图12所示)在提升光伏故障定位性能方面的重要性。早期的基于GAN的数据增强策略主要聚焦于解决类别不平衡问题并提高对代表性不足的光伏缺陷的检测能力。近期的基于DCGAN的增强框架表明,少数类别平衡可以显著改善在类别不平衡训练条件下的轻量化YOLO光伏缺陷定位性能[147]。例如,在YOLOv5s中将GAN生成的样本与特征对齐策略结合,在单个类别AP上提升了2.8%,在所有缺陷类别的整体mAP上提升了1%[143],展示了合成数据生成在提高训练多样性和模型鲁棒性方面的有效性。在此基础上,引入了更高级的基于GAN的增强方法来改善数据有限的光伏检测场景下的鲁棒性。Cheetah模型——一种融合了CycleGAN增强和Darknet53-FPN骨干网络的改进YOLOX框架——实现了100%的精确率,并且与基线方法相比提升了mAP[144],突显了基于GAN的策略在提高罕见光伏缺陷类别检测可靠性方面的实用性。

**表23. 用于太阳能板故障检测的合成数据与基于GAN的模型的详细比较。**
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|---------|------|------|-------------|----------|------|------|
| [143] | 基于GAN的数据增强(YOLOv5S + GAN) | GAN生成样本结合特征对齐策略以解决类别不平衡问题 | – | AP提升:+2.8%,mAP提升:+1.0% | 改善了对代表性不足缺陷类别的检测并增强数据集多样性 | 限于少量缺陷类别,性能提升有限,且增加了额外训练复杂度 |
| [144] | 集成CycleGAN的Cheetah YOLOX | 基于CycleGAN的增强与Darknet-FPN骨干网络用于热点检测 | 62.65% | 精确率:100% | 在数据有限条件下的强性能表现 | mAP性能中等,专注于热点检测,且增加了GAN训练需求 |
| [145] | 使用合成+真实EO数据的YOLOv8 | 在合成与真实光电数据集的混合数据上训练 | 87.32% | 召回率:92.48%,mAP@0.5:0.95:63.15% | 通过多源训练数据改善泛化和鲁棒性 | 预处理流程复杂,面向部署的评估指标报告有限 |
| [146] | 使用3D数据、SENetV2和AKConv的YOLOv8 | 3D合成数据生成结合增强特征提取模块 | 88.9% | FPS:95.23,准确率:89.2%,召回率:86.7%,mAP@0.5:0.95:78.3% | 高推理效率,具备逼真的环境模拟能力 | 计算资源密集的训练和部署需求,主要集中于灰尘相关缺陷 |
注:"–"表示原始研究中未报告相应指标。
进一步的进展聚焦于结合合成与真实数据集,以改善在不同环境和成像条件下的泛化能力。基于YOLOv8的框架通过集成合成与真实地球观测(EO)数据,相比仅使用合成数据集训练的模型,在召回率和mAP@0.5:0.95性能上有所提升[145],表明多源数据融合策略在提高光伏检测鲁棒性和部署适应性方面发挥着重要作用。基于GAN的增强在数据有限且高度不平衡的光伏数据集中尤为有益,但当有充足的真实数据时,其性能增益可能递减。此外,基于模拟的方法将合成数据生成扩展到更真实的环境条件。一个3D数据模拟框架与增强了SENetV2、AKConv和DySample的YOLOv8架构相结合,实现了高推理吞吐量(95.23 FPS),并改善了准确率、召回率和mAP性能[146]。这些结果表明,将合成数据生成与架构优化策略相结合可以同时提高部署效率和光伏故障定位能力。总体而言,这些研究表明了一种从基础基于GAN的增强向更高级的多源和基于模拟的合成数据生成框架演进的趋势,强调了数据集多样性、真实性和平衡性表示在改善光伏故障定位性能方面的重要性。太阳能板故障检测中合成数据与基于GAN的模型的详细比较见**表23**。
为提高所报告结果的可追溯性,**表24**汇总了基于合成数据和GAN的光伏故障定位研究中使用的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
**表24. 基于合成数据和GAN的光伏故障定位研究的数据集、指标和实验设置可追溯性汇总。**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估级别 | 硬件 | 来源 |
|---------|--------|---------|-----|--------|---------|------|------|
| [143] | 工业光伏缺陷数据集 | AP、mAP提升 | NR | NR | 全图 | NR | 基于GAN的样本生成结合特征对齐改善YOLOv5s中的类别平衡和缺陷定位 |
| [144] | 热点检测数据集 | mAP@0.5、精确率 | 0.5 | NR | 全图 | NR | 基于CycleGAN的增强集成于YOLOX,用于数据有限条件下的热点定位 |
| [145] | 真实+合成EO数据集 | mAP@0.5、mAP@0.5:0.95、召回率 | 0.5 | 0.1–0.8 m GSD | 局部 | NR | YOLOv8在合成与真实地球观测图像的混合数据上训练以提高泛化能力 |
| [146] | DeepSolarEye + 合成3D数据集 | 准确率、召回率、mAP、FPS | NR | NR | 全图 | NR | 使用Blender生成的3D合成数据结合增强YOLOv8进行空中光伏检测 |
注:NR表示信息未报告,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响所报告结果的直接比较。
如**表24**所示,基于GAN的光伏故障定位研究采用了多样化的数据集和合成数据生成策略,以提高数据集多样性和模型泛化能力。在比较所报告的性能时,应考虑评估协议、合成数据生成方法和实验设置的差异。
### 5.10.1. 主要发现
- 基于GAN的数据增强通过解决类别不平衡问题并增加训练数据多样性,持续改善光伏缺陷定位性能,尤其针对罕见和代表性不足的光伏缺陷类别。
- 这些方法在数据有限的条件下尤为有益,合成样本可以在不需要大量标注光伏数据集的情况下改善模型鲁棒性和检测可靠性。
- 结合合成与真实光伏数据集可进一步改善模型泛化能力,表明多源数据策略通常比仅依赖合成数据生成更为有效。
- 然而,基于GAN的方法引入了额外的训练复杂度、计算开销和部署成本,其有效性仍然强烈依赖于生成合成样本的真实性、质量和多样性。
### 5.11. 基于YOLO的迁移学习与微调架构
迁移学习和微调通过将预训练的YOLO模型适配到光伏缺陷数据集上,重用已学习的特征表示并有选择性地更新模型参数,从而在数据有限的条件下提高检测准确率、推理效率和训练收敛性。这些方法使预训练的YOLO架构能够高效地适配到光伏故障定位任务中,并减少重新训练的需求。
$$\theta' = \theta - \eta \cdot \nabla_\theta L_{target}$$
其中:$\theta$表示预训练模型参数,$\eta$表示学习率,$\nabla_\theta L_{target}$表示目标域损失函数的梯度,$\theta'$表示针对光伏故障定位进行微调后的更新参数。
迁移学习和微调策略在提高光伏故障检测性能方面已显示出显著的有效性,尤其通过利用预训练表示来降低训练成本并提高模型泛化能力。早期的微调方法主要聚焦于简化缺陷类别结构以提高定位准确率。[148]中的一项研究表明,在YOLOv9内重新分组光伏缺陷类别可改善检测性能,将六个故障类别减少为两个使mAP@0.5提升至80.2%,分别比三类和六类配置高出3.2%和5.6%。该策略减少了视觉相似缺陷之间的混淆,突显了类别重新标注作为一种有效的微调方法。在此基础上,更高级的方法在迁移学习过程中纳入了架构精化和优化技术。例如,[149]开发了一个改进的MSFT-YOLO框架,在YOLOv5l架构中集成了CNN和Transformer组件。使用改进的Adam优化策略,该模型实现了52.5 FPS的推理速度,相比YOLOv5s提升了2.5%的mAP,相比YOLOv5m提升了1.8%的mAP。这些结果表明,将迁移学习与架构增强策略相结合可以同时改善定位准确率和推理效率。
更高级的面向部署的方法进一步将迁移学习扩展至分布式和大规模光伏监控系统。基于YOLOv3-tiny的云-边缘协同迁移学习框架[43]纳入了额外的预测层和残差模块以改善部署性能。该框架实现了95.5%的准确率、93.7%的召回率、6.3毫秒的推理延迟,并且仅需64 MB的内存使用量。此外,迁移学习将总体训练时间减少了66%,并实现了99.78%的峰值准确率,证明了预训练模型与分布式边缘-云优化策略相结合的有效性。总体而言,这些进展表明了一种从基础微调策略向更高级的混合与分布式迁移学习框架的清晰演进趋势,突显了其在提高定位准确率、降低训练成本和实现可扩展光伏监控系统方面的重要性。与基于GAN的增强或复杂混合架构等高数据密集方法相比,迁移学习提供了在数据有限的光伏环境中提高性能的计算高效解决方案,尽管其性能仍然取决于预训练骨干模型的相关性和泛化能力。太阳能板故障定位中迁移学习与微调模型的详细比较见**表25**。
为提高所报告结果的可追溯性,**表26**汇总了基于迁移学习和微调的YOLO光伏故障定位研究中使用的数据集、评估指标、IoU阈值、输入分辨率、评估级别、硬件配置和关键实验设置。
# 太阳能电池板故障定位中迁移学习与微调模型的详细比较
## 参考模型描述
| 参考文献 | 模型 | 描述 | mAP@0.5 (%) | 其他指标 | 优势 | 不足 |
|---|---|---|---|---|---|---|
| [148] | YOLOv9(含类别分组) | 修改版YOLOv9,减少缺陷类别以简化学习 | 80.2% | mAP(3类):77.0%,mAP(6类):74.6% | 减少视觉相似缺陷之间的混淆,提高学习效率 | 因简化类别分组导致细粒度缺陷分类能力下降 |
| [149] | MSFT-YOLO(灰尘检测) | 基于CNN-Transformer混合架构增强并改进优化策略的YOLOv5l | – | FPS:52.5,mAP提升:相比YOLOv5s提升2.5%,相比YOLOv5m提升1.8% | 提高特征提取和推理效率,具备较强的部署能力 | 模型复杂度增加,主要针对灰尘相关缺陷场景 |
| [43] | 云边协同YOLOv3-Tiny | 轻量级YOLOv3-tiny,增加额外预测层并采用分布式迁移学习 | – | 准确率:95.5%,召回率:93.7%,推理延迟:6.3 ms,内存占用:64 MB | 部署效率高,内存需求降低,推理轻量 | 依赖云边基础设施,可能引入通信开销和部署复杂性 |
**注:** "–"表示原始研究中未报告该指标。
如表26所示,迁移学习研究采用不同的数据集和部署设置,在有限训练数据条件下改善光伏故障定位。在比较报告的性能时,应考虑到数据集、微调策略、评估协议和硬件配置之间的差异。
**表26. 基于YOLO的光伏故障定位迁移学习与微调研究中数据集、指标和实验设置的溯源摘要**
| 参考文献 | 数据集 | 指标类型 | IoU | 分辨率 | 评估方式 | 硬件 | 来源 |
|---|---|---|---|---|---|---|---|
| [148] | 自定义无人机热成像/光学数据集 | mAP@0.5 | 0.5 | 640×640 | 全图 | 未报告 | 通过缺陷类别重新分组的YOLOv9微调,减少了类别混淆并改善了定位性能 |
| [149] | 自定义光伏灰尘数据集 | FPS,mAP提升 | 未报告 | 224×224 | 全图 | RTX 3060 Ti | MSFT-YOLO结合CNN-Transformer模块与迁移学习,实现高效光伏灰尘检测 |
| [43] | 光伏监控数据集 | 准确率,召回率,延迟 | 0.5 | 300–512 px | 切片/全图 | Jetson/Raspberry Pi 5 | 云边迁移学习框架提高了光伏监控的部署效率 |
**注:** NR表示未报告信息,N/A表示不适用。数据集、评估设置和硬件平台的差异可能影响报告结果的直接比较。
## 5.11.1 主要发现
- **迁移学习持续改善定位性能,同时显著减少训练时间,** 使其在标注数据有限的光伏检查任务中尤为有价值。
- **微调策略(如类别重新分组和选择性参数优化)** 可有效减少视觉相似光伏缺陷之间的混淆,同时提升整体模型性能,且不会显著增加计算复杂度。
- **迁移学习与架构增强(包括CNN-Transformer混合框架)相结合,** 可进一步提升定位精度和推理效率,凸显了将预训练特征表示与面向部署的模型优化策略相结合的优势。
- **尽管云边协同框架提高了可扩展性和部署效率,** 但可能引入额外的通信开销、运行时依赖和部署复杂性,体现了推理性能与运维可扩展性之间的权衡。
## 5.12 跨类别比较洞察
为提供不同架构策略之间的清晰综合分析,本节总结了在YOLO模型各类别中观察到的关键权衡、性能模式和设计洞察。
- **检测精度与部署效率之间存在一致性的权衡关系:** 轻量级和优化的YOLO模型通常更适合嵌入式和面向边缘的光伏检查平台(如无人机和低功耗设备),而基于Transformer增强的和混合架构往往实现更高的定位精度,特别是针对小目标或低对比度缺陷,代价是增加了计算复杂度。在实践中,YOLOv5-n和YOLOv8n等轻量级变体展示了改进的推理效率和更低的计算开销,而基于Transformer的模型提供了更强的特征表示能力,但仍不太适合资源受限的部署环境。
- **架构改进的有效性强烈依赖于缺陷特征和成像方式。** 红外(IR)成像因低对比度和热噪声而显著受益于注意力机制,而电致发光(EL)成像更多受益于多尺度特征融合,以检测微裂纹和电池级退化等细粒度缺陷。基于RGB的光伏检查通常需要两种方法的平衡组合,具体取决于环境变异性和工作条件。
- **多尺度融合和注意力机制持续改善对小型和密集缺陷(如微裂纹、潜在-induced衰减和热点)的检测,** 而更简单的轻量级YOLO模型通常足以检测较大的、视觉上可区分的缺陷,如污垢、阴影和鸟粪。
- **在性能指标方面,** 报告mAP@0.5的研究通常获得更高值,一般在85%–98%范围内,而更严格的指标如mAP@0.5:0.95则通常在60%–90%之间。这种差异凸显了评估协议、部署设置和基准测试方法对性能报告的强烈影响,强调了在不同研究中比较报告结果时需要谨慎解读。
- **没有任何单一架构修改能持续主导性能;** 相反,最有效的模型结合了多种策略,如特征融合、注意力机制、轻量级优化和改进的损失函数。将检测与分割或上下文建模相结合的混合架构通常在不同光伏成像条件下提供更强的鲁棒性和泛化能力。
- **数据驱动策略起着关键的跨领域作用。** 迁移学习和基于GAN的数据增强持续改善模型泛化,尤其在标注数据有限或类别严重不平衡的场景中,凸显了数据集质量、多样性和标注一致性的重要性不亚于架构设计选择。
- **在Raspberry Pi 5上的实验基准测试进一步表明,** 部署性能受运行时优化策略和推理框架选择的影响很大。基于ONNX的YOLOv11n部署相比原生PyTorch执行实现了显著的推理效率提升,凸显了面向部署的优化对嵌入式光伏检查系统的实际重要性。
## 5.13 缺陷类型、成像方式与模型适配性
为提供不同光伏故障场景之间的结构化比较,表27总结了缺陷类型、成像方式与适合的YOLO架构增强之间的关联。
如表27所示,YOLO架构的选择强烈受缺陷特征和成像方式的影响。细微的、低对比度的和细粒度缺陷(如微裂纹和PID)受益于基于Transformer增强的和注意力驱动的方法,因为它们具备改进的特征表示能力。相比之下,较大的和视觉上可区分的缺陷(包括热点和表面污垢)通常可以使用计算复杂度较低的轻量级YOLO架构有效检测。这些观察进一步凸显了根据缺陷属性和光伏检查系统的实际部署需求选择模型架构的重要性。
**表27. 光伏缺陷类型到成像方式及适合的YOLO增强的映射**
| 缺陷类型 | 最佳成像方式 | 推荐的YOLO增强 |
|---|---|---|
| 微裂纹,PID | 电致发光 | 基于Transformer增强的YOLO、注意力机制和多尺度特征融合 |
| 热点 | 红外(IR) | 轻量级YOLO架构、多尺度融合和注意力模块 |
| 污垢、灰尘 | RGB成像 | 轻量级YOLO模型和损失函数优化 |
| 阴影、鸟粪 | RGB/无人机成像 | 注意力增强的YOLO和混合架构 |
| 脱层 | EL/IR | 结合分割模型的混合YOLO框架 |
## 5.14 评估指标考量
在审查的文献中观察到一个关键局限是必要评估细节的不完整报告,如IoU阈值、数据集划分协议、评估级别(图像级、组件级或切片级)、部署配置以及指标是按类别报告还是平均值报告。这些不一致使得模型之间的直接比较不可靠,因为报告的性能可能受评估设置、运行时框架、硬件平台和部署条件的影响,而非实际的方法学改进。例如,mAP@0.5值不能直接与mAP@0.5:0.95进行比较,且切片级评估通常因场景复杂度降低而产生更高的分数。同样,数据集划分、类别分布或部署基准协议的不明确可能导致模型泛化和实际部署能力的过高估计。尽管存在这些挑战,本综述通过系统地组织报告的指标、明确标注缺失的评估细节,并在可能的情况下通过一致的符号和结构化摘要表标准化比较来解决这一问题。本综述不是直接比较原始数值结果,而是侧重于识别更广泛的性能趋势、架构权衡、部署可行性和特定应用的优势。例如,基于Transformer的和注意力增强的模型在检测小型和低对比度缺陷方面始终更有效,特别是在EL和红外图像中,而多尺度融合技术在检测空间分布的缺陷(如热点)时表现出色。相比之下,轻量级YOLO变体因其更低的计算开销和改进的推理效率,仍更适合嵌入式光伏检查和近实时部署场景。
在现有文献中,mAP@0.5值通常在85%到98%之间,而更严格的mAP@0.5:0.95值一般在60%到90%之间,进一步凸显了评估协议对报告性能的影响。同样,面向部署的指标(如推理延迟、FPS、热行为、内存利用率和能效)对于评估边缘设备适用性日益重要,但在许多研究中仍报告不一致。这些观察强调,有意义的跨研究比较需要考虑评估设置、部署条件和应用背景,而非仅依赖报告的准确率值。尽管在不同类别中取得了进展,仍有若干挑战存在。在复杂环境条件下检测非常小的、低对比度的和不规则缺陷仍然困难。此外,平衡高检测精度与推理效率仍然是一个重大局限,特别是在无人机辅助和嵌入式边缘部署场景中。而且,许多模型是为特定数据集或缺陷类别设计的,限制了它们在不同光伏运行环境中的泛化能力。
**指标统一化说明:** 由于评估指标、部署设置、运行时框架和硬件平台的不一致性,跨研究直接比较具有挑战性,包括IoU阈值的差异(如mAP@0.5与mAP@0.5:0.95)、数据集划分和评估级别(图像级、组件级或切片级)的差异。使用mAP@0.5评估的模型通常报告的值比使用更严格指标(如mAP@0.5:0.95)的模型更高。此外,切片级评估获得的结果通常高于全图评估,因为场景复杂度降低。面向部署的基准测试也可能因运行时优化策略、预处理开销、后处理操作和硬件加速支持的不同而有所差异。因此,报告的性能应谨慎解读,比较应考虑评估设置、部署条件和基准测试方法,而非仅依赖数值。
## 5.15 范围界定与任务级分类
尽管本综述主要关注使用基于YOLO的模型进行光伏故障定位,但需要注意的是,文献中的若干研究涉及密切相关的但不同的任务,包括面板检测、分割和系统级分析。尽管这些任务属于更广泛的光伏检查流程的一部分,但它们在目标、输出和评估标准上有所不同,如果未明确区分,可能导致范围模糊。为此,所审查的工作根据其主要焦点分为四个任务级类别。
**面板或阵列检测**旨在识别遥感或航空图像中光伏组件的存在和位置,通常包括面板定位和朝向估计等任务。**缺陷或故障定位**(本综述的主要关注点)涉及识别光伏组件内部故障(如热点、裂纹、PID和污垢)的类型和空间位置。**分割和结构分析**侧重于对面板和缺陷区域的像素级理解,从而实现比传统边界框表示更精确的边界检测。最后,**系统级诊断和预测**超越视觉检测,通过集成或多任务学习方法来估计性能退化、功率损失和长期可靠性。
这一分类有助于澄清,尽管这些研究相互关联,但它们涉及光伏分析的不同阶段。在本综述中,缺陷和故障定位仍是核心关注点,而其他类别的纳入是为了提供光伏检查流程的更广泛背景理解。
表28所示的分类得到了不同任务级别的代表性研究的支持。例如,[63]、[136]、[138]等研究主要关注遥感和航空图像中的面板或阵列检测,其目标是识别光伏组件的存在和朝向,而非检测面板级故障。相比之下,本综述审查的大多数研究(包括[35]、[46]、[56]、[60]、[92]、[94]、[110]、[117])聚焦于缺陷和故障定位,在不同成像方式下处理热点、微裂纹和污垢等问题。同样,[51]、[118]、[125]、[126]、[127]等基于分割的方法提供了详细的像素级分析,实现了更精确的缺陷区域和光伏结构识别。这些方法是对检测方法的补充,但在粒度和输出表示上有所不同。另一方面,系统级方法(包括[123]、[132]、[140]、[141])通过纳入性能估计、功率损失预测和集成多任务学习框架,超越了视觉定位。总体而言,这一分类表明,尽管这些研究密切相关,但它们在光伏分析的不同层次上运行。通过明确区分这些任务类别,本综述在保持对光伏缺陷和故障定位的聚焦讨论的同时,将其置于智能光伏检查系统的更广泛背景中。
**表28.**
基于YOLO方法的光伏分析任务级分类
| 类别 | 代表性文献 | 主要目标 | 典型任务 |
|------|-----------|---------|---------|
| 电池板/阵列检测 | [63], [136], [138] | 识别图像中的光伏电池板位置 | 遥感检测、无人机电池板识别、朝向估计及倾角分析 |
| 缺陷/故障定位 | [35], [46], [56], [60], [92], [94], [110], [117] | 识别光伏电池板内的故障类型和空间缺陷位置 | 利用热成像、RGB和EL成像进行热斑、裂纹、微裂纹、电位诱导衰减(PID)、积尘和遮阴检测 |
| 分割与结构分析 | [51], [118], [125], [126], [127] | 提供光伏组件的像素级或结构级理解 | 电池板分割、电池片和组件边界检测、缺陷区域分割 |
| 系统级诊断与预测 | [123], [132], [140], [141] | 评估光伏系统性能和退化行为 | 功率损失预测、环境分析、预测性维护和多任务学习 |
### 5.16 YOLO与DETR模型在光伏故障检测中的对比分析
从分类角度来看,基于DETR的模型可以视为Transformer增强检测方法的延伸,侧重于全局上下文建模和端到端目标检测。YOLO和DETR(DEtection TRansformer)模型在光伏(PV)故障检测中均表现出强大的性能,但它们在设计理念、计算需求和适用性方面存在显著差异。
YOLO模型(从YOLOv3到YOLOv11)主要针对实时目标检测进行了优化,具有低延迟和高效率的特点。其单阶段检测框架能够实现高帧率(FPS)和快速推理,特别适合无人机巡检、嵌入式系统和现场光伏监控。卷积骨干网络、特征金字塔网络和优化的损失函数的使用使YOLO模型在检测准确性和计算效率之间保持强有力平衡。此外,GhostConv、C2f模块和注意力机制等近期增强技术进一步提升了模型紧凑性和能源效率,使其能够在资源受限的环境中有效部署。
相比之下,RT-DETR、LW-PV DETR和LD-DETR等基于DETR的模型专注于通过基于Transformer的编码器-解码器架构改进全局上下文理解,如图13和图14所示。与YOLO不同,DETR消除了对锚框和非极大值抑制的需要,实现了端到端训练并改进了对微裂纹和蜗牛纹等重叠或微小缺陷的处理能力。通过利用自注意力机制,DETR模型能更有效地捕捉长程依赖关系,从而在复杂场景和多变环境条件下提高检测精度。
然而,这些优势伴随着一定的权衡。DETR模型通常比YOLO方法需要更高的计算资源、更长的训练时间和更大的数据集。尽管LW-PV DETR等轻量级变体缩小了这一差距,但在嵌入式和资源受限的部署场景中,它们的计算负担仍然重于轻量级YOLO变体。从比较角度来看,一个明显的模式浮现:与基于DETR的方法相比,YOLO模型通常提供更强的推理效率、更简单的部署流程和更低的计算开销,使其非常适合面向边缘的光伏巡检和近实时现场部署场景以及无人机巡检系统。相比之下,DETR模型提供更优的全局推理能力和对小尺度、微弱或重叠缺陷的改进检测,使其更适合高精度分析和复杂巡检场景。这些互补优势表明,模型选择应基于应用场景进行实验基准测试,树莓派5上的实验基准测试进一步支持了轻量级YOLO架构在嵌入式光伏巡检中的适用性,尤其是在结合基于ONNX的部署优化策略时。YOLO更适合延迟和效率至关重要的操作部署场景,而DETR更适合精度和上下文理解优先的详细分析场景。这也突显了混合系统的巨大潜力,即将YOLO的效率与基于Transformer的上下文推理相结合,用于下一代光伏故障检测系统。
**图13. RT-DETR网络架构**
**图14. 检测Transformer的模型架构**
为确保不同研究间结果解释的一致性,常用的评估指标总结于表29。这些指标涵盖模型性能的三个关键方面:分类准确性(精确率、召回率、F1分数)、定位质量(IoU、mAP)和部署效率(FPS、推理时间、模型大小)。灵敏度和特异性等指标对于在安全关键型光伏系统中最小化漏检和误报尤为重要,而方向准确性等高级指标则有助于检测裂纹或错位等方向性缺陷。
**表29. YOLO目标检测在光伏故障检测中的性能指标**
| 指标 | 定义 | 公式 | 解释/用途 |
|------|------|------|-----------|
| 精确率(Precision) | 预测缺陷中正确的比例 | Precision = TP/(TP + FP) | 减少误报 |
| 召回率(Recall) | 实际检测到的缺陷比例 | Recall = TP/(TP + FN) | 防止漏检 |
| F1分数 | 精确率和召回率的调和平均数 | F1 = 2 ×(Precision × Recall)/(Precision + Recall) | 平衡评估 |
| IoU | 预测框与真实框之间的重叠度 | IoU = 重叠面积/并集面积 | 衡量定位质量 |
| mAP@0.5 | IoU=0.5时的平均精度 | mAP = (1/N) ∑ AP | 标准检测指标 |
| mAP@0.5:0.95 | 跨多个IoU阈值的平均精度 | 跨多个IoU阈值取平均 | 更严格的评估 |
| 准确率(Accuracy) | 整体分类正确性 | Accuracy = (TP + TN)/总数 | 总体性能 |
| FPS | 每秒帧数 | — | 推理吞吐量和部署响应性 |
| GFLOPs | 计算复杂度 | — | 效率指标 |
| 模型大小 | 存储需求 | — | 边缘部署适用性 |
| 推理时间 | 每次预测所需时间 | — | 嵌入式推理效率和延迟评估 |
| 灵敏度(Sensitivity) | 真阳性率 | TP/(TP + FN) | 故障检测可靠性 |
| 特异性(Specificity) | 真阴性率 | TN/(TN + FP) | 避免误检测 |
| 基于IoU的mAP | 多类检测性能 | 跨类别的平均AP | 多缺陷评估 |
| 方向准确性 | 检测缺陷的对齐程度 | — | 对裂纹检测很重要 |
#### 5.16.1 主要发现
- YOLO模型凭借其轻量级单阶段设计持续展现出强大的推理效率和部署适用性,使其更适合无人机巡检、边缘部署和现场级光伏监控。
- 基于DETR的模型通过自注意力机制提供更强的全局上下文理解能力,改进了对传统YOLO架构通常难以检测的小尺度、微弱和重叠缺陷的检测。
- 效率与精度之间存在明确的权衡:YOLO优先考虑速度和部署可行性,而DETR强调检测精度和上下文推理能力,特别是在复杂场景中。
- 这些互补优势表明,模型选择应由应用场景驱动,将YOLO的效率与基于Transformer的全局推理能力相结合的混合方法具有日益增长的潜力。
### 6. 边缘优化部署策略
将基于YOLO的光伏(PV)故障定位模型部署在嵌入式边缘设备上,对于使用无人机(UAV)、无人飞机和低功耗计算平台实现大规模太阳能电站的自动化巡检变得越来越重要。尽管近期YOLO架构实现了优异的定位精度,但由于大量参数、内存需求和推理复杂性,许多标准模型仍然计算密集。因此,近期研究已转向边缘优化的策略,在保持可靠的故障定位性能的同时降低计算成本,以适应实时现场部署需求。
典型的边缘部署框架从使用无人机搭载的RGB、热成像或红外相机进行图像采集开始。捕获的图像随后进行增强和预处理,以提高裂纹、热斑、遮阴和其他表面异常等缺陷的可见性,然后由部署在嵌入式硬件上的轻量级YOLO模型进行处理。近期的基于FPGA的光伏巡检系统已证明,可重用的卷积神经网络(CNN)知识产权(IP)核、硬件加速器和分块优化策略能够实现光伏故障定位的高效低延迟推理,同时显著降低计算开销[150]。检测到的缺陷连同置信度分数、GPS坐标和巡检图像,可通过Wi-Fi或5G等无线通信技术传输至远程监控中心进行进一步分析和维护规划。
为提高部署效率,众多研究通过用更高效的替代方案替换计算密集型组件,提出了轻量级YOLO架构。YOLOv5n、YOLOv8n和CWE-YOLOv8等轻量级变体采用了Ghost卷积、深度可分离卷积、SlimNeck结构和动态特征提取等技术,在不显著降低定位精度的情况下减少模型复杂度。例如,CWE-YOLOv8在将模型大小减少至仅7.26 MB的情况下,mAP提升了5.1%,使其适合在资源受限平台上进行无人机辅助光伏巡检[69]。类似地,基于MSRCR的YOLOv8n模型将计算复杂度降低至6.6 GFLOPs,同时保持了强劲的召回率性能[151]。将ShuffleNet v2与注意力机制集成到YOLOv5中,进一步将定位精度提升至93.5%,相比基线模型提升了4.4%,仅略微增加了计算复杂度[67]。这些研究表明,精心设计的轻量级架构可以有效平衡定位精度、计算效率和部署可行性。
模型压缩技术已成为边缘部署的另一重要方向。量化、网络剪枝、低秩近似和模块替换被广泛采用,以减少内存消耗和计算需求,同时保持检测精度。这些优化策略在嵌入式处理器和Edge TPU平台上展现了提升部署效率的显著潜力,且无需对架构进行重大修改[152]。此外,知识蒸馏使轻量级学生模型能够从较大的教师网络中学习判别性表示。例如,SDHS-RLDNet通过结合残差知识蒸馏和多尺度预测头,实现了95.2%的准确率和93.7%的mAP[70];而DFL-PVNet在保持94.8%召回率和92.1% mAP的同时,将计算复杂度降低了56.7%[71]。这些结果表明,结合轻量级架构与压缩和知识迁移技术,可以显著提高部署效率,同时保持有竞争力的定位性能。
近期的实验研究进一步证明了在树莓派5系统等嵌入式边缘平台上部署YOLO模型的实用可行性。本综述中使用树莓派5和YOLOv11n进行的实验基准测试比较了原生PyTorch推理与基于ONNX的FP32、FP16和INT8部署格式。结果显示,与原生PyTorch执行相比,基于ONNX的推理一致地降低了延迟并提高了吞吐量,其中ONNX FP32配置实现了最佳的整体性能,推理延迟为153.01 ms,达到6.54 FPS。虽然此吞吐量不满足连续高速无人机视频分析对帧率的严格要求,但对于周期性巡检场景中逐张或以较低采集速率处理图像的近实时光伏故障定位已足够充分。类似地,集成YOLOv5l与直方图均衡化的树莓派5无人机巡检系统报告了97%的F1分数,进一步证明了轻量级YOLO模型在嵌入式光伏巡检中的实用性[74]。
总体而言,近期研究展示了从精度导向的模型开发向部署感知优化的明确转变。轻量级网络架构、模型压缩、量化、ONNX加速、知识蒸馏和硬件感知优化共同提升了基于YOLO的光伏故障定位模型在嵌入式平台上部署的实用性。尽管如此,仍存在若干挑战,包括有限的板载内存、热约束、硬件异构性、能耗以及在不同环境条件下保持稳定的推理性能。因此,未来研究应探讨硬件感知神经架构搜索(NAS)、自适应设备端优化、高效多模态推理和云-边协同部署框架,以进一步提高实际光伏监控系统中的可扩展性、鲁棒性和长期运行可靠性[43]。
**表30. YOLO光伏故障检测的代表性边缘计算平台**
| 平台 | 硬件特性 | 典型应用 | 功耗 | 报告推理时间 |
|------|---------|---------|------|------------|
| NVIDIA Jetson Nano [153] | 128核Maxwell GPU,四核ARM Cortex-A57,4 GB RAM | 轻量级目标检测、嵌入式AI和无人机光伏巡检 | 5–10 W | ~12 ms |
| NVIDIA Jetson Xavier NX [154] | 384核Volta GPU,6核ARM CPU,8 GB RAM | 实时AI推理、视频分析和光伏监控 | 10 W | ~7 ms |
| NVIDIA Jetson AGX Xavier [155] | 512核Volta GPU,8核ARM CPU,16 GB RAM | 无人机和自主巡检系统的高性能边缘计算 | 30 W | ~3 ms |
| Google Coral Dev Board [156] | ARM Cortex-A53 CPU,Edge TPU,1 GB RAM,8 GB eMMC | 低功耗嵌入式AI推理和轻量级无人机应用 | ~2 W | 取决于任务的Edge TPU加速 |
| Raspberry Pi 5 + AI加速器 [157] | 四核ARM Cortex-A72,4/8 GB RAM,支持Coral和Movidius加速器 | 中等嵌入式AI工作负载和光伏巡检 | 5–15 W | ~50 ms |
| Raspberry Pi 5(本研究) | 四核ARM Cortex-A76 CPU,支持ONNX Runtime | 轻量级光伏故障定位和基于ONNX的边缘部署 | 5–12 W | 153.01 ms(ONNX FP32) |
| Intel NUC [158] | Intel Core i3/i5/i7处理器,可选GPU支持 | 高性能边缘AI推理和图像处理 | 15–30 W | ~10–20 ms |
| AMD Ryzen Embedded V1000/R1000 [159] | 集成CPU和GPU,最高64 GB RAM | 嵌入式AI应用和光伏故障检测 | 12–35 W | ~5–10 ms |
| BeagleBone AI [160] | ARM Cortex-A15 CPU,PowerVR SGX544 GPU,1 GB RAM | 轻量级AI部署和自主无人机应用 | 5–10 W | ~50 ms |
| Intel Movidius Myriad X [161] | 低功耗AI加速的视觉处理单元(VPU) | 嵌入式视觉系统和无人机光伏巡检 | 2–5 W | ~30 ms |
| Qualcomm Robotics RB5 [162] | 集成AI引擎、GPU和DSP的Snapdragon 865 | 嵌入式AI推理、无人机自主和5G边缘应用 | 5–10 W | ~25–50 ms |
注:报告中的推理时间来自各自研究中不同YOLO变体、输入分辨率、运行时框架、优化技术和硬件配置下的结果。因此,这些值应视为近似参考测量值,而非跨平台的直接基准比较。
### 7. 无人机太阳能监控系统的边缘计算平台
边缘计算平台通过在嵌入式硬件上直接执行深度学习推理,在使无人机巡检系统实现实时光伏(PV)故障定位中发挥着重要作用。与基于云端的处理相比,边缘计算降低了通信延迟、最小化了带宽需求,并能够在偏远光伏电站中实现及时的故障检测。然而,选择合适的部署平台需要平衡计算性能、功耗、内存容量、部署成本和实时推理需求。
表30总结了光伏监控应用中常用的边缘计算平台。
英伟达Jetson系列,包括Jetson Nano、Xavier NX和AGX Xavier,因其CUDA GPU加速能力和与现代深度学习框架的强大兼容性而被广泛采用。这些平台为部署轻量级和中等规模的YOLO模型提供了足够的计算能力,同时保持了相对较低的功耗,使其适用于无人机辅助的光伏巡检系统[153]、[154]、[155]。Google Coral Dev Board通过集成Edge TPU来实现硬件加速推理,提供了一种低功耗的替代方案。尽管该平台提供了出色的能效比,但其部署性能取决于神经网络与TensorFlow Lite优化及Edge TPU编译的兼容性,这可能限制了其对某些YOLO变体的支持[156]。树莓派5平台结合ONNX Runtime和轻量级AI加速器,为嵌入式光伏巡检提供了一种灵活且具有成本效益的解决方案,尤其适用于优先考虑中等推理速度和低部署成本的应用场景[157]。
为了补充所审阅的文献,本研究实验性地评估了在树莓派5上使用原生PyTorch和ONNX Runtime部署YOLOv11n模型的情况。结果表明,基于ONNX的推理始终优于原生PyTorch执行,其中ONNX FP32模型实现了最佳的部署性能,推理延迟为153.01毫秒,帧率为6.54 FPS。尽管这一性能低于连续高速无人机视频流通常所需的帧率,但对于基于航点导航或周期性图像采集的近实时光伏巡检场景而言,它已经足够,同时展示了ONNX优化在资源受限的嵌入式硬件上的实际效益。
对于需要更强计算能力的应用场景,Intel NUC、AMD Ryzen Embedded V1000和UP Board等平台为复杂深度学习模型和高级图像分析任务提供了更高的处理性能[158]、[159]。类似地,Intel Myriad X VPU和Qualcomm Robotics RB5集成了专用AI加速硬件,在保持相对低功耗的同时支持高效的视觉处理,使其适用于自主机器人和空中巡检应用[161]、[162]。
总体而言,没有单一的边缘计算平台适用于所有光伏监控应用。平台选择取决于模型复杂度、推理延迟、能耗、可用内存、热约束、硬件兼容性和部署成本等因素。树莓派5和Google Coral等轻量级平台在低成本和高效能部署方面具有吸引力,而NVIDIA Jetson及其他高性能嵌入式平台则更适合计算密集型的实时巡检任务。未来的研究应重点关注硬件感知的模型优化、自适应部署策略以及云边协同框架,以进一步提高自主光伏监控系统的可扩展性、效率和可靠性。
图15. 树莓派5上的YOLOv11n模型部署。
**表31. YOLOv11n在树莓派5上的实验配置与部署性能。**
| 参数 | 规格 |
|------|------|
| 边缘平台 | 树莓派5 |
| 处理器 | 四核ARM Cortex-A76 CPU |
| 内存 | 8 GB LPDDR4X RAM |
| 操作系统 | Raspberry Pi OS(64位) |
| YOLOv11n部署格式 | PyTorch FP32、ONNX FP32、ONNX FP16和ONNX INT8 |
| 输入分辨率 | 640 × 640像素 |
| 推理框架 | PyTorch和ONNX Runtime v1.20.1(CPU执行提供程序) |
| 优化技术 | ONNX模型转换、FP16推理和INT8量化 |
| 评估协议 | 在相同硬件和软件条件下的单图像推理。所有基于ONNX的实验均使用ONNX Runtime v1.20.1(CPU执行提供程序)执行。每种部署配置在10次预热迭代后进行了50次基准测试运行,报告的延迟值代表平均端到端推理时间。 |
| 性能指标 | 推理延迟、FPS、内存利用率、CPU利用率和CPU温度 |
| 基准测试范围 | 端到端推理,包括图像预处理、模型推理、非极大值抑制(NMS)和后处理 |
| 最佳部署性能 | ONNX FP32实现了最低的推理延迟153.01毫秒和最高的吞吐量6.54 FPS |
| 部署目标 | 评估在资源受限的嵌入式平台上部署轻量级YOLOv11n用于光伏故障定位 |
| 目标应用 | 近实时无人机辅助和嵌入式光伏故障巡检 |
注:所有实验均使用相同的树莓派5硬件、相同的软件环境、YOLOv11n模型以及640 × 640像素的输入分辨率。基于ONNX的推理使用ONNX Runtime v1.20.1配合CPU执行提供程序执行。在基准测试之前,执行了10次预热迭代以消除初始运行时开销并稳定推理性能。随后从50次基准测试运行中获得性能测量值,报告的延迟值代表每幅图像的平均端到端处理时间,包括预处理、模型推理、非极大值抑制(NMS)和后处理。在性能评估过程中未使用外部GPU或AI加速器。由于部署性能取决于硬件架构、运行时框架、优化策略、模型变体、输入分辨率和基准测试协议,报告的延迟值不应被解释为直接的跨平台比较,而应作为在相应实验条件下部署效率的指标。
**表32. YOLOv11n在树莓派5上的部署格式性能比较。**
| 部署格式 | 框架 | 平均延迟(ms) | FPS | 内存(MB) | CPU温度(°C) | 备注 |
|----------|------|-------------|-----|---------|------------|------|
| PyTorch FP32 | PyTorch | 406.61 | 2.46 | 2237.19 | 54.9 | 基准实现,在评估的配置中表现出最高的推理延迟和最低的吞吐量。 |
| ONNX FP32 | ONNX Runtime v1.20.1 | 153.01 | 6.54 | 2305.56 | 58.2 | 最佳整体部署性能,实现了最低的推理延迟和最高的吞吐量。 |
| ONNX FP16 | ONNX Runtime v1.20.1 | 166.36 | 6.01 | 2262.09 | 58.2 | 降低精度的推理提供了改进的部署效率,同时保持了接近ONNX FP32的性能。 |
| ONNX INT8 | ONNX Runtime v1.20.1 | 284.59 | 3.51 | 2258.69 | 59.3 | 量化部署降低了计算精度,但实现的吞吐量低于ONNX FP32和FP16配置。 |
注:所有基准测试实验均在相同的树莓派5硬件上使用YOLOv11n模型、640 × 640像素的输入分辨率和相同的软件配置执行。基于ONNX的推理使用ONNX Runtime v1.20.1配合CPU执行提供程序执行。在基准测试之前,执行了10次预热迭代以消除初始运行时开销并稳定推理性能。报告的延迟值代表50次基准测试运行测得的平均端到端处理时间,包括图像预处理、模型推理、非极大值抑制(NMS)和后处理。FPS表示每秒处理的平均图像数量。内存利用率和CPU温度在相同的实验条件下记录。由于部署性能取决于硬件架构、运行时框架、优化策略、模型变体、输入分辨率和基准测试协议,报告的延迟值不应被解释为直接的跨平台比较,而应作为在相应实验条件下部署效率的指标。
## 8. 在资源受限的边缘平台上展示YOLO模型
为了补充文献综述,本研究实验性地评估了YOLOv11n模型在树莓派5边缘平台上用于光伏故障定位的部署,如图15所示。其目标是调查在资源受限的嵌入式设备上部署轻量级YOLO模型以进行无人机辅助和现场光伏巡检的实际可行性。特别关注通过分析不同推理配置下的推理延迟、吞吐量、内存利用率和热行为来评估部署效率。
部署实验使用四种推理格式进行:原生PyTorch FP32、ONNX FP32、ONNX FP16和ONNX INT8。为确保可重复性,所有基于ONNX的实验均在树莓派5上使用ONNX Runtime v1.20.1配合CPU执行提供程序执行。在基准测试之前,执行了10次预热迭代以消除初始运行时开销并稳定推理性能。随后,每种部署配置进行了50次基准测试运行,报告的延迟值对应平均端到端推理时间。训练好的YOLOv11n模型被转换为ONNX格式,以改善在树莓派5上的运行时兼容性和推理效率。此外,通过ONNX Runtime v1.20.1实现了FP16优化和INT8量化,以评估降低数值精度对嵌入式部署性能的影响。所有实验均在640 × 640像素的输入分辨率下,在相同的硬件和软件条件下执行。性能通过端到端单图像推理进行评估,包括图像预处理、模型推理、非极大值抑制(NMS)和后处理。完整的部署配置和基准测试环境总结在表31中。
部署性能使用推理延迟、每秒帧数(FPS)、内存利用率、CPU利用率和操作温度进行评估,以全面评估嵌入式执行效率。比较基准测试结果展示在表32中。
实验结果表明,基于ONNX的部署与原生PyTorch执行相比,始终提高了推理效率。报告的延迟值代表10次预热迭代后从50次基准测试运行中获得的平均端到端推理时间。在评估的配置中,ONNX FP32模型实现了最佳的整体性能,记录的平均推理延迟为153.01毫秒,吞吐量为6.54 FPS。FP16和INT8部署格式也减少了计算开销和内存需求,同时保持了可接受的定位性能,证明了面向部署的优化技术对嵌入式AI应用的有效性。
尽管所实现的吞吐量不满足连续高速无人机视频流的帧率要求,但它适用于基于航点导航或周期性图像采集的近实时光伏巡检场景,在这些场景中图像是顺序处理的而非连续处理的。这些结果表明,轻量级YOLO模型在与适当的优化技术(如ONNX Runtime和模型量化)结合时,可以有效地部署在低成本嵌入式硬件上。
总体而言,这项实验研究通过为资源受限的边缘平台提供实际的部署证据,补充了所审阅文献中报告的发现。它进一步突出了推理速度、计算效率、内存消耗和部署可行性之间的权衡,为选择适合实际光伏监控系统的运行时框架和优化策略提供了有用的指导。
图16. 树莓派5上的模型部署及所提出的缺陷检测系统的整体工作流程。
## 9. 面向无人机驱动太阳能板故障检测的系统开发与部署
图16展示了基于YOLO模型开发部署无人机辅助光伏(PV)故障检测系统的整体工作流程。所提出的框架由四个顺序阶段组成,涵盖模型开发、部署优化、无人机集成和实际现场验证,提供了一条从算法设计到实际部署的完整流程。
第一阶段侧重于使用标注好的图像数据集开发用于光伏故障定位的轻量级YOLO模型。在模型开发过程中,重点关注准确检测常见的光伏缺陷,包括裂纹、热点、积灰和电势诱导衰减(PID),同时在定位性能和计算效率之间保持平衡,以便在资源受限的平台上部署。
第二阶段涉及针对嵌入式边缘设备(如树莓派5、NVIDIA Jetson平台和其他低功耗AI处理器)优化训练好的模型。采用面向部署的优化技术,包括ONNX模型转换、FP16优化、INT8量化和轻量级推理框架,以提高推理速度、减少计算复杂度并最小化内存消耗,同时在嵌入式操作条件下保持可靠的定位性能。
在第三阶段,优化后的模型与配备机载相机、通信模块和自主飞行规划系统的无人机平台进行集成。在飞行巡检过程中,捕获的图像在嵌入式边缘设备上进行处理,以实现近实时的光伏故障定位。检测到的缺陷连同相应的图像和地理信息可以传输到远程监控站进行可视化、故障分析、维护规划和运营决策支持。
最后一个阶段专注于在实际操作条件下验证完整的无人机辅助巡检框架。集成系统在代表性的光伏环境中进行评估,包括公用事业规模太阳能农场、屋顶光伏安装系统和浮动光伏系统。评估考虑定位准确性、推理延迟、部署效率、通信可靠性和操作鲁棒性,以评估轻量级YOLO模型在真实世界光伏监控中部署的可行性。
总体而言,这个分阶段部署框架展示了如何将轻量级YOLO架构、嵌入式边缘计算和无人机辅助巡检相结合,以支持高效、可扩展和实用的光伏故障定位。它还突出了面向部署的优化对于在资源受限的边缘平台上实现可靠性能的重要性。
## 10. 挑战与未来展望
尽管基于YOLO的模型在光伏(PV)故障定位方面取得了相当大的进展,但在这些系统能够大规模可靠部署之前,仍存在若干技术和实际挑战。其中一个主要挑战是受控实验数据集与真实操作环境之间的差异。变化的光照、云影、灰尘积累、鸟粪、反射、季节性天气变化以及无人机飞行中的运动模糊等因素,可能会显著影响定位准确性并降低训练模型的鲁棒性。因此,在基准数据集上表现良好的模型在真实操作条件下部署时,不一定能保持相同的性能水平。
另一个重要的局限性是高质量光伏数据集的可用性。大多数公开可用的数据集相对较小,存在类别不平衡问题,并且稀有缺陷(如电势诱导衰减(PID)、严重微裂纹和脱层)的样本有限。此外,成像方式、标注质量、采集条件和缺陷定义方面的差异,使得在不同研究之间进行公平比较变得困难。
虽然数据增强和基于GAN的合成图像生成已被广泛采用以应对数据稀缺问题,但合成图像未必总能准确反映实际光伏检查过程中遇到的材料特性、环境条件和传感器噪声。从部署角度来看,近期YOLO架构(如YOLOv10和YOLOv11)通过增强的特征提取和架构优化展示了更高的定位精度。然而,这些改进往往伴随着计算复杂度的增加,使得在资源受限的嵌入式平台上部署变得更加困难。本综述中呈现的实验评估表明,部署性能受所选推理框架、优化策略和数值精度的强烈影响。虽然基于ONNX的优化相比在Raspberry Pi 5上原生PyTorch执行大幅降低了推理延迟,但所达到的吞吐量更适合准实时图像检测而非连续高帧率无人机视频分析。这些发现凸显了在设计和实际边缘计算光伏监测系统时平衡定位精度与计算效率的重要性。
另一个挑战是缺乏标准化的评估和基准协议。许多研究采用不同的数据集、标注策略、IoU阈值、输入分辨率、评估指标、硬件平台和部署框架,使得直接定量比较变得困难。此外,推理延迟、帧率(FPS)、内存消耗、功耗、热行为、预处理开销和后处理时间等实际部署指标通常被遗漏。缺乏一致的报告限制了可重复性,并使得难以评估不同方法在真实部署环境中的适用性。尽管一些研究探索了电致发光(EL)、红外(IR)、RGB图像和电气测量的集成,但全面的端到端多模态光伏故障定位框架仍然相对有限。
未来研究应着重提高定位性能和部署效率。领域适应、自监督学习、半监督学习和合成到真实迁移学习为提高标记数据有限情况下的模型泛化提供了有希望的方向。高级数据增强技术、扩散模型和物理真实的合成数据生成可以进一步提高数据集多样性并减少类别不平衡的影响。从部署角度来看,量化、剪枝、轻量级神经网络架构设计、神经网络架构搜索(NAS)和硬件感知模型优化等优化技术应继续研究,以实现嵌入式边缘设备上的高效推理。
未来研究还应建立标准化的基准协议,一致报告数据集、标注策略、输入分辨率、IoU阈值、硬件配置、预处理和后处理开销、推理延迟、FPS、内存消耗、功耗和热特性。此类报告将提高可重复性,并使不同YOLO光伏故障定位方法之间的公平比较成为可能。最后,应更加重视在真实环境条件下使用无人机辅助检查系统进行的端到端验证。轻量级目标检测、多模态感知、云-边协作和智能自主检查的集成有可能提高下一代光伏监测系统的可靠性、可扩展性和实际部署能力。
11. 结论
本综述系统分析了2016年至2025年间发表的130项关于YOLO光伏故障定位的研究,全面概述了基于深度学习光伏检查的最新进展。所审查的文献被组织为12个技术类别,涵盖基础YOLO架构、轻量级模型、Transformer和注意力增强网络、特征融合策略、混合方法、迁移学习、基于GAN的数据增强以及基于DETR方法的比较研究。此外,本综述还检查了17个基准数据集、常用评估指标、部署策略和边缘计算平台。为提高已发表研究的透明度和可重复性,本综述开发了基于分类的比较分析和可追溯性表格,汇总了数据集、评估指标、IoU阈值、输入分辨率、硬件平台和实验设置。总体而言,分析表明近期的架构创新显著提高了定位精度和计算效率,同时也确定了与数据集多样性、类别不平衡、评估协议不一致和部署基准有限相关的关键挑战。
为补充文献综述,轻量级YOLOv11n模型被部署在Raspberry Pi 5上,基于ONNX的优化取得了最佳性能,平均推理延迟为153.01毫秒,推理速度为6.54 FPS,证明了嵌入式光伏故障定位在资源受限设备上的可行性。总体而言,研究发现表明YOLO光伏故障定位正在向更精确、更轻量级和更注重部署的检查系统演进。未来研究应着重于开发更大且更多样的基准数据集,建立标准化的评估和部署协议,改进多模态数据融合和合成到真实领域适应,并设计硬件感知轻量级架构,以支持真实环境中的可靠、可扩展和自主光伏监测。
伦理声明
本研究中未涉及参与者。因此,伦理批准、知情同意以及遵守机构或许可法规不适用。
资金
本研究未获得外部资金。
Gandrothu Karthik | Rayappa David Amar Raj | Yaramati Uday Sri | Archana Pallakonda | Sreelakshmi K
Amrita Vishwa Vidyapeetham,Coimbatore,印度,Amrita人工智能学院