基于局部特征解耦与物理先验的光伏RGB外观缺陷图像合成框架及其像素级监督生成研究

《Applied Sciences》:When Is a Short Audit Record Sufficient? An Audit-to-Decision Procedure for Industrial Compressed Air Systems

【字体: 大 中 小 】 时间:2026年09月21日 来源:Applied Sciences 2.5

编辑推荐:

  可靠的太阳能光伏组件视觉检测受限于多样化缺陷图像和像素级标注的稀缺性。本研究提出了一种缺陷特定的RGB图像合成框架,结合局部特征解耦与物理先验引导建模,用于阴影、碎屑、积尘和破碎缺陷的生成,同时生成空间对齐的像素级掩码。研究人员从图像质量、分布一致性、结构保持

  
可靠的太阳能光伏组件视觉检测受限于多样化缺陷图像和像素级标注的稀缺性。本研究提出了一种缺陷特定的RGB图像合成框架,结合局部特征解耦与物理先验引导建模,用于阴影、碎屑、积尘和破碎缺陷的生成,同时生成空间对齐的像素级掩码。研究人员从图像质量、分布一致性、结构保持和下游效用等方面对生成样本进行评估。与CycleGAN、MUNIT和SDXL Inpainting相比,所提方法在全部四类缺陷上取得了最低的BRISQUE分数,在阴影、碎屑和破碎类别上取得了最低的类别级缺陷感知Fréchet距离(DFD),并在所有类别上取得了最低的MMD2-RBF值。将生成样本加入真实训练数据后,五次运行的平均分类准确率(Accuracy)和宏平均F1分数(Macro-F1)分别达到88.96%和87.83%,检测性能亦获得提升。此外,仅使用生成的图像-掩码对训练的分割模型在未见过的真实图像上取得了60.15%的mIoU。上述结果表明,所提框架能够为光伏视觉检测提供结构一致、任务有效的缺陷样本以及可直接使用的像素级监督信息。
光伏RGB外观缺陷图像合成:从数据稀缺到像素级监督的生成框架
一、研究背景与问题提出
随着光伏装机容量的持续扩大,光伏组件在运行过程中常受到积尘沉积、外部遮挡、机械损伤导致的破碎缺陷等不利因素影响,可能降低发电效率并威胁系统可靠性。因此,高效、准确且智能的光伏系统故障检测与状态评估方法已成为保障电站安全稳定运行、提升运维效率的重要研究方向。近年来,深度学习与计算机视觉在光伏缺陷识别中的日益广泛应用,推动检测实践从传统人工判读向智能分析转变。然而,此类数据驱动方法的性能在很大程度上依赖于充足、高质量且具有代表性的训练样本的可得性。
在光伏电站巡检中,无人机平台凭借大范围覆盖、非接触数据采集和高运行效率等优势,逐渐成为智能运维的重要途径。当前光伏缺陷识别技术主要集中于红外热成像,其能够有效表征热异常,并已在电站运维中得到广泛应用。然而,基于红外图像的深度学习模型虽取得显著进展,但不同缺陷类型在红外热像中常表现出相似的热异常模式,难以充分表征其表面形态、纹理细节及根本成因,这一局限阻碍了运维系统支持根因诊断和制定适宜维护措施。相比之下,可见光RGB成像具有采集成本低、部署灵活、适合日常巡检等优势,能够直接捕获组件表面的颜色变化、纹理扰动和破碎缺陷相关的结构损伤,因此在光伏外观缺陷识别中同样具有重要应用价值。
然而,面向可见光巡检的高质量RGB缺陷数据仍十分有限,尤其是具备正视视角、标准化背景、清晰可见缺陷和精细标注的公开样本。现有研究多使用研究者自行采集的RGB图像开展实验,相应数据集通常不公开。数据获取困难、类别分布不均衡和精细标注不足已成为限制光伏RGB外观缺陷识别训练效果和泛化能力的主要瓶颈。
针对样本不足问题,现有研究主要沿三条技术路线展开:传统数据增强仅能增加训练样本数量,本质上属于低层视觉扰动,无法生成具有明确缺陷形态、空间分布和形成特征的新样本;基于复制粘贴或局部合成的策略虽可同时获得合成区域及空间对齐掩码,但其适用性取决于目标缺陷能否合理表示为可迁移的局部实体,对阴影和积尘等连续场型缺陷表征能力有限;生成式图像合成与编辑方法中,CycleGAN和MUNIT等全局图像翻译模型易将缺陷特征与面板纹理、光照和背景外观纠缠,导致缺陷可控性有限及目标区域外的不必要变化,扩散模型修复方法虽能更有效地将修改限制在指定区域,但输入掩码主要定义可编辑区域,不一定与合成缺陷的精确边界重合,且通用预训练扩散模型可能仍需针对专门缺陷生成任务进行领域适配。
基于上述分析,本研究聚焦光伏可见光检测中的若干关键挑战,包括高质量缺陷样本有限、细粒度标注成本高、现有通用生成方法难以同时兼顾视觉真实性、空间可控性、结构保持和下游任务效用,提出了一种基于局部特征解耦和物理先验引导的光伏RGB缺陷图像生成框架。
二、研究方法概述
研究人员从公开光伏RGB数据集中,结合目标定位、区域裁剪和透视变换,构建了190张清洁、规则、视觉无缺陷的正视面板图像作为基础载体,并提取了116个阴影样本、100个碎屑样本、144个积尘样本和78个破碎样本作为缺陷先验样本库。针对四类代表性外观缺陷,研究人员分别设计了专用且可控的合成机制:阴影注入机制基于随机掩码增强和内在光照调制,利用SAM模型提取真实阴影的拓扑特征构建二值掩码库,通过随机裁剪、尺度变换、旋转、翻转和位置扰动扩展掩码多样性,并基于本征图像分解的物理先验调制实现光照衰减;碎屑生成机制基于Alpha混合和局部特征解耦,利用SAM的零样本分割能力提取碎屑区域构建遮挡物样本库,引入GAN增强遮挡物纹理和外观多样性,通过颜色和透明度分支建模RGBA遮挡层;积尘模拟机制基于Perlin噪声和物理分布梯度,通过多频分形叠加生成宏观斑驳分布,结合线性空间梯度矩阵模拟重力沉积和边框滞留导致的方向性累积趋势,并提取真实积尘样本的灰棕色颜色先验进行像素级融合;破碎缺陷模拟机制基于掩码引导的特征注入和局部纹理迁移,构建Local-GAN图像翻译架构,通过掩码引导的空间自适应路由机制将高频破碎纹理选择性注入目标区域,并设计包含局部高频纹理损失、背景冻结损失和局部对抗损失的多目标联合优化损失函数。所有合成机制均能在生成缺陷图像的同时输出空间对齐的像素级掩码,实现无标注的标签自生成。
三、研究结果
3.1 面板级图像质量结果
定性视觉比较显示,CycleGAN和MUNIT作为全局图像翻译方法,不仅在目标缺陷区域引入明显变化,还导致周围面板外观出现不同程度的色彩漂移、电池结构模糊、栅线中断和背景纹理失真。SDXL Inpainting凭借掩码约束的局部编辑机制较好地保留了非编辑面板区域,但其缺陷外观仍具有类别依赖性。相比之下,所提方法在保持目标区域外原始面板结构的同时,产生了更清晰的类别特定缺陷特征。
无参考自然度评估中,所提方法在阴影、碎屑和破碎类别上取得最高平均MUSIQ分数,分别为49.31、54.39和50.96;在全部四类缺陷上取得最低平均BRISQUE分数,分别为58.47、61.72、57.18和58.17,表明所提方法在不同缺陷类别间提供了更一致的无参考感知质量。
结构一致性评估中,碎屑和阴影生成图像取得最高ESC值,分别为0.9835和0.9837,积尘和破碎类别分别取得0.9213和0.9207,均保持在0.92以上,表明所提缺陷生成策略主要修改预期局部缺陷区域,对周围面板区域引入的结构变化有限。
3.2 缺陷级一致性结果
缺陷特征分布一致性评估中,所提方法在阴影、碎屑和破碎类别上取得最低DFD值,分别为0.1257、0.0108和0.1268;在全部四类缺陷上取得最低MMD-RBF值,分别为0.0698、0.0932、0.0789和0.0843,表明生成缺陷与真实缺陷在缺陷感知特征空间中具有较高的分布一致性。
缺陷类别一致性评估中,所提方法取得最高总体ACC为85.10%,在阴影、碎屑和破碎类别上取得最高F1分数,分别为86.45%、86.09%和84.50%,表明生成样本在类别语义表示上与真实缺陷样本高度一致。
3.3 下游任务效用结果
分类效用评估中,仅使用真实训练样本的Real-only方案取得ACC为82.56%和Macro-F1为79.64%。当生成样本与真实样本比例达到1.0时,ACC提升至最高的88.96%,Macro-F1达到最高的87.83%,较Real-only实现10.28%的相对提升。比例增至1.5时,ACC降至85.12%,表明过量的合成补充可能使训练分布产生偏差。与传统图像增强相比,Real_Add(1.0)在ACC和Macro-F1上分别取得3.73%和4.22%的相对提升,表明性能增益不仅源于训练样本数量的增加。
检测效用评估中,引入生成样本的训练方案在真实测试集上取得了优于Real-only方案的检测性能,表明生成样本能够为检测模型提供有效的目标外观信息和空间定位信息。
3.4 合成到真实分割评估
仅使用生成图像及其对应掩码训练的分割模型,在未见过的真实光伏图像上取得了60.15%的mIoU,表明生成样本在缺陷形态表示、边界组织和局部纹理特征方面与真实缺陷具有一定程度的一致性,验证了其独立跨域迁移潜力。
3.5 消融实验结果
针对阴影、碎屑、积尘和破碎四类缺陷分别构建了类别特定的消融变体,通过定性比较和下游分类、检测实验验证了各关键设计组件的贡献。结果表明,内在光照调制、Alpha分支、方向性浓度梯度和局部解耦约束等设计分别在对应缺陷的物理合理性、边界过渡、方向性累积特征和背景保持方面发挥了重要作用。
四、结论与意义
本研究所提出的光伏RGB缺陷图像生成框架,通过局部特征解耦和物理先验引导,为阴影、碎屑、积尘和破碎四类代表性外观缺陷设计了专用且可控的合成机制,实现了缺陷图像与空间对齐像素级掩码的同步生成。实验结果表明,该框架在感知质量、特征分布一致性、结构保持和下游任务效用等方面均表现出优越性能,生成样本能够有效提升光伏RGB缺陷分类和检测性能,且仅使用生成样本训练的分割模型能够泛化至未见过的真实缺陷图像。该研究为缓解高质量缺陷样本和像素级标注稀缺问题提供了有效技术路径,对光伏外观缺陷识别和智能运维具有重要的实际应用价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号