评估视觉语言模型在低监督下用于光伏缺陷识别与定位的可靠性

《ADVANCED ENGINEERING INFORMATICS》：Evaluating the reliability of vision-language models for photovoltaic defect recognition and localization under low supervision

　　

• •
  分析了视觉语言模型在低监督条件下用于光伏缺陷检测的语义行为。
• •
  表明零样本光伏缺陷识别对提示表述和聚合方式敏感。
• •
  增加视觉支持改善了少样本分类并降低了情景变异性。
• •
  刻画了语义不稳定性与类别条件定位之间的关系。
• •
  阐明了低监督视觉语言模型用于光伏系统检测的实际限制。

引言

在全球能源转型和可再生能源快速部署的背景下，光伏系统已成为能源基础设施的关键组成部分。2021年全球光伏累计装机容量超过600吉瓦[1]。研究预测，这一趋势将使太阳能到2030年占新增可再生能源装机容量的80%以上[2]。此外，从2010年到2020年，光伏技术的每兆瓦时成本下降了82%[3]。光伏系统在运行维护、成本效益、可控性和环境性能方面具有优势，被视为支持向净零排放转型的关键技术之一[4]。

然而，光伏面板在运行过程中容易受到各种环境和机械因素的影响。表面污染等缺陷会导致功率衰减和能量转换效率降低[5]。由于光伏面板的表面状态与其能量效率高度相关，未能识别和处理这些缺陷可能会导致累积效率损失、组件退化以及能量输出稳定性下降[6]。在此情况下，实现对光伏系统的连续、可靠且经济高效的状态监测和缺陷诊断，已成为维持可再生能源系统韧性的重要研究课题[7]。

能源韧性既取决于物理鲁棒性，也取决于可靠的状态感知能力[8]。对于光伏面板而言，传感和诊断系统的可靠性是维持韧性的关键基础，因为它决定了系统是否能在数据缺口、环境干扰或设备老化等条件下持续感知状态并做出决策。许多现有的深度学习检测方法依赖大量标注样本来支持模型泛化，这限制了它们在跨环境和长期运行维护中的可扩展性和鲁棒性[9]。高数据标注成本、不均匀的样本分布和多变的现场条件使得许多深度学习模型难以持续部署，削弱了光伏系统的传感连续性和诊断可靠性[10]。

视觉语言模型的发展为支持能源基础设施韧性的智能状态监测提供了新的可能性。通过在大规模图文对齐语料库上的预训练，视觉语言模型可以支持零样本推理和具有有限任务特定监督的少样本自适应[11]。与传统任务特定监督模型相比，视觉语言模型具有以最少或无需额外标注即可适应新诊断场景的优势[12]。

光伏表面缺陷通常具有弱视觉显著性、弥散空间结构和重叠语义描述的特征。这些属性对视觉识别系统构成了挑战。虽然预训练视觉语言模型在通用基准上表现出了强大的零样本能力，但它们在细粒度、弱结构化检测场景中的语义行为、决策稳定性和空间可靠性仍未得到充分理解。

从能源系统可靠性和韧性的角度来看，数据稀缺是一种持续存在的条件。光伏电站的地理分布广泛、安装环境异质以及长期环境变化共同限制了一致标注数据的可用性[13]。在这些约束下，智能检测系统的实际可行性取决于语义决策在最小监督下是否保持稳定、可解释和可控。理解预训练视觉语言模型在这些条件下的行为，对于开发稳健、可扩展且可持续的能源基础设施检测管道至关重要。最近的研究也强调，大型多模态和生成模型的可靠性超越了任务准确率。Ding[14]提出了AdaRubric，该方法使用任务自适应评估标准和可靠性量化来评估大语言模型智能体的轨迹。Zhang等人[15]引入了AMIA来提高大型视觉语言模型在对抗性多模态输入下的推理时鲁棒性。尽管这些研究分别关注生成式智能体评估和多模态安全性，但它们强调了需要在聚合性能之外评估模型行为。在光伏缺陷检测中，这促使我们通过决策稳定性、提示敏感性和有限监督下的空间定位行为来检查可靠性。

为解决这一空白，本文对预训练视觉语言模型在光伏缺陷识别和文本引导定位中的语义行为进行了结构化分析，考察了在逐步增加的监督水平下的表现。零样本分类、跨多个分类器和预训练表征的少样本分类以及文本引导定位在统一的评估框架内进行了考察。本文不追求性能优化，而是侧重于分析分类性能和决策稳定性如何随有限视觉监督而变化，以及语义不稳定性如何与下游类别条件定位行为相关联。

本文的主要贡献在于刻画了预训练视觉语言模型在低监督光伏检测中跨零样本识别、少样本自适应和文本引导定位的可靠性。进行了监督谱分析以表征零样本和少样本识别，展示了随着视觉支持增加分类性能和决策稳定性如何变化。此外，分析了文本引导定位的语义-空间局限性，表明语义不稳定性与类别条件定位的变化相关，而空间误差部分独立于分类准确率。这些发现阐明了预训练视觉语言模型在数据稀缺检测场景中的实际运行机制，并为光伏及相关能源基础设施应用中标注高效的检测管道设计提供了依据。

章节片段

研究目标

本文分析了分类性能和决策稳定性如何在有限视觉监督下变化，以及语义不稳定性如何与光伏检测中下游缺陷定位的可靠性相关联。

分析从基于对比语言-图像预训练（CLIP）模型语义对齐能力的零样本推理开始。考虑了具有细微视觉差异和重叠语义的光伏表面缺陷，包括表面污染

相关工作

本节回顾了四个相关领域。第3.1节考察了视觉语言模型的零样本学习语义识别能力以及在处理细粒度和视觉上接近的类别时的局限性。第3.2节讨论了使用预训练表征的少样本分类，包括从有限视觉支持中学习的参数化和非参数化方法。第3.3节总结了文本引导缺陷定位的最新进展，强调了应用

数据预处理

光伏面板缺陷图像取自光伏面板缺陷数据集[95]，并分为四类缺陷：SC、EB、PD和SA。初始候选图像池包含500多张图像。

在构建实验划分之前，对图像集进行了重复和近似重复内容的审计，以降低支持样本和查询样本之间信息泄露的风险。使用安全哈希算法256（SHA-256）哈希识别完全重复项。潜在

讨论

分类受益于有限的视觉支持，并对支持样本选择变得不那么敏感，而像素级定位即使在正确的类别条件下仍然薄弱。语义决策稳定性和空间定位可靠性在低监督光伏检测中表现出相关但不同的行为。综合来看，这些发现支持了一种超越聚合任务性能的更广泛的可靠性视角。在低监督光伏检测中，这包括

结论

本文评估了预训练视觉语言模型在低监督条件下用于光伏表面缺陷识别和定位的性能。零样本分类仍然对提示表述和证据聚合敏感，而额外的视觉支持改善了分类性能并降低了所评估表征中的情景变异性。残余误差仍然具有结构性，特别是对于与覆盖相关类别混淆的含损伤缺陷。

像素级

CRediT作者贡献声明

Yanlin Li:写作——初稿，验证，方法学，数据管理。Chi-Yun Liu:可视化，验证。Wai Oswald Chong:写作——审阅与编辑，监督。

利益冲突声明

作者声明，他们不知道可能影响本文所报告工作的已知竞争经济利益或个人关系。

Yanlin Li|Chi-Yun Liu|Wai Oswald Chong