摘要
为解决仅依赖视觉的缺陷检测存在的局限性，以及复杂变电站检测场景中图像与语义不匹配、空间逻辑冲突等问题，本文提出了一种基于摄像头传感器的多模态缺陷感知框架，该框架通过跨模态特征映射实现变电站设备的监测。该框架整合了由摄像头传感器采集的现场检测图像、缺陷的文本描述以及设备拓扑结构信息，构建了一套统一的域自适应预训练-双向跨模态映射-分层推理工作流程。首先，采用基于对比语言-图像预训练（CLIP）的域自适应预训练策略，提升设备类别、缺陷属性以及检测场景语义的表达能力。其次，构建双向跨模态特征映射网络，用于建模候选视觉区域与文本语义之间的细微关联，并引入基于不确定性意识的融合机制及原型约束，以提高语义对齐度和缺陷识别精度。最后，设计分层神经符号推理模块，结合设备拓扑结构和空间规则，用于后续验证、逻辑一致性检查以及误报抑制。在变电站检测图像数据集上的实验表明，所提方法的mAP@0.5值为90.8%，mAP@0.5:0.95值为68.7%，F1分数为89.4%，性能优于现有的主流检测模型。
