输电线路故障检测的视觉-语言模型：电网可靠性与优化的新方法

《Journal of Imaging》：Vision–Language Models for Transmission Line Fault Detection: A New Approach for Grid Reliability and Optimization Runle Yu, Lihao Mai, Yang Weng, Qiushi Cui, Guochang Xu and Pengliang Ren

　　

可靠的输电走廊故障检测对于防止小缺陷发展成长时间停电和代价高昂的应急操作至关重要。本研究旨在提高开放词汇视觉语言骨干网络（Open Vocabulary Vision Language Backbone, OV-VLB）的现场可靠性，而无需以端到端方式重新训练大型模型。研究工作聚焦于常规巡检期间收集的多区域走廊图像中的四种操作故障类，并使用Florence-2视觉语言模型（Vision Language Model, VLM）作为基础识别器。在此骨干网络之上，引入了三个领域特定组件。一种子类感知融合（Subclass-Aware Fusion, SAF）方案将概率质量保持在活跃父概念内，从而使绝缘子覆冰和导线覆冰产生稳定、面向操作的决策。一种电力线聚焦后裁剪（Power-Line Focus Then Crop, FTC）归一化利用注意力引导的走廊窗口结合等方性缩放，使得细导线和小金具在处理后的图像中保持可见。一种走廊地理先验（Corridor Geo Prior, CGP）随着与映射中心线距离的增加而降低分数，从而抑制位于走廊外的检测。所有方法在共享的预处理和评分流程下，以训练自由（Training-Free, TF）和参数高效调优（Parameter-Efficient Tuning, PET）模式进行评估。在未见区域上的实验显示，对细长和低对比度故障的准确率更高，线路走廊外的误报更少，并且在用于分诊的置信度范围内分数校准有所改善，同时吞吐量和内存使用适合无人机（Unmanned Aerial Vehicles, UAV）和变电站边缘设备。

论文解读文章

研究背景方面，输电线路走廊的常规巡检对于防止小缺陷演变为长时间停电和高成本的应急操作至关重要。传统的地面巡线和直升机巡检虽然有效，但成本高昂、受天气影响大，且难以随着电网扩展和极端事件频发而规模化。近年来，搭载高分辨率传感器的无人机（UAV）结合现代计算机视觉改变了观测方式，同时基于大规模图像-文本语料训练的视觉语言模型（VLM）实现了开放词汇识别，允许操作员使用描述性提示而非固定标签列表进行搜索。然而，当条件跨区域、季节、传感器和飞行高度变化时，部署仍面临挑战，且操作标签往往比其触发的动作更粗糙。目前存在三个主要问题：第一，分类学问题，现场标签通常粗粒度，如“覆冰”仅标注父级，但绝缘子覆冰和导线覆冰导致不同风险和纠正动作，训练出的检测器易在视觉相似的子类间分散概率，产生不稳定决策；第二，几何问题，全局方形缩放会引入扭曲或激进降采样，使细导线和小金具在长距离UAV图像或雪、雾、背光条件下失去对比度；第三，空间先验问题，大多数模型使用均匀空间先验，远离线路的结构仍可能获得高置信度，非最大抑制（NMS）无法编码走廊几何，导致走廊外误报增加审查负担。此外，许多感知研究关注聚合检测指标，而未将模型行为与可靠性导向结果（如正确元素接地、支持具体动作的机制识别、抑制走廊外可行误报）联系起来。因此，本研究旨在开发一个轻量级框架，在保持适合UAV或变电站硬件边缘部署的同时，解决这三个约束。

研究人员采用Florence风格的视觉语言骨干网络，并添加三个轻量级组件，开展了以下研究：在来自国家电网及合作单位常规巡检的6249张多区域输电走廊图像上（涵盖温带、干旱和高山气候，分为三个区域，其中Region A用于训练和验证，Regions B和C用于未见测试），聚焦四类操作故障（导线断裂、异物、绝缘子覆冰、导线覆冰），在训练自由和参数高效调优模式下评估。结论是：结合子类感知融合、几何保持的FTC归一化和走廊地理先验，在未见区域上对细长和低对比度故障的检测准确率更高，走廊外误报更少，分数校准更好，且吞吐量和内存适合UAV和变电站边缘设备。该研究发表在《Journal of Imaging》。

主要关键技术方法（不超过250字）：本研究采用Florence-2视觉语言模型（VLM）作为骨干，并引入三个领域特定组件。第一，子类感知融合（SAF）：在父类概念（如“覆冰”）内约束概率，通过子类掩码在融合文本和少样本证据前组归一化，稳定子类（如绝缘子覆冰与导线覆冰）决策。第二，电力线聚焦后裁剪（FTC）归一化：利用注意力引导的窗口（基于余弦相似度计算类条件注意力图，经平滑后选择最大注意力质量的方形区域）进行等方性缩放，保留细导线和小金具细节，并通过后向投影恢复原始坐标。第三，走廊地理先验（CGP）：将走廊表示为像素坐标中的折线，根据检测框中心到映射中心线的距离，通过平滑空间先验调制类logits，距离超过半宽R后分数呈二次衰减，在NMS前调整排序。此外，支持训练自由（基于K-shot缓存，通过指数余弦相似度检索）和参数高效调优（插入低秩适配器LoRA，允许缓存键轻微更新）两种模式。

研究结果（保留每个小标题）：

**3.1 整体检测性能（Overall Detection Performance）**
通过固定预处理和评分流程，在未见测试区域上比较了多种方法。训练自由适配器达到78.5% mAP@0.5和55.2% mAP@0.5:0.95；轻量调优适配器进一步提升至82.7% mAP@0.5和58.9% mAP@0.5:0.95，且期望校准误差（ECE）在高置信度区间降低，使阈值更易设置和保持。

**3.2 类级行为与定性证据（Class-Wise Behavior and Qualitative Evidence）**
通过精确率-召回率（PR）曲线和定性示例分析：导线断裂类在大部分召回范围内曲线上升，表明覆盖范围提高且未牺牲精确率；异物类受益于走廊先验，抑制了视觉相似杂波中的路线外提议；最大的改进出现在覆冰层级，子类感知融合稳定了绝缘子与导线覆冰的分离，即使两者出现在同一帧中；在退化条件（模糊、噪声、低光、视角变化）下，检测框和分数保持稳定。

**3.3 跨区域迁移与消融（Cross-Region Transfer and Ablation）**
将温带-湿润区域训练的模型直接评估于干旱和高山场景，准确性相对下降但相对顺序保持，轻量调优适配器仍最高。通过逐步消融（从零样本骨干到完整模型）显示：缓存检索提供最大增益，键调优贡献较小，LoRA提供最终增量。对三个领域特定组件（F、N、G）的消融表明，各自单独提供微小但一致的增益，组合后达78.5% mAP@0.5和55.2% mAP@0.5:0.95。

**3.4 效率与部署性（Efficiency and Deployability）**
在相同预处理和后处理下，训练自由适配器约15 FPS，轻量调优约14 FPS，仅增加少量参数。在8 GB内存的边缘设备上，训练自由适配器的FLOPs增加约1.2%，延迟增加4 ms，峰值内存增加50 MB；轻量调优适配器FLOPs增加5.6%，延迟增加9 ms，峰值内存增加150 MB，引入5.8 M可训练参数，仍适合典型UAV和变电站边缘平台。

**讨论部分**总结：本研究使走廊检测模型更贴近操作决策。主要发现三点：子类感知融合、几何保持FTC和走廊先验的组合在相同预处理下优于强基线；最大收益出现在细长低对比度目标和走廊外杂波等易导致现场系统失效的场景；置信度在固定阈值下更易使用，校准误差在高分区间降低，分数跨区域可迁移。闭集检测器在域内训练时表现优异，但跨域和粗标签下性能下降；开放词汇骨干如Florence可识别更广概念，但零样本分数在细粒度区分和罕见模式上不稳定。子类机制在两者之间起到平衡，不改变骨干或需重训，但防止概率泄漏到父类外。FTC步骤简单但有效，复用Florence联合表示，仅增加一次前向传播。走廊先验基于映射中心线的距离门控，实用地减少走廊外警报。局限性包括：曝光饱和或极远距离时信号不可恢复；注意力图在提示不匹配时可能脆弱；走廊先验假设中心线投影准确，误差可能抑制有效检测；缓存仍受类别不平衡影响；所有结果基于冻结骨干和小适配器，不同骨干或光学条件下超参数可能不最优。未来方向：添加时间上下文（如简单跟踪器或时空注意力模块）稳定注意力、恢复细节；与操作分析耦合，通过不确定性传递阈值选择以最小化预期停电分钟数；扩展地理和传感器，共享去标识子集。

**研究结论部分翻译**：本研究旨在使输电走廊故障检测在常规导致现场系统失效的条件下更加可靠。研究人员保留了一个现代视觉语言骨干网络，并添加了三个与电网实际操作匹配的小组件：一个子类感知融合，将概率保持在活跃父概念内；一个电力线FTC归一化，为细导线和金具保留几何形状；一个走廊地理先验，对远离映射线路的检测框进行折扣。通过跨基线共享的单一预处理和评分流程，这些添加在最关键之处产生了更高的检测准确性，并生成了跨区域无需不断调整即可转移的置信度分数。在测试范围内，这三个组件一致地提高了检测质量和分数可用性：子类融合稳定了细粒度覆冰决策，几何保持裁剪恢复了全局缩放抹去的细节，走廊先验减少了杂波中的路线外误报。设计保持简单，默认训练自由，可选低秩调优路径仅增加少量参数。存在边界：当场景过曝或目标远超实用分辨率时，信号不可恢复；驱动裁剪的注意力图在提示弱时可能错位窗口；走廊先验假设可用中心线。实际意义是，适度的、结构良好的领域知识（分类学、几何和少量域证据）将感知输出推向可操作决策，无需重训或定制模型。未来工作将添加短期时间上下文以稳定长距离下的注意力和细节，并将检测器的校准输出与下游可靠性指标耦合，以便为操作影响而非通用准确性选择阈值。具体计划是重用冻结的Florence编码器于短帧序列，添加轻量跟踪器或浅层时空变换头，同时保持每帧计算预算接近当前模型，并扩展地理和传感器，共享去标识子集供验证。