将Segment Anything模型适配用于输电线路走廊隐患分割

《Pattern Recognition》：Adapting segment anything model for power transmission corridor hazard segmentation

　　摘要：- 我们构建了ELE-40K数据集，这是一个包含44,094个图像-掩膜对的大规模基准，用于真实电力输电廊道隐患分割（PTCHS），涵盖4种设备和11类隐患。ELE-40K解决了电力输电廊道隐患排查这一关键现实需求。- 我们提出了ELE-SAM模型，显著推进了SAM在PTCHS任务上的发展。我们设计了两个有效模块以提升性能。其中，上下文感知提示适配器（CAPA）用于生成更具区分性的提示令牌，高保真掩膜解码器（HFMD）则用于生成高质量分割输出。- ELE-SAM在ELE-40K上达到了80.0%的mIoU，刷新了当前最优性能（SOTA）。此外，我们在HQSeg-44K上以94.1%的mIoU和COCO上以50.6%的零样本AP进一步验证了我们方法在高质量分割任务中的有效性。引言：输电廊道巡检对于保障电力输电安全与稳定至关重要[1]。当前基于目标检测的巡检方法在定位输电廊道周边隐患目标方面已取得显著进展[2]。然而，这些方法通常仅预测粗略的边界框，影响了后续任务（如形态分析、测距）对精确隐患形状的需求。因此，输电廊道隐患分割（PTCHS）旨在将输电设备及周边隐患从复杂背景中进一步分离，为后续的风险评估与防治策略制定提供更为实用的解决方案。虽然PTCHS并未引入根本性的新分割范式，但它解决了电力输电廊道隐患排查这一关键现实需求。相关研究已取得令人满意的结果[1][3]。然而，精确分割的不足限制了PTCHS的实用性。近年来，在通用图像分割领域，分割一切模型（SAM）[4]已作为一种基础模型崭露头角。得益于大规模预训练，SAM在多种场景的众多任务中展现出令人瞩目的可迁移性和适应性，包括医学图像分割[5]和层次化文本分割[6]。受SAM卓越性能的启发，我们将其应用于推进PTCHS任务。然而，这一过程面临两大挑战。**（1）数据匮乏。** 目前可用的PTCHS数据集很少，在复杂输电廊道场景中缺乏充足的隐患类别和高品质的掩膜标注。**（2）分割质量。** 与通用分割中的常见物体不同，PTCHS的目标通常被杂乱的廊道背景所包围，且包含大量细长或精细结构，例如输电塔、绝缘子、线路、吊车和烟雾。即使经过针对PTCHS数据的专门微调，SAM仍难以处理这些目标，因为提示令牌容易受到周围建筑物、设备、植被或视觉上相似背景区域的干扰，而原始掩膜特征在解码过程中不足以保留细长或微小结构。例如，如图1的第二列和第四列所示，SAM对塔式吊车的分割受到周围建筑物或设备的严重干扰。为应对上述挑战，我们首先构建了首个面向PTCHS的大规模基准数据集**ELE-40K**，包含44,094个像素级标注的图像-掩膜对，源自真实输电廊道。ELE-40K涵盖输电设备、施工车辆和环境隐患，如野火、烟雾等。为获取掩膜标注，我们采用了一种半自动迭代策略[4]：首先使用部分人工标注数据微调SAM，然后利用迭代重新训练的SAM对剩余图像进行标注，并结合人工修正。针对ELE-40K上的PTCHS任务，我们提出了一个基线模型**ELE-SAM**。在技术上，我们没有直接应用通用适配器，而是引入了上下文感知提示适配器，通过建模局部提示关系并聚焦输电廊道场景中不确定的目标-背景区域，挖掘更具区分力的提示令牌。此外，为更好地在掩膜解码过程中处理具有精细结构的隐患目标，我们设计了高保真掩膜解码器。在该掩膜解码器中，多源特征被融合、迭代细化，然后缩放至512×512的高分辨率，从而进一步保留细长设备和隐患的结构细节。实验结果证明，我们的方法在需要高质量分割能力的困难样本上具有显著效果。综上所述，我们的主要贡献有三点：- 我们构建了ELE-40K，这是一个包含44,094个标注图像-掩膜对的大规模基准，用于真实电力输电廊道隐患分割。- 我们提出了ELE-SAM模型，推进了SAM在PTCHS任务上的发展。我们设计了两个定制模块：上下文感知提示适配器用于生成更具区分性的提示令牌，高保真掩膜解码器用于高保真细节分割。- 大量实验证明了ELE-SAM的卓越性能。此外，我们还在高质量通用物体分割上验证了我们方法的有效性，相比领先方法，mIoU平均提升2.9%，mBIoU平均提升3.8%。本文结构如下：第2节简要回顾了相关工作；第3节介绍了所提出的方法和数据集；第4节报告了大量实验结果；第5节为结论。章节摘要：**输电廊道巡检：**近年来，计算机视觉技术在输电廊道巡检中的应用日益受到关注[7]。主要采用的方法是目标检测方法，可分为两阶段和单阶段算法。两阶段方法在检测前提取候选区域，精度更高[8]；单阶段方法则利用卷积神经网络进行端到端检测，更注重速度[2][9]。**方法学：**本文提出了ELE-SAM模型和ELE-40K基准数据集。第3.1节首先概述了ELE-SAM的整体架构，随后在各子节中提供了详细的方法描述。第3.5节还介绍了ELE-40K的构建流程和统计信息。**实验细节：****数据集。** ELE-40K包含44,094个图像-掩膜对，标注了真实输电设备和隐患场景，其中80%的数据用于训练，20%用于验证。HQSeg-44K [21]是一个综合数据集，整合了六个现有的图像分割数据集，包括DIS [36]、ThinObject-5K [37]、FSS [38]、ECSSD [39]、MSRA-10K [40]和DUT-OMRON [41]的训练集。DIS、ThinObject-5K、COIFT和HR-SOD数据集用作验证集。**结论：**本文提出了ELE-SAM，一种针对电力输电廊道隐患分割（PTCHS）任务的有效解决方案。我们设计了两个关键模块——上下文感知提示适配器（CAPA）和高保真掩膜解码器（HFMD），以应对复杂背景和异构物体结构带来的挑战。CAPA挖掘更具区分力的提示令牌，以更好地将目标物体与背景区分开来，而HFMD则对目标进行分割并保留高保真结构细节。**CRediT作者贡献声明：****Hang Chen：** 撰写——审阅与编辑，撰写——初稿，方法论，调查研究，数据整理。**Maoyuan Ye：** 撰写——审阅与编辑，撰写——初稿，方法论，调查研究，数据整理。**Peng Yang：** 验证，数据整理。**Haibin He：** 验证，数据整理。**Juhua Liu：** 撰写——审阅与编辑，验证，监督指导，资源，项目管理，资金获取。**Shaohe Wang：** 撰写——审阅与编辑，验证，监督指导，资源。**Bo Du：****利益冲突声明：**作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。**致谢：**本研究部分由国家新一代人工智能重大科技项目（资助号2025ZD0123602）、国家自然科学基金（资助号62225113、U23B2048和625B2132）、湖北省创新研究群体项目（资助号2024AFA017）、湖北省科技重大项目（资助号2024BAB046和2025BCB026）以及新基石计划资助。作者：Hang Chen | Maoyuan Ye | Peng Yang | Haibin He | Juhua Liu | Shaohe Wang | Bo Du