电气化铁路接触网支撑部件无人机检测与异常检测的混合脉冲视觉语言框架

《Engineering Applications of Artificial Intelligence》：Hybrid spiking-visual-language framework for unmanned aerial vehicle-based inspection and anomaly detection of catenary support components in electrified railways

　　

# 摘要

接触网支撑部件的自动异常检测对于保障电气化铁路的运营安全至关重要。然而，由于高昂的计算成本和复杂的非结构化巡检环境，将高性能深度学习模型部署在资源受限的边缘辅助无人机（UAV）巡检系统中仍极具挑战性。尽管脉冲神经网络（SNNs）提供了一种有前景的高效替代方案，但由于二值化量化和敏感于高频背景噪声，通常存在特征退化问题。为克服这些局限性，本文提出了一种名为混合脉冲对比语言图像预训练（HS-CLIP）的新型高效框架。具体而言，引入了一种基于分割一切模型的前景组件分割与清理（SAM-FCSC）策略，用于离线构建正常模板，从正常训练样本中去除无关的环境背景，为HS-CLIP提供更干净的参考表征。为补偿脉冲量化引起的信息熵损失，引入了多级视觉特征提取（MVFE）和可学习文本提示（LTP），确保稀疏视觉信号与丰富语义描述之间的鲁棒对齐。此外，设计了一种稀疏度约束（SC）机制以缓解神经元过度激活，有效抑制与任务无关的噪声。在自建的接触网缺陷数据集（CSCUD）和公开的MVTec AD基准测试上的大量实验表明，HS-CLIP实现了最先进的检测精度和卓越的泛化能力。至关重要的是，操作级理论计算表明，所提出的脉冲驱动架构在事件驱动执行下可实现比其人工神经网络（ANN）对应模型更优的能效。该分析揭示了稀疏神经元活动的物理节能潜力，为未来在资源受限的边缘平台上部署HS-CLIP提供了理论支持。

# 引言

接触网系统作为电气化铁路的主要能源传输动脉，在维持高速列车稳定运行方面发挥着关键作用。在这一复杂网络中，支撑部件具有至关重要的地位，作为确保接触悬挂精确几何参数的关键机械接口，促进受电弓-接触网之间的稳定相互作用。然而，这些部件在极其恶劣的环境中运行，持续承受严苛的复合物理应力。它们必须承受高速列车运行产生的高频机械振动和冲击载荷，同时还需抵抗由温度波动、风载荷和降水等可变环境条件引起的交替侵蚀。在这些"力-环境"耦合应力的持续作用下，支撑部件极易发生材料疲劳和性能退化。随着时间的推移，这加速了结构异常的出现——从连接松动和紧固件脱落，到严重的部件断裂。如果这些缺陷未能及时识别和修复，它们可能危及供电的可靠性，在最坏的情况下，甚至引发灾难性的铁路事故（Yang et al., 2025a, 2025b, 2026a, 2026b; Duan et al., 2025; Lu et al., 2025; Wang et al., 2025）。因此，对这些部件实施精确的健康感知和实时状态监测已成为确保铁路基础设施安全和长寿的前置条件。

历史上，接触网系统的维护严重依赖人工巡检。这种传统模式不仅劳动密集型且运营效率低下，而且受限于巡检人员的生理局限性和主观偏见。这种对人判断的依赖往往导致巡检标准不一致，尤其是在工人面对复杂的现场条件时，从而导致漏检或误报。为应对这些局限性，行业见证了向智能巡检技术的范式转变。以智能巡检车和无人机（UAVs）为代表的现代自动化平台，显著优化了巡检流程并降低了维护成本。然而，尽管这些硬件平台具备先进的数据采集能力，所获取图像的后续算法处理仍是一个重大瓶颈。铁路环境本质上是非结构化的；动态巡逻期间捕获的图像经常存在严重的几何失真、拍摄距离的随机变化以及多样化的视角。此外，支撑部件的缺陷特征往往微妙且高度多变。这些叠加因素严重削弱了现有检测算法的鲁棒性和准确性，使其无法满足实际工程应用中对"零漏检"的严格要求。

从算法演进的角度看，接触网部件的缺陷检测方法已从传统计算机视觉技术过渡到数据驱动的深度学习范式。早期方法主要基于"手工特征提取-模板匹配"流水线。例如，Zhang等（2014）利用Harris角点检测结合边缘信息来评估部件损伤，而Han等（2013）则采用仿射矩不变量和灰度描述符来表征部件状态。尽管这些传统方法在受控环境中表现出有效性，但它们对浅层低阶视觉特征的依赖使其对背景杂乱和环境噪声极为敏感，从而限制了其在复杂动态场景中的鲁棒性。

相比之下，深度神经网络凭借从大规模数据中学习高层语义表征的卓越能力，近年来已成为主导方案。研究范围已进一步拓展以应对更复杂的挑战。一方面，视觉语言模型（VLMs）被引入以实现零样本识别能力，使系统能够泛化到未见过的缺陷类型。另一方面，为应对工业环境中异常样本稀缺的问题，一系列先进框架应运而生。值得注意的是SubHVQ-Trans、DiAD（He等，2024a）、SimpleNet（Liu等，2023）、AF-CLIP（Fang等，2025）、MambaAD（He等，2024b）和Dinomaly（Guo等，2025），大多数现有的视觉异常检测方法（Hyun等，2024; Reiss和Hoshen，2023; Roth等，2022; Tien等，2023; Zavrtanik等，2021）遵循无监督范式。这些方法通过动态建模正常样本的分布或利用基于重建的机制来识别偏差，显著推进了多类别异常检测领域的发展。尽管取得了这些进步，在铁路基础设施复杂、纹理丰富的背景下实现微妙结构缺陷的鲁棒检测仍是一个需要进一步研究的关键挑战。

智能基础设施巡检的最新进展强调了可迁移表征、语义可解释性以及预测性能与计算效率联合优化的重要性。用于跨域裂纹分割和无人机现场巡检的可迁移深度学习框架表明，预训练视觉知识和领域特定适配可以改善复杂现场条件下的缺陷感知（He等，2026）。类似的跨域学习原则也在天然和再生骨料体系中FRP约束混凝土的统一轴向承载力预测中得到探索，展示了可迁移表征在处理异构工程数据分布方面的潜力（Wang等，2026）。同时，用于工业异常检测的神经符号表征学习强调了将数据驱动的神经特征与可解释语义知识关联起来的价值，这为HS-CLIP中采用的正常-异常提示对齐提供了概念支持（Capogrosso等，2023）。此外，再生骨料CFST柱的多目标材料-结构优化展示了平衡性能、可靠性和可持续性目标的重要性（Liu等，2026），而带有双目标优化的轻量级Kolmogorov-Arnold网络进一步表明，在开发紧凑工程模型时可以同时考虑准确率和计算复杂度（Kong等，2026）。受这些研究的启发，HS-CLIP复用了预训练CLIP表征，引入了语义提示对齐，并采用加权目标来平衡异常识别、像素级定位和神经元活动，而轻量级和神经符号扩展被认为是未来在无人机巡检系统边缘辅助部署中充满前景的方向。

向神经形态计算范式的转变提供了一种同时提升检测精度和能效的有前景途径。作为第三代神经网络，脉冲神经网络（SNNs）通过传输离散脉冲信号来模拟生物神经元的信息处理机制，从而有效降低计算复杂度和功耗。SNNs的基本单元通常建模为泄漏积分发放（LIF）神经元，具有时空记忆能力，仅当膜电位累积超过特定阈值时才发放脉冲。这种独特的"事件驱动"机制实现了稀疏计算，即网络在没有显著刺激时保持静默——这相较于传统人工神经网络（ANNs）中密集的矩阵乘法提供了巨大的效率优势。

最新的研究进展表明，将注意力机制整合到SNN架构中具有巨大的潜力。Spikformer（Zhou等，2023）开创了一种完全脉冲化的线性自注意力设计，创新性地用脉冲信号替代查询、键和值的浮点激活值，并消除了计算代价高昂的Softmax函数。后续研究（Zhou等，2024）将掩码图像建模引入SNN训练框架，在ImageNet数据集上实现了82.25%的惊人检测准确率，参数量为1.72亿，从而为大规模SNN确立了新的性能基准。在架构优化方面，Spiking-Resformer（Shi等，2024）通过将脉冲注意力与多尺度变换相结合，增强了局部特征提取能力，而Spike驱动的Transformer（Yao等，2023a）及其改进版本V2（Yao等，2023b）用稀疏加性注意力替代了传统乘性注意力。这些创新进一步提升了图像分类、分割和检测任务的性能，为神经形态硬件的部署奠定了坚实的理论基础。

近期研究进一步将脉冲神经网络从单模态感知扩展到视觉-语言学习。SpikeCLIP通过对齐预训练和双损失微调构建了通用的脉冲图像-语言表征，主要针对图像级跨模态识别和零样本分类。SpikingVTG引入了脉冲视频-语言框架，用于时间定位和高光检测，通过利用时间显著性反馈实现。SPKLIP专注于通过分层时间特征提取和脉冲-文本对比学习，将异步脉冲摄像机流与自然语言描述对齐。这些研究证明了基于脉冲的能效多模态学习的可行性；然而，其主要任务是全局图像分类、脉冲视频理解或时间定位，而非从静态UAV RGB图像中进行密集的工业异常定位。

因此，未解决的核心问题并非简单地将CLIP视觉编码器转换为脉冲网络，而是如何在离散时间发放下保留细粒度缺陷信息并建立可靠的块级语义对齐。与通用脉冲视觉-语言学习不同，工业异常检测需要同时实现图像级识别和像素级定位，同时还要应对极小缺陷、背景纹理干扰、异构缺陷尺度以及碎片化的脉冲响应。这些需求促使我们采用面向任务的混合架构，而非直接对原始CLIP编码器进行脉冲替代。具体而言，当结合UAV成像特征与SNN架构进行接触网部件检测时，仍存在四个核心挑战：1）离散表示导致的信息损失和梯度不匹配：连续浮点特征转换为离散二值脉冲（0/1）不可避免地造成大量的信息熵损失。这一量化过程与脉冲生成的不可微性质相结合，导致严重的梯度不匹配问题，使模型难以捕获绝缘子和套管上的细粒度表面缺陷，如微裂纹或早期腐蚀。2）二值注意力图的灵敏度退化：与人工神经网络（ANNs）中观察到的平滑高斯型注意力分布不同，SNNs中的注意力图倾向于退化为稀疏的二值分布。这种缺乏渐变性的问题显著降低了模型对光照和纹理细微变化的敏感度，导致网络忽视微小的划痕，或将高频背景噪声（如碎石或植被）误判为异常信号。3）对多样化缺陷形态的多尺度适应能力有限：接触网缺陷的形状和尺度高度多样，从大型结构松动到微小的表面裂纹不等。这对模型的局部特征表征能力提出了严格要求。然而，标准脉冲驱动模型通常缺乏分层多尺度感知能力，限制了其对不同尺寸缺陷的适应性，并阻碍了与刚性的手工设计文本提示的有效对齐。4）预测碎片化和边界模糊："脉冲退化"现象和简单发放机制的像素独立性往往导致异常预测模糊和碎片化。因此，模型难以生成空间连续的热力图来清晰勾勒缺陷轮廓，同时对背景杂乱表现出增高的敏感性，导致在非缺陷区域出现碎片化的误报。

为解决上述问题，本文提出了一种高效、抗干扰的混合脉冲视觉-语言框架——HS-CLIP。我们设计了一种新颖的基于SAM的前景组件分割与清理（SAM-FCSC）策略，从源头消除环境干扰。为缓解量化导致的特征退化，我们引入了多级视觉特征提取（MVFE）结合可学习文本提示（LTP）以增强语义对齐。此外，纳入了稀疏度约束（SC）以抑制噪声并优化缺陷定位。

该框架以高效的脉冲机制替代计算密集型操作，在我们自构建的数据集上取得了最优检测性能，同时展现出良好的活跃度依赖计算效率。本文的主要贡献总结如下：1）提出了 HS-CLIP，一种专为铁路接触网检测设计的新型节能混合脉冲视觉-语言框架。通过协同 CLIP 模型丰富的语义理解能力与脉冲神经网络（SNN）的事件驱动效率，为资源受限的边缘部署提供了算法基础。本工作探索了神经形态计算在工业应用中视觉-语言异常检测的集成。2）提出了一种基于 SAM 的前景部件分割与清洗（SAM-FCSC）策略，用于离线正常模板构建以缓解环境干扰。针对脉冲神经元对高频背景噪声的敏感性，该模块作为"语义滤波器"，通过显式移除正常训练样本中的复杂纹理（如道砟和植被）来发挥作用。该过程为学习稳定的正常表征提供了更干净的部件模板，显著提升了缺陷特征的信号与噪声比（SNR），并防止异常信号被杂乱的背景淹没。值得注意的是，SAM-FCSC 仅在离线阶段使用，不参与在线推理。3）提出了多级视觉特征提取（MVFE）和可学习文本提示（LTP），以解决量化损失和语义不对齐问题。聚合层级化时空特征以补偿信息熵损失，并以自适应提示替代刚性模板，确保与多样化缺陷形态的鲁棒对齐。4）设计了一种稀疏性约束（SC）机制，并在自构建的数据集上验证了该系统。冗余神经元放电被有效抑制，SC 机制缓解了热图碎片化问题，从而锐化了缺陷定位边界。实验结果表明，HS-CLIP 取得了具有竞争力的异常检测性能，同时操作级理论计算表明，稀疏脉冲驱动计算带来了显著的物理能耗优势。这些发现为未来在资源受限的无人机平台上的部署提供了算法基础。

本文其余部分组织如下。第 2 节介绍所提出的方法。第 3 节描述实验数据集、实验设置、实验结果与分析。第 4 节得出结论。

各节摘要

所提出的方法

本节详细介绍 HS-CLIP，一种新型混合脉冲-视觉-语言框架，专为通过状态感知提示在无人机巡检场景中实现节能无监督异常检测而设计。我们的方法旨在调和视觉-语言模型（VLM）高计算需求与边缘设备严格能耗约束之间的矛盾。我们首先对框架的工作流程进行高层次概述。随后，我们回顾相关工作

总结

本节提出了 HS-CLIP，一种用于基于无人机铁路接触网巡检中基于提示的异常检测与定位的混合脉冲视觉-语言框架。该框架并非作为 CLIP 的全脉冲替代品，而是保留了 CLIP 文本分支的预训练语义表征，同时在视觉通路中引入时序脉冲动态。以此方式，脉冲视觉-语言表征学习从全局

实验设置

为提高所提方法的可复现性与科学可靠性，我们构建了接触网支撑部件无人机数据集（CSCUD），这是一个专为铁路接触网部件高分辨率异常检测而设计的真实世界数据集。如图 10 所示，所有图像均使用大疆 Matrice M30T 无人机在中国多条电气化铁路沿线实际巡检条件下采集。该无人机配备了高分辨率可见光成像

结论

本文提出了 HS-CLIP，一种新型节能神经形态视觉-语言框架，用于铁路接触网部件的异常检测。通过协同大规模基础模型（CLIP）丰富的语义表征能力与脉冲神经网络（SNN）活跃度依赖的计算特性，HS-CLIP 提供了将预训练视觉-语言表征与受控脉冲视觉处理相结合

CRediT 作者贡献声明

马宁：撰写—审阅与编辑，撰写—初稿，可视化，方法论，概念化。杨浩南：监督，调查，数据整理。刘志刚：监督，资源，资金获取。皮永康：验证，调查。崔浩瑞：调查，形式化分析。王辉：软件，数据整理。宋扬：监督，资源，项目管理。

利益冲突声明

作者声明他们不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作受国家自然科学基金（批准号 U2468229、U2468230、52402481、52572461、52402452）支持，部分受四川省自然科学基金重点项目（批准号 25NSFSC0232）资助。

马宁 | 杨浩南 | 刘志刚 | 皮永康 | 崔浩瑞 | 王辉 | 宋扬

西南交通大学电气工程学院，中国成都，610097