在曲线运动环境下，基于自我监督的场景结构学习用于自我视觉：一种用于自主铁路接触网监测的新方法

《Engineering Applications of Artificial Intelligence》：Self-supervised scene structure learning for ego vision under curvilinear motion: A novel approach for autonomous railway catenary monitoring

　　彭唐 | 余志斌
西南交通大学电气工程学院，成都，611756，中国

**摘要**
电气化铁路运行速度的提高导致架空接触线的老化加剧，从而显著增加了缺陷风险和维护工作量。因此，车辆视觉在当前的铁路线路监测中得到了广泛应用。然而，现有研究主要集中在图像级别的物体检测上，其结果仅限于图像域内，难以与外观相似的物理设施关联起来。根本原因在于忽略了场景的结构特性。因此，充分利用铁路曲线自运动的约束来探索车辆自我视觉中的图像流是至关重要的。本文提出了一种新颖的自监督场景结构学习方法，用于铁路车辆视觉。首先，推导了基于铁路自运动参数的仿射变换；接着，提出了一种具有变分学习的鲁棒期望最大化损失函数来最小化重建误差；然后构建了一个神经网络模型来学习结构参数；最后，通过真实监测数据的实验验证了该方法的有效性，并证明了该方法在铁路场景理解任务中取得了最佳性能。与最佳竞争方法相比，我们的方法整体误差降低了24.62%，显示出其在工业应用中的潜力。

**引言**
架空线路设备（OLE）指的是为电力列车提供牵引力的铁路架空电线及其支撑基础设施。当列车高速运行时，受电弓会对接触线施加巨大压力，导致其持续老化。因此，由于结构强度有限、处于户外环境且缺乏备用方案，OLE被认为是牵引供电系统中最脆弱的组成部分（Sun等人，2022年；Z. Liu等人，2023年）。为了监测和减少OLE系统中的潜在故障和缺陷，采用了车载摄像头进行视觉监测，为早期风险检测提供前提数据（图1）。近年来，大量研究致力于识别诸如绝缘子闪络、吊弦松弛、接头松动、电弧和硬点等缺陷（Z. Liu等人，2023年；S. Liu等人，2020年；Ding等人，2023年）。

目前的OLE检测方法主要依赖于基于深度学习的物体检测框架（Z. Liu等人，2023年；S. Liu等人，2020年），这些方法在图像中生成一系列边界框。这种以图像为中心的方法的一个根本局限性是忽略了OLE场景的高度结构化特性。其碎片化的结果难以与空间结构关联起来。例如，如果在图像中检测到意外物体，但其空间位置及其与连接主体的关系仍然未知。此外，缺乏明确的场景理解使得区分外观相似的电线框架组件（如图1中的接触线、 messenger-wires和catenary-wires）变得复杂。相反，如结构从运动（SfM）之类的空间结构分析技术通常需要大量的多视图观测（Pan等人，2025年；Hartley和Zisserman，2003年）。然而，高速列车的运行限制了每个OLE设施的图像采集，使得SfM不适用于本研究。因此，通过车辆视觉理解场景结构需要利用铁路曲线自运动的约束来探索图像流。

车辆视觉的曲线自运动为图像流引入了旋转效应（Perrone，2018年），这是理解OLE场景的关键。我们的分析基于以下对铁路场景的洞察：
(a) 机车的自由度（DoF）由轨道形状决定。具体来说，机车的中心位于轨道曲线上，其姿态与轨道切线对齐。
(b) OLE设施始终位于垂直于地面的平面内，例如catenary-dropper-contact wire平面等（图1(c)）。
(c) 车载摄像头固定在机车上，尽管它们的姿态可能不同。这些约束显著降低了OLE结构学习的复杂性。因此，将车辆视觉视为由铁路场景中的OLE平面引起的多个仿射变换的组合是合理的（Hartley和Zisserman，2003年；Luo等人，2023年），如图1(c)所示。

为了充分利用这些约束并解决上述问题，我们研究了车辆视图之间的仿射变换，涉及空间平面参数和相机自我运动（第3节）。在此基础上，我们开发了一种鲁棒的期望最大化（EM）聚类算法（Pu等人，2023年），并构建了一个具有新颖EM损失函数的平面参数鲁棒EM网络（PREM-Net），以直接从连续观测中估计场景结构（第4节）。最后，实验结果证明了我们方法的有效性（第6节）。我们的目标是一种适用于多种架空线系统的通用方法，无需依赖特定站点或类型的先验知识，旨在为铁路视觉监测建立通用基础。不同铁路架空线基础设施之间关键平面的结构同构性使得我们的方法可以跨视觉差异进行转移。我们的发现具有广泛的技术前景，适用于地铁、有轨电车和轻轨等铁路交通领域。

**本文的贡献**：
1. **几何规则**：我们利用铁路曲线自运动的几何约束，发现了平面诱导的仿射变换与车辆自我视觉之间的关系。
2. **自监督优化**：提出了一种变分EM聚类损失函数，用于自监督优化，通过最小化线特征的重建误差来估计运动和场景参数。
3. **学习模型**：一种新颖的网络，能够从两张图像中实现内容感知的鲁棒仿射估计，对异常值和非理想监测条件具有鲁棒性。

本文的其余部分组织如下：第2节回顾相关工作；第3节描述了基于LTR的TCP方法的背景；第4节解释了变分EM损失的方法论并描述了我们算法的神经网络实现；第5节定义了研究问题、实验设置、数据集和评估指标；第6节评估和讨论了结果；第7节总结了本文。

**相关工作**
本文主要涉及两个研究领域：仿射估计和铁路视觉监测。文献综述因此集中在这些领域，同时明确排除了直接3D重建的技术。

**机车坐标系**
为了探索由OLE平面引起的铁路自我视觉中的仿射变换，必须建立适当的参考坐标系来描述基础设施、车辆和摄像头之间的关系。由于固定摄像头只能沿轨道移动，因此轨道曲线的Franet框架（Zucker，2006年）作为一个自然的参考坐标系。总里程为S的铁路线可以用弧长参数化的曲线r表示：[0,S]?R3。

**第3节 自监督场景结构学习**
本节展示了参数cd、κ和n决定了仿射矩阵H。在本节中，我们介绍了一种鲁棒的期望最大化聚类网络的设计，用于从图像对中预测这些参数。

**研究问题**
为了系统地验证所提出的方法，我们根据渐进的分析框架提出了三个研究问题（RQs）：性能比较、有效性验证和内部机制分析。
RQ1：我们的方法在铁路场景仿射估计方面是否达到了最先进的性能，无论是准确性还是计算效率？
RQ2：我们的方法对铁路视觉中的固有挑战（如重叠比、异常值、平面数量变化）有多大的鲁棒性？

**定性比较**
如第5.5节所述，我们将我们的方法与基于不变特征的方法（Lowe，2004年；Rey Otero和Delbracio，2014年；Rublee等人，2011年；Lee等人，2014年；Zuliani等人，2005年；Baráth和Valasek，2021年；Yang等人，2012年）以及基于深度学习的方法（DeTone等人，2016年；Nguyen等人，2018年；Zhang等人，2020年）进行了比较。图6展示了我们的方法与基于不变特征的方法之间的定性比较结果示例。

**应用**
我们的算法可以作为各种OLE检测任务的基本工具，例如外来物体定位、正交图重建等。我们以外来物体（FO）检测为例来说明其应用。附着的外来物体（如破损的气球、风筝和塑料片）可能导致接触线异常放电。然而，如果没有空间先验，很难分析它们之间的关系。因此，我们的方法为此提供了基础。

**结论**
铁路OLE的视频监测面临特殊的技术挑战。在本研究中，我们通过估计自我运动和场景平面参数，获得了由OLE平面运动引起的仿射变换。我们的分析表明，来自车载摄像头的连续观测之间的仿射主要受轨道曲率κ、位移c和平面参数{d,n}的影响。因此，我们提出了一种鲁棒的EM神经网络来直接预测运动和场景参数。

**作者贡献声明**
彭唐：撰写——原始草稿、可视化、软件、方法论、概念化。
余志斌：撰写——审阅与编辑、可视化、资金获取、数据管理。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：余志斌报告称获得了中国国家自然科学基金的支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本工作得到了中国国家自然科学基金（项目编号62173279）和中央高校基本科研业务费（项目编号2682025GH026）的支持。