神经形态视觉技术实现了机械系统的非接触式振动测量与原位健康监测

《Expert Systems with Applications》：Neuromorphic vision enables non-contact vibration measurement and in-situ health monitoring for mechanical systems

　　

机械系统的原位健康监测对于提升现代工业的运行安全性、增强性能可靠性和降低维护成本至关重要。振动测量在位健康监测中起着至关重要的作用。目前，主流的接触式振动传感器无法在极端工况、有限表面积等场景中良好部署。本文建立并发布了一个大规模且全面的基于神经形态视觉的非接触式机械振动测量数据集，涵盖四个实验和工业场景。据我们所知，这是该领域首次发布开源数据集，这将极大地促进相关方向的研究。在算法视角下，我们提出了一种基于神经形态视觉的机械系统非接触式振动测量和原位健康监测新方法。通过提出一种处理神经形态视觉数据的时空模式正则化算法，可以有效地滤除意外噪声，并准确估计振动特征。特别是在严重噪声干扰下，可去除神经形态视觉数据中超过 90% 的噪声，原位健康监测准确率可提高 40% 以上。该方法为机械系统高精度、低成本、场景适应性强且适用于挑战性工业工况的非接触式振动测量和原位健康监测提供了一条有前景的途径。

机械系统的原位健康监测在广泛的工业场景中至关重要，包括制造 (Das 等，2024, Zhang 等，2024)、交通运输 (Arya 等，2024, Golnary 等，2025)、航空航天 (Arm 等，2023, Meng 等，2022, Zhang 等，2026) 等。及时准确的健康监测能够显著增强运行安全和可靠性，并大幅降低维护成本。无效的健康监测会导致机械系统损坏甚至灾难性故障，进而导致严重的人员伤亡和资产损失。例如，2018 年挪威维京天空号游轮在北海发生机械故障 (Ibrion 等，2021)，由于大型柴油发电机故障，导致数十名乘客重伤。
**2023 年，一列货运火车在美国俄亥俄州脱轨，原因是转向架系统发生机械故障。在脱轨和损坏的车厢中，有 10 节车厢载有危险化学品，导致邻近地区超过 4800 人紧急疏散。通过机械系统的及时准确健康监测可以避免此类事故。**
由于机械系统的运行性能应在长期服务期内得到保证，因此在各种工程场景中迫切需要开发无需拆卸的原位健康监测方法 (Zhang 等，2021)。振动是机械系统原位健康监测最重要的指标之一 (Feng 等，2026, Mohamed 等，2025, Yu 等，2026, Zhang 等，2025)。不同类别的机械故障，包括故障位置、类型、严重程度等，通常能在振动行为中很好地反映出来 (Zhang 等，2024)。在当前的文献和工业界，位移 (Chen 等，2025, Liu 等，2020)、速度 (Heo 等，2020, Lv 等，2023) 和加速度 (Kononchuk 等，2022, Lieu, 2023) 的接触式压电传感器基本上是最流行且成熟的方法。总体而言，通过将对传感器安装在机器表面，可以高精度地捕获机械系统的振动。尽管有效且准确，但此类接触式测量方法在实际工业部署中存在显著且不可避免的局限性，如下所述。1) 接触传感器的附加质量会改变系统的机械特性，如刚度 (Xu 等，2025)，从而影响机器运行。2) 在极端工作条件下，如高温 (Cai 等，2023, Dutta 等，2021)、高压 (Marciniak 等，2024, Zhu 等，2025) 等，机械系统的表面可能无法接触传感器。3) 对于高端复杂的机械系统，表面的部署空间可能有限 (Pallarés 等，2021)。
为了解决上述局限性，非接触式振动测量方法受到了越来越多的关注。代表性解决方案包括涡流传感器 (Khajehdezfuly 等，2025, Mohanty 等，2025)、高速相机 (Chang and Yuan, 2021, Shanshan 等，2025)、激光多普勒测振仪 (LDV)(Gonzalez-Collazo 等，2024, Mulko 等，2022, Yu 等，2025) 等。然而，当前工具对于工业应用来说并不理想。例如，LDV 通常对环境要求高，校准困难，经济成本高 (Hu 等，2023, Li 等，2022)。涡流传感器要求测量时与物体的感应距离非常短 (Mirzaei 等，2021)。高速相机存在数据存储空间需求大、对微运动敏感、实际部署困难 (Gallego 等，2020) 等缺点。因此，迫切需求开发准确、灵活、适用于工业且低成本的非接触式振动测量方法。
神经形态视觉感知是一种新兴的仿生技术，模拟生物视觉信号处理机制。基于这一新的感知原理，事件相机被开发出来 (Gehrig 等，2021, Gehrig and Scaramuzza, 2023, Li 等，2022, Li 等，2026, Yao 等，2024)，能够实现低延迟、高时间分辨率、高动态范围、低数据冗余、低功耗等高性能视觉信号感知。与标准视觉相机不同，神经形态事件相机异步记录像素级的亮度变化，这可能是由光照变化引起的，更直观地说，是由事件相机与目标物体之间的相对运动引起的。与像 LDV 这样产生高昂经济成本（通常超过 10,000 美元）的传统非接触解决方案相比，事件相机凭借其低成本半导体传感器（通常范围在 100 至 1000 美元之间），提供了一种具有高度成本效益的替代方案，大幅降低了广泛应用的财务门槛。因此，这项新兴视觉技术为机械系统的非接触式振动测量和原位健康监测具有巨大潜力。过去几年，事件相机逐渐应用于不同任务，包括光流估计 (Almatrafi 等，2020, Brebion 等，2021, Zhang 等，2022)、深度估计 (Ghosh and Gallego, 2022, Uddin 等，2022)、特征检测 (Gehrig and Scaramuzza, 2023, Liu 等，2024) 等，许多工业场景也从中受益良多，如机器人 (D'Angelo 等，2022, He 等，2024)、无人机 (Paredes-Vallés 等，2024)、自动驾驶 (Jiao 等，2023, Lai 等，2020) 等。与标准机器视觉相比，神经形态视觉技术取得了显著的性能提升。
尽管取得了进展，但事件相机在机械系统原位健康监测方面受到的关注要少得多。现有有限的工作主要集中在轴承故障诊断 (Chen 等，2026, Chen 等，2024, Li 等，2023)、转子位移检测 (Liu 等，2024) 和变形测量 (Li 等，2025, Yu 等，2025, Zhu 等，2021)。有一些初步工作涉及机器振动测量，采用技术如 Gabor 滤波器 (Guang 等，2023)、数字图像相关 (Han 等，2022, Oliveira 等，2022) 和相位相关模板匹配 (Na 等，2023)，这些工作证明了事件相机进行振动测量的可行性。
总体而言，现有工作在真实工业场景的实际应用中效果不佳。1) 神经形态视觉感知方法对环境照明、硬件电路传输等实际因素敏感。这使得神经形态视觉数据通常包含显著噪声，阻碍了对潜在模式的数据处理和分析。这对机械系统的振动测量影响尤为严重，因为机器微动会产生额外的干扰光反射。当前解决方案较少关注工程因素引起的噪声减少，从而导致测量结果令人不满意。2) 主流视觉信号处理方法通常关注静态图像，而神经形态视觉数据通常被转换为传统的二维图像以应用成熟的视觉算法。然而，尽管这种方法有效且易于实施，但它忽略了数据的高分辨率时间（高达约 10^6 Hz）和相应的空间信息，这是神经形态视觉的关键优势之一。因此，这项新技术在振动测量方面的潜力无法得到充分利用，而振动测量本质上需要高信号时空分辨率来捕获机械系统的潜在健康模式。
为了解决上述挑战，本文提出了一种基于神经形态视觉的非接触式振动测量和原位健康监测方法 (NVVM)，采用时空模式正则化。该方法能很好地捕获机械系统的振动特征，这些特征基本上是肉眼不可见的。相应地，可以识别健康状态和潜在故障行为。我们旨在从神经形态视觉的角度提供一种准确且场景适应的非接触式振动测量方法。该方法有可能支持在挑战性实验和工业条件下机械系统的及时精确原位健康监测。
本文的主要新颖性和贡献在于以下方面。1) 我们建立并发布了一个大规模且全面的基于动态视觉的非接触式机械振动测量数据集，涵盖各种机械系统，包括结构振动测试台、高速列车转向架测试台、旋转机械试验台和研究船上的工业柴油发动机。我们的数据集包括从实验室测试台和真实机械系统运行期间收集的神经形态动态视觉数据。2) 引入了新兴的神经形态视觉技术用于机械系统的非接触式振动测量和原位健康监测，这弥补了文献中的空白，提供了一种工业级振动感知工具。与主流接触式传感器相比，该方法是非接触式的，克服了高温、安装空间有限等不可接触场景的限制。与当前的非接触解决方案如 LDV 相比，该方法所需校准工作量少，数据存储成本低，经济成本低。3) 提出了一种新颖的时空模式正则化 (STPR) 算法用于处理神经形态视觉数据。提出了一种时空去噪 (STD) 算法以滤除时间和空间方面的显著噪声。同时，利用机器振动引发的神经形态视觉数据的时空特征，提出了一种模式正则化算法，可以很好地估计振动特征。通过这种方式，可以从非接触视觉角度有效地实现机械系统的原位健康监测。
图 1 展示了所提方法的概述。如图 1A 所示，针对目标机械系统，在关键监测区域前方放置一个事件相机。在机器运行期间收集表面区域的神经形态视觉数据，这些主要是由机器微振动触发的。接下来，通过采用所提的时空模式正则化算法，可以滤除神经形态视觉数据中的意外噪声，并有效估计振动特征。测量得到的振动信号可进一步用于运行中机械系统的原位健康监测。

章节摘要
基于神经形态视觉的非接触式振动测量
图 2 展示了 NVVM 方法的详细过程。事件相机将机械系统的振动捕获为神经形态视觉数据。通过时空去噪方法消除噪声事件。然后应用时空模式正则化建立事件数据与振动信息之间的转换关系，提取机械系统的振动特征，并实现原位结构健康。

实验研究
我们在 4 种机械系统场景中评估了所提 NVVM 方法的有效性：(i) 结构振动测试台，(ii) 高速列车转向架系统测试台，(iii) 旋转机械试验台，以及 (iv) 研究船上的工业柴油发动机。

结论
本文基于新兴的仿生神经形态视觉感知原理，提出了一种机械系统的非接触式振动测量和原位健康监测方法。通过采用所提的时空模式正则化算法，可以大幅滤除意外的神经形态视觉数据噪声。可以准确估计振动特征。

在实验室和实际工业场景中考虑了四个机械系统。

CRediT 作者贡献声明
于书鹏：概念构思、方法论、软件开发、形式分析、数据整理、撰写原稿。
李祥：概念构思、资源提供、撰写审阅与编辑、监督指导、项目管理、资金获取。
雷亚国：概念构思、资源提供、监督指导、项目管理。
杨斌：资源提供、监督指导。
李乃鹏：资源提供、监督指导。
陈新瑞：软件开发、验证、数据整理。

未引用参考文献
Li et al., 2022, Liu et al., 2024, Yu et al., 2025, Zhang et al., 2024.

利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢
本文内容基于以下项目支持的研究工作：宁夏重点研发项目（编号：2025ZDYF0149）和中国国家自然科学基金（编号：52475125）。

于书鹏 | 李祥 | 雷亚国 | 杨斌 | 李乃鹏 | 陈新瑞