基于卢卡斯-卡纳德光流结合门控循环单元的运动目标状态预测方法

《Engineering Applications of Artificial Intelligence》：Motion target state prediction method based on Lucas-Kanade optical flow with Gated Recurrent Unit

　　

摘要 尽管计算机视觉技术已广泛应用于各个领域，但目标检测技术在复杂背景和物体遮挡方面仍面临巨大挑战。因此，本文提出了一种基于 Lucas-Kanade 和门控循环单元（GRU）的新型运动目标状态预测方法，旨在获取复杂变化背景中被遮挡目标的信息。首先，设计了一种结合 Lucas-Kanade 光流与深度信息的新检测算法，以提高目标检测的准确性。此外，引入了 Lucas-Kanade 与门控循环单元相结合的策略，以预测遮挡条件下目标运动状态。将 Lucas-Kanade 光流结合深度信息算法检测到的未被遮挡目标运动状态数据输入改进的门控循环单元预测模型，并利用模型在序列数据分析方面的卓越能力预测被障碍物遮挡目标的运动状态。同时，嵌入自适应矩估计优化器的动态梯度交互机制加速了改进的门控循环单元模型的训练过程，从而进一步提高其预测精度。最后，进行仿真实验和现实世界运行测试，以验证所提预测方法的有效性。与其他现有预测方法相比，所提出的 Lucas-Kanade 与门控循环单元模型预测的自相关系数为 0.965，速度预测误差和深度预测误差分别为 0.01 米/秒和 0.01 米。实验结果验证了 Lucas-Kanade 与门控循环单元模型预测方法在解决目标遮挡问题方面的可行性和优越性。

引言 随着人工智能的进步，计算机视觉技术已被广泛应用于各个领域，如智能监控、自动驾驶和人机交互。作为计算机视觉的关键技术，运动目标检测旨在有效去除图像序列中的背景干扰，准确提取运动目标，并深入分析和预测目标的位置和类别（Zheng 等人，2025, Meng 等人，2023, Zhang 等人，2025）。目标检测技术在复杂背景和目标遮挡情况下面临重大挑战，这引起了学术界的广泛关注。

复杂环境下的传统运动物体检测算法主要包括背景减除法（Kalsotra and Arora, 2022）、帧间差分法（Paul 等人，2017）和光流法（Sormoli 等人，2024）。背景减除法通过对当前帧与实时背景图像之间的差异进行阈值处理来识别运动区域。Zeng 等人（2019）提出了一种基于实时语义分割的背景减除算法，通过语义分割算法为场景中的图像定义类别标签。然而，该方法并未考虑到在不同场景下物体检测的准确性。为解决这一问题，Yang 等人（2023）提出了一种多尺度特征融合注意力机制网络，成功提高了跨场景情况下物体检测的准确性。然而，连续的背景更新使得遮挡下的背景减除计算成本高昂，而帧间差分法通过帧间像素差异检测运动，并能更好地适应动态背景。在此基础上，Cheng 和 Wang（2014）构建了一种结合帧间差分算法和背景减除算法的目标检测模型，提高了目标检测的效率。然而，帧间差分算法对移动目标的速度敏感，当目标速度较低时，提取区域会产生空洞。

值得一提的是，光流法利用移动物体在图像空间中的连续灰度变化，在灰度不变假设下捕获像素的运动模式，这一特征用于检测时空目标（Chen 等人，2023）。Horn-Schunck（HS）光流的概念最早在文献（Horn and Schunck, 1981）中提出，以处理来自空间和时域上的图像序列。随后，引入局部约束并估计稠密光流场，从而生成了 Lucas-Kanade（LK）方法（Lucas, 1981）。基于 HS 和 LK 方法，研究人员在各个领域提出了众多改进。Abdelfatah（Elasri 等人，2024）采用结合 HS 和 LK 的方法，通过识别和检测障碍物有效地执行移动机器人的各种任务。考虑到光照不足和图像纹理稀缺，Li 等人（2020）采用 LK 光流方法从双目相机中提取视觉信息，从而提高了视觉惯性里程计系统的定位精度和效率。此外，光流也可被视为观测对象三维运动的两维投影运动（Martínez 等人，2015, Rodriguez and Nygren, 2014），因此 LK 光流方法已广泛应用于速度测量。然而，计算速度慢、测量精度低以及对光照变化敏感限制了该领域的应用。为解决这些问题，Liu 等人（2019）在尺度不变特征变换和金字塔 LK 光流算法的基础上提出了一种数据融合策略，旨在提高可变光照条件下光流法的计算速度。然而，移动物体会产生混淆的光流，降低地面相对速度测量的精度。为减轻移动物体对测量精度的影响，Zhao 等人（2021）将金字塔 LK 光流算法与灰度一致性方法相结合，充分利用相机捕获的颜色信息，通过推导的光流幅度估计车辆速度。Peng 等人（2019）开发了一种结合 K-Means 和金字塔 LK 算法的增强光流算法，用于计算移动物体的速度。尽管上述文献证明了 LK 光流方法在速度测量中的成功应用，但它们并未考虑目标深度变化对光流检测的影响，导致测量精度较差。此外，二维光流向量无法正确描述目标在三维空间中的速度变化和相对位置变化。

在复杂动态场景中，当障碍物遮挡目标时，可能会发生运动状态丢失。在这种情况下，光流法无法实时检测目标运动状态。为解决这一问题，Shang 等人（2023）提出了一种基于遮挡预测的视频物体跟踪算法。研究表明，数据驱动的神经网络模型是预测移动目标状态的常用方法（Zhao 等人，2024）。众所周知，深度学习具有处理长时序信息的能力。循环神经网络（RNN）被广泛认为是深度学习中时间序列预测的有效工具，但经常遇到梯度消失或爆炸的问题，这严重阻碍了它们在序列预测任务中的性能提升（Rangapuram 等人，2018, Salinas 等人，2020）。基于 RNN 基础构建的长短期记忆（LSTM）神经网络，有效地解决和优化了梯度消失和爆炸问题，许多研究表明其性能优于传统 RNN（Sherstinsky, 2020, Hochreiter and Schmidhuber, 1997）。Dorian（Skrobek 等人，2020）采用 LSTM 网络预测吸附床中的蒸气质量，预测结果与实验测试结果之间的一致性很高，相关系数超过 0.95。因此，研究人员将图神经网络或时空残差网络集成到 LSTM 中（Lu 等人，2020, Ren 等人，2020, Zhang 等人，2020, Zhang 等人，2019），通过捕获道路速度预测中的时空表征，提高了 LSTM 的预测精度和及时性。Manar（Lashin 等人，2025）提出了一种新颖的 LSTM-卡尔曼混合预测模型，将自适应卡尔曼滤波与 LSTM 预测网络相结合，以实现在动态环境中的实时路径规划。然而，LSTM 模块具有多个参数和复杂结构，容易过拟合。另一方面，门控循环单元（GRU）网络只包含两个门结构，使 GRU 结构更简单且运行速度更快（Boucetta 等人，2025, Jiang 等人，2023）。Dorian（Skrobek 等人，2022）应用 LSTM、双向长短期记忆（BiLSTM）和 GRU 算法来比较和预测固定床和流化床中吸附床的质量，结论认为 GRU 网络表现出最高的预测精度。Jeong 等人（2021）建议使用 GRU 网络模型进行高速公路速度预测。为增强网络模型的稳定性，Hussain 等人（2021）建议了一种基于滑动窗口步长优化的 GRU 神经网络超参数优化算法，对 GRU 深度神经网络进行超参数搜索以提高其预测精度。在此基础上，Hou 等人（2023）基于 GRU 神经网络辅助提出了一种具有时间分布特征的动态多目标预测策略，以快速适应环境变化。如上所述文献所示，GRU 预测模型具有相对较低的预测误差和较高的模型稳定性等显著特征。然而，关于将 GRU 模型应用于目标运动状态预测的研究相对有限。将该方法应用于遮挡场景下的目标运动状态预测可以提高环境感知能力，并在目标检测领域具有显著的前景。

总之，尽管 LK 光流检测算法已相对成熟，但在目标运动检测的研究中仍存在挑战。目标深度的变化会影响光流法的检测结果，导致目标速度测量出现较大误差。此外，检测过程中障碍物造成的遮挡会阻碍目标运动状态的实时监控。受上述考虑的启发，本文引入了一种新颖的 LK-GRU 预测方法，以获取遮挡场景中的移动目标信息。首先，利用改进的定向快速旋转特征（ORB）角点检测方法捕捉目标特征点。通过集成光流和深度信息设计了 LK-Depth 目标运动状态检测算法，以提高检测精度。随后，从 LK-Depth 目标检测算法的角度提出了 LK-GRU 预测策略，以预测被遮挡的目标状态。最后，设置了两种不同的实验场景来展示本文所提方法的有效性。

本工作的主要创新点强调如下：
（1）提出了 LK-Depth 方法，以克服传统检测方法检测精度低的局限性。现有方法仅依赖二维图像信息，当目标空间深度变化时，不可避免地导致较大的速度测量误差。通过将目标二维（2D）光流向量与深度信息相结合，生成三维（3D）环境感知数据，所提方法有效弥补了传统仅二维策略的固有缺陷，并显著提高了运动目标的检测精度。与现有文献（Peng 等人，2019）中基于 K-means 的改进光流检测方法相比，本文提出的检测方法增强了目标速度检测在多个应用场景中的泛化能力。
（2）为了解决传统检测算法在遮挡下无法感知目标运动的问题，提出了一种 LK-GRU 预测方法。LK-Depth 提取可见目标的运动数据，改进的 GRU 模型从获取的数据中捕获时间依赖性。为减轻动态时间序列分析中的慢收敛和过拟合问题，提出了一种具有动态梯度交互的改进 Adam 优化器。它有效提高了 LK-GRU 模型的训练效率，并实现了对遮挡下目标运动的准确快速预测。与依赖二维观察的传统方法不同，所提方法将融合后的三维运动序列输入改进的 GRU 模型，使模型能够从三维空间运动数据中学习。这显著增强了遮挡条件下的实时预测能力，以满足不同场景下实时目标跟踪的需求。

本文其余部分组织如下。第 2 节介绍了本文所提方法的算法基础。第 3 节构成本文的核心内容，其中介绍了结合 LK 光流法与深度信息的设计原则以及改进的 GRU 预测模型的设计方法。

实验验证在第4节中提供，第5节概述了结论。

**各章节摘要**

**算法基础**
本节主要介绍了LK-GRU目标运动状态预测方法的算法基础。2.1节介绍了角点检测算法。2.2节介绍了光流算法的原理。2.3节介绍了GRU神经网络模块。

**基于光流法和GRU神经网络的预测算法**
本节全面概述了融合光流和深度信息的目标检测算法，以及GRU预测模型的设计方法。3.1节设计了用于目标运动状态检测的LK-Depth算法，包括基于ORB算法的特征点检测、基于LK光流方法的二维速度检测和三维运动空间的构建。3.2节解释了GRU预测模型的设计过程。

**实验设计**
第4节通过仿真实验和实际运行测试验证了所提算法的优越性。4.1节将改进的GRU模型与LSTM、卡尔曼滤波和LSTM-卡尔曼滤波模型在不同性能指标方面进行了比较，并进一步讨论了其优势。4.2节和4.3节分别设置了两个不同的实际场景，用于AGV检测和预测实验结果的对比分析以及……

**结论**
本文针对无障碍目标提出了LK-Depth检测方法，针对被遮挡目标提出了LK-GRU预测方法。为解决二维光流速度向量无法准确表征目标运动的问题，本文采用融合深度信息的光流向量来表示三维目标运动。基于LK-Depth算法，提出了改进的GRU预测模型以估计遮挡条件下的目标运动。采用了增强的Adam优化器……

**CRediT作者贡献声明**
聂军：撰写—初稿。孙立杰：软件。王海霞：指导。张超：指导。卢晓：经费获取。

**利益冲突声明**
本稿件的提交不存在利益冲突，且本稿件已获得所有作者批准发表。

**作者信息**
聂军|孙立杰|王海霞|张超|卢晓
山东科技大学电气与自动化工程学院，中国青岛，266590