用于机器人视觉感知的鲁棒后方视场人类跟踪方法：一种时空预测与多模态融合技术 徐佳（Xu Jia）、 谢佳（Jia Xie）、 李永国（Yongguo Li）、 梁金涛（Jintao Liang） 以及 张增民（Zengmin Zhang）

《Sensors》：Robust Rear-View Human Tracking for Robotic Visual Sensing: A Spatiotemporal Prediction and Multi-Modal Fusion Approach Xu Jia, Jia Xie, Yongguo Li, Jintao Liang and Zengmin Zhang

　　亮点
主要发现是什么？提出了一种时空预测和多模态融合框架，该框架主动冻结模板更新（ηk ≈ 0）以拒绝镜面反射。
主要发现的意义是什么？实现了35%的跟踪误差减少和72.83毫秒的快速重新识别延迟，为复杂环境中的机器人视觉感知提供了一个高度稳健的解决方案。

摘要
后视人类跟踪和重新识别仍然是无人车辆机器人视觉感知中的关键挑战，特别是在恶劣天气条件和严重遮挡情况下。传统的深度学习模型在动态照明下常常受到特征污染和轨迹漂移的影响。为了克服这些瓶颈，我们提出了一种基于时空预测和多模态特征融合的轻量级跟踪框架。具体来说，一种考虑自我运动的卡尔曼预测机制在完全遮挡期间保持时间连续性。当目标重新出现时，在动态马氏距离搜索区域内使用一种多因素描述符——结合颜色直方图和几何约束。这与一种镜面反射惩罚的自适应学习率（ηk）相结合，在严重环境退化条件下主动冻结模板更新。在自定义的Mecanum轮式机器人上进行评估，所提出的方法达到了94.2%的最高精度和93.4%的跟踪成功率。在极端雨夜场景中的广泛实验表明，平均跟踪误差减少了35%，保持中心位置误差（CLE）低于11像素。此外，该系统在遮挡阶段实现了72.83毫秒的快速目标重新识别响应。最终，这一框架为复杂动态环境中的自主导航提供了一种高度稳健和实时的解决方案。

1. 引言
随着无人车辆和自主机器人系统的迅速普及，稳健的视觉感知已成为复杂环境中安全导航和智能人机交互的基石。虽然目前大多数研究工作主要集中在前视感知上，但在机器人视觉感知背景下，后视人类跟踪和重新识别仍然严重不足。然而，后视监测对于自主个人助手、安全巡逻机器人和人机协作跟随等操作场景来说是不可或缺的[1,2,3,4]。在这些应用中，即使在目标暂时落后、改变速度或穿过拥挤空间时，也能够稳健地跟踪和重新识别目标，对于维持无缝交互和防止安全隐患至关重要。因此，开发针对非结构化环境中人类目标的高度可靠的后视跟踪框架不仅是紧迫的研究前沿，也是下一代智能移动机器人的基本要求。
尽管现代跟踪系统在受控条件下的性能令人印象深刻，但现实世界的开放世界场景引入了一系列严重降低系统性能的挑战。首先，恶劣的环境条件——特别是雨夜——会产生强烈的镜面反射、不均匀的照明和过多的传感器噪声，这些共同破坏了外观线索并显著降低了特征的可区分性。其次，在充满行人和移动障碍物的动态场景中，目标经常遭受严重的甚至完全的遮挡，从而干扰了连续性并混淆了传统的跟踪器。在这样的条件下，现有的感知框架暴露出根本性的缺陷，导致跟踪失败，危及实时操作[5,6,7,8]。总而言之，这些因素突显了理想化基准性能与实际应用需求之间的关键差距。
基于深度学习的对象检测和跟踪的最新进展在标准基准测试中取得了显著的精度。然而，几个根本性限制阻止了它们在恶劣条件下的无缝应用到后视无人车辆上。首先，像DeepSORT这样的范式框架在清晰的环境中表现出色，但在人口密集或遮挡严重的环境中却显示出显著的不稳定性[9,10]。其次，当代模型极易受到特征污染和轨迹漂移的影响。例如，Sun等人[11]关于增强型孪生网络的研究试图通过集成动态模板来应对低光照挑战以实现稳健的特征更新。然而，这些方法仍然隐含地依赖于相对稳定的照明，并且在能见度严重下降时（例如雨夜的镜面反射）经常失败。第三，解决时间不连续性问题通常需要不可接受的计算成本。Wan等人[12]的研究提出使用三维时空图通过整合时间运动先验来重新建立碎片化的目标路径。虽然对持续跟踪有效，但这些系统计算强度过高，不适合在资源有限的场景（如无人机或小型自主车辆）中进行板载处理。因此，当目标短暂消失然后重新出现时，传统的轻量级机制通常 resort to 盲目全局搜索策略。这导致在整个图像空间中进行昂贵的特征匹配（通常每帧超过90毫秒[13]），从而影响实时响应能力，使得这些方法不适合任务关键的自主导航。
最近关于稳健目标跟踪的研究探索了从不同感知角度进行的多模态融合和自适应表示学习。例如，基于变压器的RGBT跟踪框架[14]展示了结合跨模态和时空信息在具有挑战性条件下的稳健目标关联的有效性。以TIR为导向的研究[15]进一步强调了细粒度特征建模和模板重建在抑制外观退化和提高时间稳健性方面的重要性。此外，关于RGBT跟踪的最新综述文献[16]强调了向更强融合策略、自适应模板机制和复杂环境中的上下文感知稳健性发展的趋势。这些发展为当前研究提供了有用的理论背景。
虽然这些最先进的方法共同为稳健的多模态或模板感知跟踪奠定了坚实的基础，但我们的工作重点不同于RGBT或纯TIR跟踪。本文不是依赖于可见光-热成像的跨模态感知，而是解决可见光感知环境下的后视机器人目标跟踪问题。在这种受限的背景下，必须通过算法设计来实现稳健性，以克服严重的照明变化、镜面反射、遮挡和自我运动约束。所提出的方法通过整合来自外观相似性、几何一致性和时空预测的互补信息，以及自适应参考模型更新机制，形成了一个统一的线索级多模态跟踪框架。从这个意义上说，我们的框架可以被视为一种轻量级且面向部署的替代方案，适用于计算资源有限的边缘计算环境下的实时机器人感知。
为了缓解上述限制，本文提出了一种针对复杂动态环境中无人车辆的轻量级且稳健的后视目标跟踪和重新识别框架。具体来说，我们集成了一种卡尔曼驱动的时空预测机制，在严重遮挡期间主动保持目标的运动连续性。当目标重新出现时，我们的系统不是依赖于计算成本高昂的全局匹配，而是触发一种主动的局部搜索策略。在这个动态受限区域内，我们通过融合量化的颜色直方图和几何运动学构建了一个稳健的多因素描述符，即使在恶劣的天气条件下也能确保高区分度。此外，引入了一种带有动态学习率的自适应模型更新策略，以选择性地吸收有效特征并主动清除背景噪声，从而防止雨夜镜面反射引起的轨迹漂移。
为了避免标题中使用的术语引起歧义，我们澄清了本工作中采用的两个核心概念的含义。首先，本文中的“时空预测”不仅仅是指传统的基于卡尔曼的状态外推或被动轨迹平滑。相反，它表示一种结合了运动连续性建模、自我运动感知的观测不确定性调整、遮挡触发的测量更新暂停以及协方差约束的局部目标重新识别的耦合机制。其次，本研究中的“多模态融合”并不特指多传感器融合（如RGB-T跟踪），而是指在统一的后视人类跟踪框架内联合使用异构但互补的线索，包括外观相似性、几何一致性和运动预测信息。使用这些术语是为了强调所提出的方法通过结合时间预测和多种互补跟踪线索，在照明变化、镜面反射、遮挡和机器人自我运动下增强稳健性。这些组件的详细公式在第2节中提出。
本文的主要贡献总结如下：
- 适用于严重遮挡的轻量级时空预测框架：我们提出了一种集成卡尔曼先验的主动跟踪机制。与传统的被动跟踪器不同，它严格保持时间连续性，并在目标完全丢失期间动态限制重新识别搜索空间。这在数学上将空间搜索复杂性从降低了，从根本上绕过了全局盲目搜索的严重延迟。
- 多模态特征融合和自适应更新策略：我们设计了一种结合外观特征（量化HSV直方图）和时空几何约束的稳健目标描述符。结合一种分段动态学习率（ηk），该策略在极端恶劣的环境中（例如雨夜的严重镜面反射）主动冻结模板更新，从根本上防止了特征污染和轨迹漂移。
- 在恶劣天气下的广泛实际验证：我们在自定义的Mecanum轮式无人机器人上部署并评估了所提出的系统。实验结果表明，该框架达到了94.2%的最高精度和93.4%的跟踪成功率。值得注意的是，在极端雨夜场景中，系统将平均跟踪误差减少了35%（保持中心位置误差低于11像素），并在遮挡恢复期间实现了72.83毫秒的快速重新识别延迟，证明了其高度的稳健性和实时工程可行性。

2. 材料与方法
2.1. 整体系统架构和目标初始化
为了在复杂动态环境中实现高稳健的目标跟踪（例如，严重的照明变化和完全目标遮挡）[17,18]，本文提出了一种基于多因素融合和时空预测的自适应跟踪框架。所提出系统的整体架构如图1所示，包括三个协调模块：（1）目标初始化与多模态特征建模；（2）时空预测与遮挡处理；以及（3）自适应融合、局部搜索与快速重新识别。图1. 所提出目标跟踪框架的详细架构。系统包括三个协调模块：（1）目标初始化和多模态特征建模；（2）时空预测和遮挡处理；以及（3）自适应融合、局部搜索和快速重新识别，整合了基于置信度的融合和自适应参考模型更新。在系统初始化阶段，为了确保在移动机器人有限的计算资源下快速响应，采用了一种轻量级的帧差分方法结合自适应阈值分割来提取移动目标的初始感兴趣区域（ROI）。在获取初始ROI后，系统不是使用对光照敏感的RGB颜色空间，而是将视觉数据映射到HSV（色调、饱和度、值）颜色空间[19,20]。HSV模型将亮度信息（V分量）与色度（H和S分量）分开。这种转换使系统能够有效抵抗突然的外部亮度波动（如第3.8节中的雨夜场景所示），从而为后续的多模态特征建模建立了稳健的物理基础。基于初始化的ROI，系统结合外观和几何线索共同构建了初始目标状态和参考模型，作为后续预测和重新识别的基础。
2.2. 稳健的多模态特征建模
依赖单一外观特征在复杂场景中非常容易失败。因此，本文构建了一个多模态特征模型，结合颜色分布和几何约束来增强目标对变形和照明变化的区分能力。
2.2.1. 基于HSV直方图的外观特征
系统提取目标区域在H和S通道中的颜色直方图作为外观模型。为了量化当前候选目标与参考目标模型之间的外观相似性，引入了Bhattacharyya系数作为相似性度量[21,22]。计算公式如下：
(1)
其中 表示颜色直方图中的量化级别数（在本研究中，H通道量化为16个级别，S通道量化为8个级别）。外观相似性得分由Bhattacharyya系数直接确定。这个度量有效地平滑了局部噪声，确保即使在目标发生非刚性变形时，系统也能保持高特征匹配率。
2.2.2. 基于质心的几何拓扑约束
除了颜色特征外，还引入了动态质心约束来过滤掉背景中的相似干扰项。假设第i帧中目标的边界框区域为B[i]，其几何质心ci的计算简化为目标轮廓的零阶矩与一阶矩的比值。几何相似性得分si是通过评估候选边界框与预测质心之间的欧几里得距离动态计算得出的。这种“颜色+几何”双重约束机制有效地规避了单特征跟踪器在面对背景杂乱且颜色相似时常见的跟踪漂移问题。所提出的多模态特征建模过程在图2中概念性地进行了说明。原始输入序列经过并行处理：路径A详细处理外观描述符的量化颜色直方图，路径B基于质心坐标和物理维度建立时空几何约束。这些特征随后通过自适应权重连接起来，形成一个综合的多因素特征描述符，以实现高保真的重新识别。图2. 并行多模态特征提取和融合过程的概念性示意图。具体来说，图2中显示的自适应权重不是静态的，而是一种环境感知的自适应加权机制，用于对抗严重的特征退化。综合多因素响应得分在方程（2）中数学定义：(2) 其中 和 分别代表外观和几何相似度得分。为了在复杂光照条件下（例如，镜面反射）保证鲁棒性，权重会根据当前目标可见性置信度进行调制，其中 通过方程（3）计算：(3) 这种基于Sigmoid的激活函数确保在特征严重退化或遮挡（当 降至以下时），系统会自动惩罚不可靠的外观描述符，并严重依赖几何运动约束。2.3. 通过卡尔曼约束进行时空预测为了应对由于物体快速移动或临时遮挡引起的跟踪漂移，采用了一个线性离散卡尔曼滤波器来提供可靠的时空先验。系统使用恒定速度假设来建模目标的运动学。设第i帧的系统状态向量为 ，其中 表示质心坐标， 表示沿x轴和y轴的相应速度。状态转移模型在方程（4）中定义：(4) 对于恒定速度运动学模型，假设帧间隔为T，则状态转移矩阵 和测量矩阵 在方程（5）中明确给出：(5) 过程噪声协方差 和测量噪声协方差 根据相机帧率和预期的目标动态经验性地初始化。随后，观测模型在方程（6）中定义：(6) 其中和 分别是状态转移矩阵和测量矩阵。 和 表示过程噪声和测量噪声，假设为均值为零的高斯白噪声。与静态监控不同，无人车辆的后视跟踪引入了自我运动引起的振动。为了解决这一硬件约束，我们提出了一个考虑自我运动的动态观测噪声模型。测量噪声协方差 与车辆的实时速度向量动态耦合，如方程（7）所示：(7) 其中 是基础静态噪声， 是振动耦合系数。这种设置确保卡尔曼滤波器在高速或不平顺操作期间自动抑制不可靠的视觉测量[23,24]。至关重要的是，本文提出了一种基于卡尔曼约束的主动遮挡处理机制。在正常跟踪条件下，滤波器依次执行标准的时间更新（预测）和测量更新（校正）。然而，当目标遭受严重或完全遮挡时（如第3.9节中的空间推理阶段验证的），目标的视觉特征变得不可靠。在这种情况下，测量更新被主动暂停。系统完全依赖状态转移模型（）来迭代预测目标的隐藏轨迹，确保即使在目标完全不可见时也能持续维护有效的搜索区域[25,26]。为了直观展示主动遮挡处理和快速恢复机制，状态转移过程在图3中概念性地进行了说明。在稳定跟踪期间，观测模型持续更新。然而，当检测到完全遮挡时，测量更新立即暂停。系统仅依赖卡尔曼滤波器来推断目标的隐藏时空轨迹（用橙色虚线框表示）。当目标重新出现时，系统不是执行计算成本高的全局搜索，而是触发主动的局部重新识别。具体来说，为了克服传统跟踪器的计算瓶颈，我们的机制利用卡尔曼先验协方差矩阵来严格约束在动态马氏椭球体内的多因素特征匹配，如方程（8）所定义：(8) 图3. 主动时空预测和快速局部搜索机制的示意图。红色虚线箭头表示遮挡期间的时空预测路径，橙色虚线箭头和框表示预测的或候选的目标位置，实线黑色箭头表示状态反馈和局部搜索流程。大的“×”和“√”符号表示未采用的全局搜索策略和采用的局部搜索策略。通过使用阈值来限制搜索区域，空间复杂度从 大幅降低到 ，其中 和 。这种严格的空间约束避免了冗余的背景处理，有助于高效的目标恢复，这一点在第3节中进行了评估。应当强调的是，本文提出的“时空预测”机制并不仅仅是指传统的卡尔曼外推，也不打算作为完全非线性运动状态建模的直接替代品。目前的框架不是通过高阶或非线性滤波显式拟合急转弯或快速加速动态，而是使用卡尔曼先验作为轻量级的时间连续性约束，并通过考虑自我运动的观测噪声适应、遮挡触发不可靠测量更新的暂停以及在重新识别期间进行协方差约束的局部搜索来对其进行增强。因此，与标准基于卡尔曼的运动建模的区别在于，预测不是作为一个孤立的外推模块使用，而是作为集成鲁棒性导向流程的一部分，用于在机器人引起的运动扰动下保持目标连续性和降低恢复不确定性。2.4. 自适应融合和快速重新识别机制在2.3节建立的动态受限局部区域的基础上，系统执行快速重新识别过程。如2.2节中的方程（2）和（3）所述，权重系数 和 根据实时可见性置信度动态平衡外观和几何特征。此外，为了保持参考模型的纯度（在算法1的第12行更新），需要一种严格的自适应更新策略。雨夜跟踪中的一个关键挑战是来自镜面反射的特征污染，其特征是极高的值（）和低饱和度。我们为目标区域引入了一个镜面反射惩罚，如方程（9）所计算：(9) 模板更新学习率 然后被严格建模为分段指数衰减函数，表示为方程（10）：(10) 这确保了在严重遮挡期间参考模型M能够主动冻结[27,28,29]。此外，在极端镜面反射情况下，指数惩罚有效地驱动了 ，从而立即拒绝受污染的特征，从根本上防止了轨迹漂移。从方程（9）和（10）可以直接理解阈值选择的敏感性。对于固定的目标ROI，镜面反射惩罚 随着亮度阈值的增加而增加，因为较大的 会减少满足条件的像素集。相反， 随着饱和度阈值的增加而减少，因为较大的 会扩大满足条件的像素集。由于自适应学习率在正常跟踪状态下被建模为 ，因此 随着 的增加而减小，随着 的增加而增加。因此，较小的 或较大的 使得更新机制更加保守，更有可能冻结模板适应；而较大的 或较小的 使其更加宽容，更有可能接受受反射污染的更新。采用的阈值设置旨在平衡这两种效应，即在保持环境干扰下的足够适应性的同时抑制受污染的更新。这种解释还解释了为什么过于严格的阈值可能导致过度频繁的冻结，而过于宽松的阈值可能会削弱对反射引起的特征污染的拒绝。这种自适应重新识别和更新阶段的完整逻辑流程在算法1中详细说明。算法1. 自适应多因素目标重新识别。输入：输出：1:2:通过背景减除3:执行4:5:6:7:结束对于8:9:那么10://目标成功重新识别11:12:13:14:否则15://遮挡持续16:17:暂停卡尔曼测量更新18:如果结束为了便于系统复制和实际部署，上述模块中使用的核心参数配置在表1中总结。表1. 所提出的跟踪系统的核心参数配置。3. 结果在本节中，我们分析了从提出的目标模型更新机制获得的实验结果。实验是在不同的环境条件下进行的，以评估模型在动态变化中的有效性、适应性和稳定性。3.1. 数据集和实验协议为了在复杂的真实世界机器人感知条件下严格评估所提出的跟踪框架，我们使用所提出的机器人平台构建了一个自定义的真实世界评估数据集。因为所提出的框架依赖于显式的动态特征更新和基于卡尔曼的运动建模，而不是对收集的序列进行端到端的重新训练，所以这个数据集仅用于评估，而不是划分为传统的训练、验证和测试子集。所有比较的方法都在相同的序列集上，在一致的评估条件下进行评估，以确保公平比较。如表2所示，数据集包括51个具有挑战性的视频序列，这些序列涵盖了三个代表性的场景类别，每个类别旨在评估跟踪性能的不同方面。具体来说，数据集包括26个夜间雨后反射序列、9个室外动态光照序列和16个涉及完全遮挡和重新出现事件的室内走廊序列。每个序列持续大约20-30秒。夜间雨后子集是在降雨停止后录制的，当时湿漉漉的路面和强烈的街灯反射产生了严重的镜面干扰。室外动态光照子集捕捉到目标在直射阳光和建筑阴影区域之间移动时的突然亮度变化。室内走廊子集包含由角落引起的目标消失所导致的完全遮挡-重新出现事件，这些事件用于评估目标重新识别性能和恢复延迟。表2. 定制测试数据集和评估目的的总结。此外，为了确保量化评估的可靠性，所有序列的Ground Truth是通过使用LabelImg（版本1.8.6）进行手动逐帧注释生成的，然后进行一致性检查。由于本研究的目的是对指定对象进行机器人跟踪，而不是通用的人多人跟踪或识别，所以收集的序列主要由在不同环境条件下对同一目标对象的重复记录组成。不同评估指标的详细注释协议和Ground Truth生成过程在表3中总结。表3. 注释协议和Ground Truth生成过程。为了进一步澄清评估的可靠性，表3总结了用于不同指标的注释协议和Ground Truth生成过程。所有比较的方法都在相同的注释序列上使用相同的协议进行评估，以确保公平比较。3.2. 硬件和软件实验环境本研究使用Raspberry Pi 4B单板计算机（Raspberry Pi Ltd., Cambridge, UK）作为核心嵌入式计算平台。硬件系统包括全向Mecanum轮底盘、铝合金框架和双目立体相机。软件环境基于Raspbian OS构建，使用Python 3.9.18（Python Software Foundation, Wilmington, DE, USA）进行系统的端到端开发。在感知层，部署了YOLOv8n轻量级检测模型，基于PyTorch 1.12.0框架进行推理。为了应对嵌入式硬件的限制，利用ARM Neon指令集来优化Broadcom BCM2711（Cortex-A72, 1.5 GHz）CPU的浮点计算性能，从而确保满足实时处理要求。实验参数设置：在实验期间，双目立体相机安装在机器人的顶部前方，采集分辨率配置为1280 × 720。系统的闭环控制频率稳定在30 Hz。控制层实现了与Mecanum轮的运动学模型集成的PID算法，以实现机器人线速度和偏航角的协调调节。本研究中报告的所有与运行时间相关的结果，包括后来讨论的重新识别延迟，都是在部署的Raspberry Pi 4B机器人平台上测量的，而不是在单独的高性能GPU工作站上（见图4）。图4. 智能跟踪机器人的物理原型：(a) 外部设计和整体结构；(b) 内部硬件集成布局。外部面板上的中文文字是通用安全警告。3.3. 评估指标基于长度为N的序列中成功的目标定位结果，计算帧级别的精确度、召回率和F1分数。基于中心的定位误差和时间稳定性指标用于反映在动态噪声下的后视机器人跟踪性能。设第i帧预测边界框的中心为 ，实际边界框的中心为 。逐帧中心定位误差是通过欧几里得距离计算的：(11) 序列中的整体中心定位误差（CLE）计算如下：(12) 跟踪成功率（TSR）定义为目标成功定位的帧数百分比。如果目标与参考点的距离严格低于某个阈值，则认为该帧的定位是成功的。TSR的计算公式为：(13) 其中Φ是指示函数。根据我们实验中的采集分辨率，所有比较方法的距离阈值统一设置为20像素。稳定性指标是成功跟踪帧上定位误差的标准差。设T为成功跟踪的帧集合，N为T中的总帧数。稳定性的计算公式为：(14) τ是T中帧的平均CLE值。较低的稳定性值表示定位误差的时间波动较小，因此跟踪性能更平稳。

对于室内遮挡子集，重新识别延迟严格定义为从遮挡目标重新进入视野的那一刻起，直到跟踪器成功恢复目标ID所经过的时间。报告的重新识别延迟是在部署的Raspberry Pi 4B机器人平台上测量的，并对多个遮挡-重新出现周期进行了平均。

3.4. 模型更新机制的有效性
为了验证所提出的目标模型更新机制的性能，进行了一个比较实验，涉及卡尔曼滤波器、基于YOLOv8的跟踪器、基于YOLOv11的跟踪器和所提出的方法。为了确保公平比较，所有基线方法都在完全相同的硬件条件和评估协议下进行了评估。基于YOLOv8和YOLOv11的基线都是使用相同的BoT-SORT关联框架在基于检测的跟踪模式下实现的。在推理阶段，原始的1280×720视频帧被调整大小为640×640的检测器输入，以保持纵横比。随后，预测的边界框被映射回原始图像坐标进行定量评估。传统的卡尔曼滤波器基线被实现为恒定速度滤波方法，不进行基于外观的重新识别。在评估过程中没有应用特定于场景的重新调整，确保所有比较方法都在相同的注释序列和条件下进行测试。所有基线方法的详细实现配置和公平评估协议在表4中明确总结。

表4. 基线实现细节和公平比较协议。评估指标包括精确度（%）、召回率（%）、F1分数（%）、稳定性和跟踪成功率（%），相应的结果在表5中总结。表5. 不同算法的定量比较。表5和图5中的实验结果表明了所提出方法的优势：检测精度：所提出方法的峰值精确度达到94.2%，优于标准的YOLOv8（92.1%）和YOLOv11（90.8%）。这表明在复杂背景下具有更好的特征提取和目标定位能力。跟踪可靠性：我们的方法达到了93.4%的跟踪成功率，比传统卡尔曼滤波器的76.1%高出17.3个百分点。这种改进突显了模型更新机制在防止目标丢失方面的有效性。系统稳定性：在跟踪稳定性方面，所提出的方法取得了最低的稳定性值（4.7像素），而卡尔曼滤波器显示出最大的时间波动（12.4像素）。这确保了在Mecanum轮底盘进行动态目标变化和复杂操作时的性能一致性。这种出色的稳定性直接验证了第2.3节中介绍的考虑自我运动的自适应动态观测噪声模型（）的有效性，该模型在全方位移动期间主动抑制了测量抖动。

3.5. 关键组件的消融分析
为了进一步验证所提出框架中关键组件的贡献，通过一次选择一个组件并保持其余设置不变来进行消融分析。评估的组件包括几何提示、局部搜索约束、遮挡触发更新暂停机制和自适应参考模型更新策略。所有变体都在相同的51序列评估集上进行了评估，使用相同的检测器设置、初始化策略和评估协议，没有针对特定变体的重新调整。如表6所示，完整模型在所有测试变体中始终实现了最佳的总体平衡。

表6. 所提框架关键组件的消融分析。如表6所示，完整模型在所有测试变体中实现了最佳的总体平衡。删除任何关键组件都会导致可测量的性能下降，证明了所提出的多模块设计的协同贡献。具体来说，删除几何提示略微减少了重新识别延迟（从72.83毫秒减少到71.45毫秒），这可能是由于匹配过程简化了。然而，这种边际加速伴随着精确度和TSR的明显下降，表明在杂乱条件下几何一致性在区分目标关联中起着重要作用。当禁用局部搜索约束时，重新识别延迟显著增加，从72.83毫秒增加到98.64毫秒。这一结果突显了协方差约束搜索区域在减少候选对象歧义和保持高效恢复方面的重要性。在所有被消融的变体中，禁用遮挡触发更新暂停机制会导致最严重的整体性能下降，产生最低的精确度（88.6%）、最低的TSR（85.2%）和最差的稳定性（8.4像素）。这表明在目标消失期间抑制不可靠的更新对于防止模板污染和累积轨迹漂移非常重要。

3.6. 动态特征演化分析
上图展示了所提出的目标模型更新机制在应对动态环境变化时的应用。中间部分的九张较小图像显示了在不同环境条件下从模板库生成的模型。这些图像逐渐过渡，展示了目标模型如何在不同数据源的影响下演化。底部的大图像表示模型更新后所有模板的加权平均结果，有效地展示了模板之间的平滑过渡以及模型适应环境变化的能力。在实验中，对环境变化的快速检测和目标模型的快速更新机制发挥了核心作用。通过随时间动态调整模型，所提出的算法能够在环境发生显著变化时快速更新目标模型，使其能够响应新的环境特征。随着时间的推移，模型通过加权平均逐渐融入新模板，最终实现对环境变化的有效适应。此外，在每个模型过渡过程中，这一过程通过箭头和颜色变化进行了视觉表示，表明旧模型的逐渐消除和新模型的引入。在这个过程中，旧模型用灰色显示，并通过向外飞出的箭头表示它们在当前环境中的失败；相比之下，新模型表现出强烈的颜色变化，表明它们对环境变化的快速适应。这个实验表明，所提出的方法不仅能够有效检测和响应环境变化，还能在整个目标模型演化过程中保持高稳定性和准确性。它突出了模型更新机制在动态环境中的适应性和实用性（见图6）。

3.7. 模型更新机制的验证
为了验证本文提出的自适应模型更新机制在复杂环境变化下的鲁棒性和稳定性，在涉及动态光照变化和复杂背景条件的场景中进行了比较实验。实验选择了经典的卡尔曼滤波器、YOLOv8跟踪模型和所提出的预测+自适应更新机制进行性能比较。评估的重点是跟踪误差和在学习率在目标未被遮挡但外部环境发生变化条件下的动态响应特性。图7中的相机视角展示了实验场景中的实时数据采集过程，包括在不同光照条件下的目标跟踪性能。实验场景模拟了不同的环境光照变化（例如从明亮到昏暗的过渡，以及强烈的光反射），以测试系统在动态光照变化下的适应性，并评估不同方法的性能。

图7. 使用移动机器人平台进行实时数据采集的场景。为了确保对连续跟踪性能的严格和公平评估，本研究评估的最先进深度学习模型（YOLOv8和YOLOv11）都是在使用BoT-SORT关联框架的基于检测的跟踪模式下严格部署的。因此，它们作为代表性的端到端跟踪基线，而不仅仅是逐帧对象检测器，为评估轨迹稳定性提供了可靠的基准。

3.8. 极端雨天场景下的鲁棒性和自适应机制分析
在上一节机制分析的基础上，本节通过引入一个具有高度挑战性的雨夜场景来评估系统的性能边界和最终鲁棒性。这种环境呈现出严重的局部过曝和湿表面的强烈镜面反射。通过多帧之间的微观级定性比较，我们全面展示了所提出方法在面对高频假特征诱导时的卓越抗干扰能力。为了进一步研究系统的动态响应，图9展示了一个在具有动态路灯的极端雨夜场景中的跟踪序列的定性比较。这种环境具有低整体对比度和来自湿表面的强烈镜面反射。图9. 在极端雨夜场景中具有动态路灯和镜面反射的定性跟踪性能比较。如图2（峰值镜面反射）所示，基于标准的YOLOv8跟踪器遭受了严重的检测漂移和模板污染。湿地面上的镜面反射产生了虚假的目标特征，导致边界框不恰当地扩大并向光源方向移动。因此，即使在第4帧（特征恢复阶段）可见性有所改善，累积的误差仍然导致轨迹持续偏离，中心位置误差（CLE）峰值达到42.3像素。卡尔曼滤波器虽然在平滑轨迹方面表现出色，但在整个序列中存在显著的时间滞后（例如第4-6帧），因为它主要依赖于线性运动动量而不是实时特征适应。相比之下，所提出的方法在整个序列中保持了精确和稳定的跟踪。通过利用自适应模型更新机制，系统能够主动调节模板学习率。具体来说，如第2.4节所分析的，镜面反射惩罚（Specular Reflection Penalty）严格识别了湿润地面反射的高价值和低饱和度特性。这触发了分段函数在第2帧严重退化时立即冻结模板。这种机制有效地保护了跟踪窗口免受历史模板的污染，确保在后续帧（例如第4帧）中能够稳健恢复，并保持CLE始终低于11像素。这一视觉证据强烈支持了之前呈现的定量稳定性指标，证明了该框架在处理复杂环境干扰方面的卓越能力。

为了进一步量化图9和图10中观察到的视觉性能，本节绘制了100帧序列中的连续跟踪误差。需要注意的是，图中的“光照变化期”（灰色阴影区域）正好对应于定性序列中显示的严重干扰和特征恢复阶段（第2-4帧）。从结果可以看出，传统卡尔曼滤波器在这一干扰期间误差显著增加，并伴随着明显的漂移。YOLO跟踪器（YOLOv8和YOLOv11）表现出放大的误差波动，反映出它们在面对突然的环境变化时的不稳定性。相比之下，所提出的方法在整个过程中保持了高度稳定的误差曲线，即使在严重干扰期间也实现了最低误差，平均误差减少了约35%。这些结果表明，所提出的自适应更新机制有效减轻了外部干扰对识别结果的影响。它使系统能够在无需重新检测的情况下保持高精度的目标跟踪。最终，系统在特征更新期间实现了“平滑更新-无漂移”的特性，显著增强了跟踪框架的整体鲁棒性。

实现这种卓越稳定性的根本机制如图11所示。该图跟踪了同一序列的动态学习率。从图中可以看出，在干扰期间（灰色阴影区域），传统卡尔曼滤波器的学习率保持不变，导致更新能力不足。YOLOv8和YOLOv11虽然显示出一些跟踪状态波动，但调整过程缓慢，无法快速适应突然的视觉变化。相比之下，所提出的方法（红色实线）展示了一个高度复杂的双层自适应机制。在宏观层面上，当进入“光照变化期”（路灯下的全局照明区域）时，基础学习率适当增加，以快速适应目标新出现的明亮特征。然而，在微观层面上，红色曲线并不平滑；在这一干扰期间，它以突然的向下凹陷为特征。这些突然的下降是镜面反射惩罚（Specular Reflection Penalty）主动介入的直接表现。每当发生严重的局部退化时（例如图9中的强烈湿润地面反射），该机制会积极抑制学习率，以防止模板吸收受污染的水坑特征。一旦环境稳定（第70帧之后），它会迅速执行平滑衰减，有效防止过拟合临时噪声。这种解耦的适应机制证明算法可以同时接纳有效的宏观照明变化，同时严格拒绝微观环境噪声。

为了验证在涉及目标丢失的复杂场景下所提出的预测约束和多因素融合机制的性能，本节进行了全面的实验分析，重点关注定性遮挡处理、轨迹预测准确性和重新识别效率。

为了直观展示系统在可见性损失下的行为，图12捕捉了移动机器人在室内走廊中处理完全遮挡的代表性序列。如图12b所示，当目标被走廊墙壁完全遮挡时，标准检测模块通常会失败。然而，所提出的框架切换到主动预测模式，保持估计的轨迹（用橙色虚线框表示）。这种“盲目跟踪”确保系统保持在目标假设位置的中心。当目标在图12c中重新出现时，系统实现了快速重新识别，并在图12d中恢复稳定的跟踪，CLE仅为13.1像素。这一定性证据为后续的定量分析提供了坚实的基础。

在图12和图13的定性证据基础上，本节展示了所提出的预测机制与目标丢失和重新出现事件期间的实际轨迹之间的定量比较。实际运动轨迹由蓝色曲线表示，虚线段代表遮挡期间的真实路径。根据预测约束得出的估计运动轨迹由红色虚线表示。在目标不可见期间（灰色阴影区域），预测轨迹通过卡尔曼状态转换保持了运动趋势。尽管在长时间的不可见期间积累了自然的运动偏差，但预测严格限制了目标的重新出现空间，为重新出现时的即时位置校正奠定了基础。这证实了模型在缺乏实时观察数据的情况下也能保持轨迹连续性并有效跟随运动趋势。当目标重新出现（黄色标记点）时，预测路径与实际位置完全对齐，验证了预测模型在空间位置估计方面的高精度。此外，通过在丢失阶段主动预测目标的时间位置，系统显著减少了重新识别时的延迟开销。

为了总结整体性能，我们进一步包括了一个代表性的户外复杂环境下的定性案例，其中包含一个外观相似的行人干扰物。由于所提出的框架对可见光机器人输入进行了提示级别的多模态融合，因此这个定性比较采用了与定量评估相同的可见光输入设置和基线跟踪器。图15展示了一个后视跟踪序列，在这个序列中，一个外观相似的行人进入了视野并与指定目标暂时共存，从而在复杂的户外场景中引入了潜在的身份歧义。

在本节中，我们基于表5总结了所有评估跟踪方法的性能。卡尔曼滤波器基线显示出最低的跟踪成功率（76.1%）和最大的稳定性值（12.4像素），表明其对动态遮挡的脆弱性。虽然基于YOLOv8和YOLOv11的跟踪器实现了相对较高的精度（92.1%和90.8%），但它们容易受到长时间环境干扰（例如镜面反射）的影响，导致定位上的较大时间波动。相比之下，所提出的预测+多因素机制实现了最佳的整体跟踪性能。通过利用自适应学习率机制并在马氏椭球体内约束局部搜索，所提出的方法在测试的干扰下保持了更稳定的跟踪。因此，如表5所示，所提出的方法获得了最高的精度（94.2%）和跟踪成功率（93.4%），以及最低的稳定性值（4.7像素）。这些定量结果表明，在复杂的后视条件下，所提出的框架提供了最稳定和可靠的跟踪性能。

在本文中，我们提出了一个轻量级且高度鲁棒的后视人类跟踪和重新识别框架，专为在复杂开放环境中运行的无人车辆的机器人视觉感知而设计。为了克服传统深度学习模型在恶劣天气（例如雨夜）和严重遮挡条件下的关键弱点，我们的方法将卡尔曼驱动的时空预测机制与多模态特征融合策略无缝集成。通过将重新识别搜索空间严格限制在动态马氏椭球体内，并使用强大的描述符（结合量化的HSV直方图和几何运动学），系统成功地将目标外观与环境噪声分离。此外，引入了由镜面反射惩罚和分段学习率驱动的严格自适应更新策略，通过主动冻结无效的特征吸收有效防止了轨迹漂移。在定制的Mecanum轮式机器人上进行的广泛真实世界实验全面验证了所提出框架的优越性。系统实现了94.2%的峰值精度和93.4%的跟踪成功率，而无需在大规模标注数据集上进行大规模的端到端重新训练。值得注意的是，在极端的雨夜条件下，我们的方法将平均跟踪误差降低了35%，保持了中心位置误差（CLE）低于11像素。在完全遮挡期间，主动的局部搜索机制实现了72.83毫秒的快速重新识别延迟，弥合了鲁棒性和实时边缘计算约束之间的关键差距。最终，这项研究为智能人机交互和自主跟踪提供了高度可靠、计算效率高的解决方案。未来的工作将专注于将这一框架扩展到多目标后视跟踪场景，并探索其在无人机（UAV）上的应用，以实现跨视图协作感知。