基于RGB-D三重金字塔模型与可迁移特征融合的视频行人重识别

《Algorithms》：Video Person Re-Identification via RGB-D Triple Pyramid Model with Transferable Feature Fusion

　　

现有的视频行人重识别（ReID）方法仍面临三大挑战：仅依赖RGB输入导致空间感知能力有限、遮挡情况下局部特征提取采用等权重策略，以及异构的运动与外观特征融合效果不佳。为解决这些问题，研究人员提出了一种RGB-D三重金字塔模型（TPM），用于鲁棒的时空特征学习。该框架无需额外深度传感器即可利用常规RGB监控视频。具体而言，TPM首先通过单目深度估计从RGB帧生成伪RGB-D表示，这一过程引入了额外的空间线索（如行人尺度与相对距离），以增强空间感知。为捕获时间动态，从连续5帧片段中提取帧差并将其聚合为紧凑的运动表示，从而有效描述短时行人运动。对于外观表示，每帧行人图像被划分为密集均匀网格以提取细粒度局部特征。该方法自动识别可见且信息量大的区域，并为不同网格单元赋予自适应权重。这些加权局部特征被聚合为对遮挡鲁棒的外观表示，在抑制不可靠区域影响的同时突出判别性区域。此外，研究人员引入可迁移特征融合（TFF）模块以整合运动与外观表示。TFF并非直接组合异构特征，而是利用从运动分支学习到的回归残差，将运动特征中的判别性信息迁移至外观特征。该过程细化外观表示，并提升运动与外观特征之间的互补交互。在MARS、iLIDS-VID和PRID-2011三个广泛使用的视频ReID基准上的大量实验验证了所提方法的有效性。具体而言，TPM在MARS数据集上的Rank-1、Rank-5和Rank-20准确率分别提升了4.7%、4.8%和1.7%，验证了该框架的有效性。

**论文解读：基于RGB-D三重金字塔模型与可迁移特征融合的视频行人重识别**

**研究背景与问题**
视频行人重识别（Video ReID）旨在关联不同非重叠摄像头捕获的同一行人图像序列，是智能监控、公共安全与智慧交通系统中的关键技术。与基于图像的重识别相比，视频ReID可同时利用空间外观与时间运动信息，因而在视角变化、姿态差异和部分遮挡等场景下具有更优的鲁棒性。近年来，深度学习与多模态感知技术的发展显著推动了视频ReID的进步，RGB-D与RGB-IR方法通过引入深度或红外信息在挑战性场景中展现出良好性能。然而，现有方法仍面临三大主要挑战：其一，大多数方法仅依赖RGB图像，缺乏显式的深度与几何信息，限制了复杂监控环境中的空间感知能力；其二，局部外观特征常采用固定划分策略与均匀加权，对部分遮挡和背景干扰较为敏感；其三，运动与外观特征通常通过直接拼接或简单加权融合，忽略了两类特征模态间的分布差异，限制了二者间的有效交互与互补学习。针对上述问题，研究人员提出了RGB-D三重金字塔模型（TPM），旨在无需专用深度传感器的情况下，通过单目深度估计生成伪RGB-D表示，结合三重金字塔架构与可迁移特征融合机制，实现鲁棒的时空特征学习。

**研究内容与总体框架**
所提框架包含三个主要模块：RGB-D三重金字塔模块、密集网格加权外观表示模块以及运动引导的可迁移特征融合（TFF）模块。给定输入视频序列，首先利用预训练的单目深度估计模型将每帧RGB图像转换为四通道的RGB-D表示，深度值归一化至[0,1]并与RGB通道拼接。随后，RGB-D三重金字塔模块通过多项式展开与光流位移估计计算相邻帧间的运动变化，并在三个层级上聚合多尺度时间动态信息。外观分支将每帧行人图像划分为密集均匀网格，采用密度自适应网格抽取算法动态调整网格密度与权重，自动识别信息量大的区域，并将加权子区域的权重反向传播至对应网格，从而构建对遮挡鲁棒的外观表示。最后，可迁移特征融合模块将运动特征视为源域、外观特征视为目标域，利用运动分支学习到的回归残差动态校准外观特征，降低跨模态分布差异，实现互补融合。

**主要技术方法**
研究人员采用了以下几项关键技术方法：单目深度估计用于生成伪RGB-D空间表示；基于多项式展开的两帧运动估计方法用于提取稠密位移场；三重金字塔架构对第1层至第3层的运动变化特征进行层级聚合；密度自适应网格划分与最优加权卷积用于构建密集网格加权外观特征；可迁移特征融合（TFF）模块通过计算源域经验误差并将其迁移至目标域训练，实现跨模态特征校准。实验在三个基准数据集上进行：iLIDS-VID包含300个行人身份、600个序列，场景存在严重光照变化、视角变化、杂乱背景与频繁遮挡；PRID-2011包含两个视角下的245个身份，背景相对干净但视角与姿态变化较大；MARS为最大规模视频ReID基准，包含1261个身份、约20000个自动生成的轨迹，存在检测与跟踪噪声。网络基于PyTorch 2.1.0实现，主干网络使用ImageNet预训练权重，采用随机梯度下降（SGD）优化，初始学习率为10^-2，权重衰减为10^-4，批量大小为8。总损失由交叉熵身份分类损失与三元组损失组成，平衡系数λ=1，三元组损失间隔为0.3。

**实验结果与分析**

**消融研究：融合策略的影响**
在iLIDS-VID数据集上评估了第一阶段融合中多种融合策略的效果。传统的求和融合、最大融合、拼接融合和卷积融合分别取得62.7%、62.8%、61.7%和64.1%的Rank-1准确率，其中卷积融合最优。引入注意力与门控机制后，SE注意力与门控融合将Rank-1提升至66.5%和68.1%，交叉注意力达到69.6%。所提出的TFF则取得最优结果，Rank-1、Rank-5、Rank-10和Rank-20分别为72.7%、96.4%、97.6%和99.9%，较交叉注意力提升3.1个百分点，表明直接特征交互不足以充分利用运动与外观间的互补信息。

**组件消融研究**
在MARS数据集上从基线模型逐步加入各组件。基线模型Rank-1为87.9%，mAP为80.8%；引入伪RGB-D表示后Rank-1提升1.2个百分点；加入三重金字塔时间建模后进一步提升0.8个百分点；加入密集网格加权外观特征后Rank-1从89.9%提升至90.6%；最后加入TFF模块再提升0.6个百分点，mAP从83.6%提升至84.6%。渐进式提升验证了每个组件的独立贡献。

**RGB-D表示与融合位置的影响**
对比RGB-only与RGB-D模型，在MARS数据集上RGB-D将Rank-1从89.8%提升至91.2%，mAP从83.1%提升至84.6%，证明深度信息提供了RGB外观之外的补充结构线索。第二阶段融合中，直接拼接仅取得72.7%的Rank-1，注意力与门控方法提升有限，交叉注意力有所改善，而TFF达到最优，较交叉注意力提升6.5个百分点，说明TFF不仅建模特征交互，还显式地将运动判别信息迁移至外观表示。

**遮挡鲁棒性分析**
模拟头部、颈部、肩部、肘部、手部、腹部、膝盖、脚部等十五个代表性身体区域分别被遮挡的情况，完整框架在所有遮挡场景下均获得最高识别准确率。例如头部遮挡时，完整框架取得86.5%的Rank-1和97.5%的Rank-5，显著优于单独使用第一阶段融合或仅使用TFF的配置。多帧加权平均与TFF结合进一步改善了CMC曲线整体表现，表明该框架有效利用时间一致性与自适应外观表示抵御部分遮挡。

**与先进方法的比较**
在iLIDS-VID数据集上，完整框架取得86.5%的Rank-1、97.5%的Rank-5、99.3%的Rank-10和100%的Rank-20，优于PISA与KeyReID等现有方法。在PRID-2011数据集上，取得94.6%的Rank-1、98.9%的Rank-5、99.7%的Rank-10和100%的Rank-20，较KeyReID的Rank-1提升0.4%。在MARS数据集上，TPM取得91.2%的Rank-1、96.5%的Rank-5和98.8%的Rank-20，分别较KeyReID提升4.7%、4.8%和1.7%。重复实验表明模型性能在不同随机种子下保持稳定，排除了随机初始化带来的偶然性。

**讨论与结论**
研究人员讨论指出，传统融合策略通常假设不同特征模态具有相似统计属性，直接聚合会削弱单模态中的判别信息，而TFF通过回归残差动态校准外观特征，有效弥合了跨模态分布差异。研究结论表明，所提出的RGB-D三重金字塔模型通过联合利用深度感知空间线索、细粒度外观表示与可迁移特征融合，有效解决了传统视频ReID方法在背景变化、部分遮挡和异构特征分布方面的局限。在三个基准数据集上的综合实验验证了各组件贡献及整体框架的优越性，尤其在视角变化、行人遮挡和复杂背景干扰场景下展现出强鲁棒性，具备智能视频监控应用的实践潜力。未来工作将扩展至换衣行人重识别、可见光-红外跨模态行人重识别，并探索更先进的部件感知表示、多粒度特征交互及基于基础模型的表示学习方法。