DFRR：一种面向车路协同场景下抗遮挡车辆重识别的视觉增强鲁棒双分支特征重建框架

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：DFRR: a visually-enhanced robust dual-branch feature reconstruction framework for occlusion-resilient vehicle re-identification in vehicle-infrastructure cooperation

　　

•定制化数据增强模拟了城市环境中真实存在的几何与语义遮挡。•双分支设计通过联合损失将遮挡区域与非遮挡区域分离。•提出的FD损失和ECS损失与标准目标相结合，以优化特征一致性。•在严重的协同视角变化下，车辆Re-ID性能的稳定可靠性得到了验证。

## 1. 引言

车路协同系统的快速发展已成为下一代智能交通系统（ITS）的基石，实现了路侧单元（RSU）、车载单元（OBU）与云端计算平台之间的无缝协作，如图1所示（Li等，2025a；Ying和Feng，2024；Wu等，2026）。在此类系统中，RSU作为核心感知与通信边缘节点，负责通过路侧摄像头捕获实时交通场景，并通过低延迟的V2X链路将感知结果传输给过往车辆。与此同时，OBU作为车载智能单元，接收协同信息，并为驾驶员或自动驾驶系统提供增强的态势感知。云端则作为协作中心，负责数据聚合、存储、模型训练与推理。RSU、OBU与云端共同构成了闭环协同架构，确保协同驾驶应用的可靠性与响应性（Li等，2025c；Zhang等，2025；Zhao等，2025）。作为路侧基础设施的关键组成部分，基于视觉的监控系统能够提供对交通参与者及其周围环境的持续、高分辨率、语义丰富的视觉数据（Wang等，2025；Yi等，2025；Li等，2024b）。该能力不仅支持细粒度的交通状态估计与安全监控，还为自动驾驶提供了关键的感知冗余，尤其是在复杂且非结构化的城市交通环境中。

相较于其他感知模态，路侧视觉传感器——尤其是与RSU集成的联网监控摄像头——能够在不受单车传感器局限性约束的情况下（如驾驶员视角遮挡、有限视场或范围衰减），提供长期、大范围的观测（Arefkhani和Shafahi，2025；Chen等，2025）。通过利用先进的计算机视觉算法，这些系统已从传统图像处理技术发展为基于现代深度学习的框架，包括卷积神经网络（CNN）和视觉Transformer（ViT）（Dosovitskiy等，2021），在光照变化、恶劣天气和部分遮挡等真实条件下展现出卓越的适应能力。

在此背景下，车辆Re-ID作为一种高级感知任务应运而生，对于在重叠视野之外的非重叠摄像头视图之间实现连续的车辆轨迹关联至关重要（Asghar等，2024；Premaratne等，2023；Jahan等，2024）。该能力是协同式车路自动驾驶的基础，通过融合路侧与车载感知，将态势感知范围扩展到自车感知范围之外，从而提升控制精度与安全性（Ngoduy等，2024；Fongang等，2024）。虽然传统的车牌识别提供了一种简便的识别机制（Xu等，2025），但由于摄像头定位限制、车牌遮挡或低分辨率图像等问题，其在实际部署中往往失效。相比之下，基于深度学习的车辆Re-ID利用形状、纹理和颜色模式等视觉特征，无需清晰的车牌信息即可实现稳健的身份关联（Yao等，2023）。

然而，将车辆Re-ID系统部署于城市交通场景中仍面临巨大的挑战。一个主要困难在于，同一型号车辆之间的视觉相似度较高，而不同型号之间的差异显著，且这种差异往往因多样化的视角和制造商设计而进一步加剧。此外，由其他车辆、基础设施或行人引起的频繁遮挡经常阻碍关键特征的获取，损害外观表示的完整性。光照变化、天气状况和背景杂讯等环境因素进一步降低了感知一致性和模型鲁棒性。针对遮挡相关的挑战，现有方法大致分为无模型辅助和模型辅助两类策略。尽管被广泛采用，这两类方法在运行可扩展性和泛化能力方面均存在显著局限性。无模型方法通常通过在训练过程中采用随机掩码或叠加外部物体来模拟合成遮挡。虽然计算效率高，但此类方法往往过于简化了真实世界遮挡的结构性与空间特征，从而限制了其在动态环境中的有效性（Wang等，2024b；Li等，2025b）。相比之下，模型辅助方法经常依赖于额外的分割或注意力子网络来显式地识别和排除遮挡区域（Ke等，2021）。虽然这可以提高特征纯度，但通过引入大量计算开销和多分支架构依赖，显著增加了整体系统复杂度。这种由辅助子网络及其相关处理需求整合产生的累积负担，使其不太适合路侧单元等资源受限的平台，在这些平台上内存带宽和实时延迟是关键约束。

为应对这些局限，本研究提出了一种用于Re-ID的双分支特征重建模型（DFRR），该模型无需外部分割模型即可有效从遮挡图像中恢复判别性特征。该模型将双分支图像特征编码器（Dual-IFE）与图像重建模块（IRM）相结合，能够在增强遮挡条件下同时实现特征提取与遮挡图像恢复。因此，DFRR不仅提升了遮挡密集环境下的Re-ID精度，还确保了在实际车路协同架构中的部署可行性。本研究的主要贡献包括：

(1) 开发了一种定制化增强方法，以模拟真实城市环境中遮挡的几何与语义特征。通过复制由常见交通参与者和路侧结构引起的遮挡模式，所生成的训练数据更准确地反映了运行条件，从而增强了复杂交通环境中的鲁棒性与泛化能力。

(2) 提出了一种包含即插即用宽特征恢复（WFR）模块的双分支图像特征解码器（Dual-IFD），实现了遮挡区域的高保真重建。该设计显著改善了从严重遮挡区域恢复高分辨率判别性特征的能力，并且可以无缝集成到标准Re-ID架构中，无需额外的重新训练。

(3) 引入了特征解耦（FD）损失，使Dual-IFE能够显式地分离遮挡区域与非遮挡区域的特征表示，从而实现更有针对性的恢复。此外，提出了一种增强的上下文相似性（ECS）损失，以解决原始上下文相似性公式中的数值溢出和不稳定问题。FD与ECS的组合形成了一个复合目标，联合优化重建保真度与特征一致性，确保在遮挡密集场景下的稳定有效训练。

本研究的组织结构如下。第2节全面综述了基于Transformer的车辆Re-ID方法和遮挡感知Re-ID方法。第3节阐述了问题定义并介绍了所提出的遮挡增强方法。第4节提供了所提框架的方法论。第5节详细介绍了实验与实现设置及基准模型。第6节提供了对结果的深入分析及相关讨论。最后，第7节对研究进行了总结，并提出了未来研究的可能方向。

## 2. 文献综述

车辆Re-ID指的是从非重叠摄像头网络中查找属于同一车辆ID的图像。本节将讨论基于深度学习方法的车辆Re-ID技术，以及应对遮挡场景下车辆Re-ID的主要策略。

### 2.1. 用于车辆再识别的深度学习技术

相较于传统的手工特征提取，基于深度学习的Re-ID方法能够捕获图像中更全面的信息，如车辆的形状、纹理和轮廓。此外，由于深度学习方法能够自主学习和优化特征，在处理海量数据时展现出卓越的可扩展性。神经网络结构和损失函数的设计是基于深度学习的车辆Re-ID研究的两个核心任务。

尽管基于CNN的方法可以有效提取车辆的判别性特征，但其下采样步骤降低了输出特征图的空间分辨率，这极大影响了区分相似对象的能力。基于最初为文本翻译任务设计的Transformer网络，Dosovitskiy等（2021）成功地将Transformer应用于视觉任务，催生了ViT。ViT完全基于Transformer架构的自注意力机制来处理视觉任务，避免了卷积的使用，为图像处理树立了新的先例。然而，ViT缺乏局部感知能力，导致捕获位置和空间信息的能力较弱。将大图像块作为输入也影响了稳定性并降低了对局部细节变化的关注度。为解决ViT中大像素块引起的稳定性问题，同类ViT变体结合了卷积和Transformer的优势来提升局部特征提取。例如Swin Transformer（Liu等，2021）。这些混合模型通常使用卷积操作进行特征提取，然后通过Transformer层捕获更广泛的上下文信息。这种组合利用了卷积的局部特征提取优势和Transformer建模全局依赖的能力，从而提升了模型性能。

对于车辆Re-ID，TransReID（He等，2021）是首个基于纯Transformer模型的Re-ID方法，证明了基于Transformer的车辆Re-ID方法相比基于CNN的网络能够产生更优的结果。Chen等（2022）采用了TransReID中的侧信息嵌入（SIE），提出了ResT-ReID方法。使用Res-Transformer提取全局特征，并设计了带侧信息嵌入的注意力引导图卷积网络（SIE-AGCN）用于局部特征提取。此外，还提出了利用SIE模块增强的Transformer结构（Du等，2023）。他们通过有效调整最少参数数量来优化微调过程。在多层特征和视角问题处理方面，Li等使用Swin Transformer技术处理不同尺度的特征（Li等，2022），提升了特征的鲁棒性和识别能力。一些多视角特征提取方法通过引入噪声和蒸馏令牌来增强从多个视角捕获的车辆图像的特征表示（Du等，2023；Wang等，2024）。

尽管基于Transformer的车辆Re-ID模型展现了巨大潜力，但其在计算资源和数据方面的要求相对较高。开发轻量且高效的车辆Re-ID模型仍是当前研究的重点。此外，通用性优化、可移植性改进，以及在真实遮挡场景或摄像头失真场景中开发具有更高鲁棒性的车辆Re-ID模型也是关键研究挑战。

### 2.2. 遮挡感知的车辆再识别方法

遮挡是车辆Re-ID和行人Re-ID研究中的一个重大挑战。行人Re-ID主要应对姿态变化和关键点关联问题，且特征在不同视角间相对一致；而车辆Re-ID由于视角多样性显著且车辆间相似度高，面临独特的挑战。这些困难在遮挡场景中尤为突出，此时关键识别特征可能被部分或完全遮挡。

已有多种方法被提出以解决车辆Re-ID中的遮挡问题。一些方法利用外部模型来识别非遮挡区域，使Re-ID网络能够从未遮挡区域提取特征。这些外部模型可用于前景增强、特征对齐和图像分割等任务，在保持模型专业性的同时提供有价值的预处理能力。另一些研究关注查询图像自身的特征，训练模型在可见区域自发学习判别性表示。该类别中值得注意的方法包括数据增强技术（Li等，2024；Wang等，2024）和前景增强策略（Lian等，2024）。

第三类方法采用多图特征融合，即从额外图像（如时序序列或多摄像头视角）中提取特征来补充被遮挡查询图像的特征，以恢复缺失信息（Nguyen等，2024；Cao等，2023）。虽然这些融合方法有利于特征恢复，但由于训练时需要为每个查询提供多张图像，因此显著增加了模型复杂度和计算需求。此外，其有效性严重依赖于包含非遮挡信息的互补视角或帧的可用性，这在跨视角持续遮挡或非重叠摄像头场景中限制了适用性。

其他研究利用非重叠摄像头的图像来实现特征补全。由于行人视角特征相似性较高，这在行人Re-ID中较为常见，但在车辆Re-ID中面临重大障碍，因为不同车辆视角间存在显著的视觉差异（Xu等，2022）。局部结构建模提供了另一种策略，一些研究者建立了基于车辆部件的特征模型来应对遮挡（Qian等，2023）。这些方法通过定位关键点进行特征提取和相关性分析，可以从可见部分推断遮挡区域的特征。然而，这种方法需要超越车辆ID的大量标注，包括关键点标记和视角模型。

此类标注要求既增加了成本又提高了实施难度，而固定区域和均匀关键点划分方法可能缺乏对不同车型的泛化能力。尽管已有这些努力，当前研究对有效单图像遮挡处理方面的探索仍十分有限。依赖多图像输入（Xu et al., 2022）或细粒度关键点（Qian et al., 2023）的方法引入了实际应用中的局限性。虽然已有技术可以增强单张图像可见区域内的特征，但关于从单张遮挡图像中直接重建遮挡区域身份关键特征的研究相对较少。尽管Ke等人（Ke et al., 2021）提出了一种具有重叠双层结构的实例分割网络来解耦遮挡与被遮挡实例的边界，但他们并未解决随后的特征重建问题。3. 预备知识本节提供基础概念。然后，描述了一种名为方向感知象限遮挡（Orientation-Aware Quadrant Occlusion, OAQO）的遮挡增强方法，该方法专为增强DFRR模型的泛化能力而设计。OAQO方法通过三阶段流程运行，包括方向估计、象限划分和遮挡块生成。3.1. 问题定义车辆重识别（Vehicle Re-ID）旨在解决在多样化环境条件下，跨非重叠摄像头网络拍摄到的同一车辆的图像或视频序列进行匹配这一挑战性任务。由于其在多个关键领域的实际应用价值，该任务变得越来越重要。在智能交通系统（ITS）中，重识别对于自动化交通流量监控和起终点（O-D）估计至关重要，为城市区域的拥塞分析和需求预测提供所需的身份连续性。在城市监控和公共安全领域，该技术对于快速搜索和嫌疑车辆定位等任务必不可少，使当局能够在碎片化的摄像头视图中重建车辆轨迹。此外，在自动驾驶和多传感器融合中，重识别有助于协同感知；通过使车辆或基础设施节点能够识别并关联不同传感器检测到的动态物体，帮助构建全面且全局一致的环境地图。形式化地，令I={I1,I2,?,IK}表示数据集中所有车辆图像的集合，其中每张图片Ix关联一个身份标签yi∈{1,2,…,Y}，Y表示唯一车辆的总数。基本目标是学习一个判别性映射函数f: I→?d，将输入图像Ix转换为d维特征嵌入Zi = f(Ix)。对于有效的重识别，这些嵌入必须满足判别性约束：(1)‖Zi-Zj‖2+m≤‖Zi-Zk‖2,?yi=yj≠yk其中m表示正间隔，强制不同车辆身份之间形成明显分离。该约束确保同一车辆特征嵌入之间的欧几里得距离显著小于不同车辆之间的距离，无论环境如何变化。在评估阶段，给定查询集Q和库集G，系统为每个查询q ∈ Q检索所有具有相同身份的对应库图像g ∈ G。检索过程基于欧几里得距离进行排名：(2)Dq,g=‖f(q)-f(g)‖2性能通过平均精度均值（mAP）和累积匹配特征（CMC）Rank-k指标进行定量评估，这些指标在不同阈值下评估检索准确性。3.2. 遮挡增强方法3.2.1. 定义定义：遮挡增强是一种数据合成技术，通过对原始车辆图像I∈RH0×W0×3应用方向感知掩码策略，生成逼真的遮挡图像Iocc。遮挡图像计算如下：(3)Iocc=I⊙Mocc其中Mocc∈{0,1}H0×W0×3表示维度与输入图像匹配的二进制遮挡掩码，Mocc中值为0和1分别表示遮挡和可见区域。H0和W0对应原始车辆图像的高度和宽度，⊙表示逐元素乘法。3.2.2. 方向感知象限遮挡（OAQO）方法当前的遮挡增强技术主要依赖随机区域遮挡策略，这往往无法充分捕捉现实世界遮挡模式的复杂性和结构性特征。尽管Denzel等人（Denzel and K?stner, 2018）和Chen等人（Chen et al., 2024）引入了基于精细网格划分（如3×3或4×4）的基于划分的遮挡生成方法，但这些方法存在两个重要局限性。首先，遮挡的随机应用经常覆盖背景区域而非语义有意义的区域，从而降低了重识别任务特征学习的有效性。其次，使用大量小贴片显著增加了计算开销，而鲁棒性的提升并不与之相称。VeRi-776数据集（Liu et al., 2016b; Liu et al., 2016c）被用于进行系统的统计分析，以更好地理解现实世界遮挡的空间特征。该数据集包含776辆不同车辆的超过50,000张图片，涵盖了轿车、公交车、SUV和卡车等多种车型，均拍摄于现实世界的监控环境中。与常用的BIT-Vehicle和KITTI数据集等基准相比，VeRi-776数据集提供了更全面、更真实的城市交通条件表示。分析显示，真实遮挡事件在空间分布上高度不均匀，显著集中在图像角落区域，如图2所示。这一发现强调了现有均匀或基于网格的遮挡模拟策略的局限性，并突出了需要更具语义和空间感知能力的增强技术的需求。下载：下载高分辨率图像（295KB）下载：下载完整尺寸图像图2. VeRi776数据集中遮挡区域中心点的遮挡热力图分布。为模拟现实世界车辆遮挡模式，提出了一种方向感知象限遮挡（OAQO）方法，包含三阶段流程：方向估计、象限划分和遮挡块生成。OAQO的设计直接受到图2中观察到的现实世界遮挡空间特征的启发，其中遮挡事件被发现高度集中在图像角落。首先，通过计算梯度场来估计车辆方向，使用Sobel算子构建8方向直方图（前、右前、右、右后、后、左后、左、左前）。主方向θ被确定为直方图的峰值。尽管严重预先存在的遮挡理论上可能干扰梯度计算，但对VeRi-776数据集的经验分析表明，在监控环境中车辆的结构特征通常得以保留。因此，从直方图峰值中提取的主方向仍然是后续划分的可靠指南。随后进行象限划分。图像被分为四个相等的象限{Q1, Q2, Q3, Q4}。基于θ实施差异化遮挡策略：(a)对于正交方向（前、后、左和右），在四个角落区域内应用标准矩形遮挡；(b)对于对角线方向，遮挡限于对角匹配的象限。最后在选定象限中生成矩形遮挡块。如图3所示，这些块在对应区域的外顶点处初始化，并向内扩展以模拟现实的侵入。下载：下载高分辨率图像（232KB）下载：下载完整尺寸图像图3. OAQO方法遮挡块选择和掩码过程的可视化。为保留关键的中央车辆特征，在相邻遮挡块之间设计了重叠的下边界。这些区域的几何由两个独立参数定义。首先，每个块的宽高比在[0.3, 1.6]区间内采样。该范围基于图4中维度分析确定的高频观测值（>50次出现）进行配置。其次，遮挡比例η用于调节总空间覆盖率，如下所示：(4)η=ζ×H×WH0×W0其中H和W表示遮挡区域的维度。缩放系数ζ设为1.2以增强掩码强度。基础面积比(H×W)/(H0×W0)在0.05到0.25之间随机采样，使得比例η在[0.06, 0.30]内变化。通过这种策略性配置，确保了足够的空间覆盖率，使基于角落的遮挡能够侵入中央判别区域，因为每个象限占据图像的25%。这确保了关键特征被部分遮挡以增强鲁棒性，同时身份特定信息不会被完全遮蔽。下载：下载高分辨率图像（262KB）下载：下载完整尺寸图像图4. 宽高比分析，(a)整体分布直方图；(b)详细分布。为模拟多物体遮挡场景，引入了可调节的遮挡数量参数No∈{1,2,3,4}。最终掩码Mocc由No个随机放置在方向适当象限中的块的并集构建。通过将遮挡区域直接与车辆方向关联，该方法消除了背景干扰，同时通过动态遮挡比例调整保持了计算效率。4. 方法论本节详细介绍了用于重识别的双分支特征重建（DFRR）模型的详细架构。模型的整体框架如图5所示。所提出的框架包含一个共享的双分支图像特征编码器（Dual-IFE），从原始和遮挡的车辆图像中提取成对对齐的特征，实现有效的遮挡关系学习（详见第4.1节）；以及一个图像重建模块（IRM），通过上下文感知恢复来恢复遮挡区域的特征（详见第4.2节）。第4.3节提供了整体学习目标和训练策略。完整的算法工作流程在算法1中形式化。下载：下载高分辨率图像（457KB）下载：下载完整尺寸图像图5. DFRR的框架示意图，由双分支图像特征编码器（Dual-IFE）与图像重建模块（IRM）组成。整个框架使用多任务目标函数进行端到端训练，通过损失函数的加权组合联合优化判别性特征表示和特征恢复。4.1. 双分支图像特征编码器为缓解复杂道路交通环境中相似颜色或形状车辆的局部遮挡带来的挑战，提出了一种Dual-IFE模型，由两个并行分支组成：原始分支和遮挡分支。这些分支分别处理原始图像和遮挡图像，提取对齐的特征表示，增强模型处理遮挡场景的能力。Dual-IFE由两个并行分支组成：原始分支和遮挡分支。两个分支共享相同的ViT骨干网络进行特征提取，确保参数效率和特征对齐。原始分支以原始车辆图像Ix∈RH0×W0×3作为输入，提取包含全局特征fg_ori和局部特征fl_ori的特征fen_ori。遮挡分支首先应用遮挡增强模块（如第3.2节所述）来模拟真实的遮挡，生成指示遮挡区域的二进制遮挡掩码Mocc。相同的图像Ix然后被部分遮罩并送入共享骨干网络，提取同样包含全局特征fg_occ和局部特征fl_occ的特征fen_occ，使模型能够从部分观测中学习。为缓解Transformer中传统非重叠token机制导致的局部邻域结构信息丢失，两个分支均通过滑动窗口方法将输入图像划分为N个非重叠补丁Ixii=1,2,?,N。每个补丁具有固定的P × P尺寸，其中P为补丁维度。补丁总数N由下式给出：(5)N=?H-PS?+1×?W-PS?+1其中?·?为向下取整函数，S为滑动窗口使用的步长。这种划分对于高效处理大图像至关重要，使模型能够在保持全局上下文的同时专注于局部特征。一个可学习的[cls]嵌入token表示为Icls，被前置到补丁序列中。可学习的位置嵌入L∈RN+1×d被添加到补丁token中以融入空间信息。输入嵌入序列公式化为：(6)Z0=Icls;fIx1;fIx2;?;fIxN+L其中f是将补丁映射到d维的线性投影，公式如式(7)所示。(7)fIxi=WpIxi+bp这里Wp∈Rd×P2C是权重矩阵，bp∈Rd是偏置。为增强不同摄像头视图之间的特征一致性，引入了一种复合嵌入策略。具体而言，为每个摄像头和视角分配一个可学习的1-D嵌入。令EC∈RNC×d表示摄像头特定嵌入，其中NC为摄像头总数。类似地，EV∈RNV×d表示视角特定嵌入，其中NV为视角数量。这些嵌入被组合成复合摄像头-视角嵌入EC,V∈RNC×NV×d，综合编码了摄像头身份和视角角度。这种复合嵌入使模型能够为每种独特的摄像头-视角组合形成判别性的组特定表示。它显式地捕捉了由不同成像条件和视角变化引入的系统性变异，从而促进跨域特征分布的更好对齐。该嵌入被整合到补丁嵌入中，如下所示：(8)?0←Z0+λEC,Vr×NV+q其中Z0是式(6)中的原始输入嵌入，r和q分别表示输入图像Ix的摄像头和视角索引。λ是控制权重的超参数，设为2.5，与参考文献（He et al., 2021）相同。这种整合为模型提供了必要的非视觉上下文线索，显著提升了其学习鲁棒且具有视角不变性特征的能力。然后，token序列?0被送入一个l层的Transformer编码器。

设输入到最后一层的隐藏特征表示为 Z_{l-1}=z_{l-1}^0; z_{l-1}^1, z_{l-1}^2, ?, z_{l-1}^N，该层对应的输出特征表示为 f_{l-1}=f_{l-1}^0; f_{l-1}^1, f_{l-1}^2, ?, f_{l-1}^N，其中 f_{l-1}^0 对应第 (l-1) 层的 [cls] 标记特征。每一层由多头自注意力（MHSA）模块和前馈网络（FFN）组成，并在每个子层之后应用残差连接和层归一化（LN）。MHSA机制使模型能够通过联合关注来自不同表示子空间的信息来捕获所有补丁之间的依赖关系。注意力输出计算如下：

(9) MHSA(Z_{l-1})=Concat(h^1, h^2, ?, h^m)W^o

其中每个注意力头 h^m 定义为：

(10) h^m=Softmax(Z_{l-1}W^m_Q (Z_{l-1}W^m_K)^T / √d_m)(Z_{l-1}W^m_V)

其中 W^m_Q, W^m_K, W^m_V ∈ R^{d×d_m} 分别是第 m 个头中查询、键和值的可学习投影矩阵。W^o ∈ R^{m·d_m × d} 是输出投影矩阵，用于组合所有 m 个头的输出。

MHSA模块的输出表示为 V_{l-1}，然后由逐位置前馈网络进行处理：

(11) FFN(V_{l-1})=σ((V_{l-1}W^1+b^1)W^2+b^2)

其中 σ(·) 表示激活函数高斯误差线性单元（GELU）。

每个子层都由残差连接和层归一化（LN）包围：

(12) V_{l-1}=LN(Z_{l-1}+MHSA(Z_{l-1}))

(13) Z?_{l-1}=LN(V_{l-1}+FFN(V_{l-1}))

经过 l 层Transformer编码器处理后，获得标记序列的最终隐藏状态 f_l=f_l^0; f_l^1, f_l^2, ?, f_l^N ∈ R^{(N+1)×d}，其中 f_l^0 表示最终层的 [cls] 标记特征。从该输出中，提取原始分支和遮挡分支的最终特征表示。在原始分支中，[cls] 标记输出作为全局特征表示，表示为 f_g_ori ∈ R^d，而补丁标记共同形成本地结构特征 f_l_ori ∈ R^{N×d}。同样，遮挡分支产生全局特征 f_g_occ ∈ R^d 和本地特征 f_l_occ ∈ R^{N×d}。这些特征随后输入IRM模块以促进特征恢复和整合。

4.2 图像重建模块

尽管遮挡增强策略和共享双分支编码器网络使模型能够更多地关注非遮挡部分，但由于遮挡导致的车辆信息丢失问题仍未得到有效解决。为了解决遮挡造成的信息丢失问题，本节提出了一种带有双分支图像特征解码器（Dual-IFD）的图像重建模块（IRM）。Dual-IFD由平行的全局和本地特征分支组成，其结构如图6所示。全局特征分支以 f_g_occ 为输入，旨在重建高层语义信息，而本地特征分支处理 f_l_occ 以恢复细粒度空间细节。原始分支特征 f_g_ori 和 f_l_ori 在重建过程中作为参考信号，以确保特征一致性和对齐。

下载：下载高分辨率图片（194KB）
下载：下载完整尺寸图片

图6. Dual-IFD示意图。该图展示了Dual-IFD的架构，其中Trans-Conv表示转置卷积，Dilated Conv表示膨胀卷积，WFR是宽特征重建模块，Conv代表卷积。

正式地，Dual-IFD解码器函数 g 从遮挡分支特征中重建图像。它由两个子函数组成：全局特征分支 g_gl 和本地特征分支 g_lo，分别处理全局和本地特征。整体重建过程可总结为：

(14) g_rec=g(f_g_occ, f_l_occ)=Φ(g_gl(f_g_occ), g_lo(f_l_occ))

其中 g_rec 是重建图像的特征，Φ 表示融合操作（详见公式26-28），用于组合两个解码器的输出。

全局特征分支处理输入的全局特征向量 f_g_occ ∈ R^{768}，并通过结构化流水线将其逐步转换为高分辨率特征图。特征首先通过两个全连接（FC）层，配合批量归一化（BN）和ReLU激活，将维度从768降至64，然后再降至128。得到的特征向量被重塑为1×1×128的空间格式，并通过一系列转置卷积逐步反采样，随后配合BN和ReLU。该组合被称为TBR块，是Dual-IFD中的基本处理单元。该变换可正式定义为：

(15) g_global^1=ReLU(BN(W^1 f_g_occ + b^1)), W^1 ∈ R^{768×64}, b^1 ∈ R^{64}

(16) g_global^2=ReLU(BN(W^2 g_global^1 + b^2)), W^2 ∈ R^{64×128}, b^2 ∈ R^{128}

(17) g_global^3=Reshape(g_global^2) ∈ R^{1×1×128}

(18) g_global^K=TransposedConv_{k=4,s=2,p_1=1}(g_global^{K-1}) (K=4,5,6,7,8)

(19) g_global^{TBR_1}=ReLU(BN(TransposedConv_{k=4,s=2,p_1=1}(g_global^8))) ∈ R^{64×64×64}

为增强上下文理解，提出了一种即插即用的宽特征恢复（WFR）模块。WFR模块将用于上采样的TBR块与用于扩大感受野的膨胀卷积层相结合，使模型能够在不牺牲空间分辨率的情况下捕获更丰富的上下文信息。经WFR增强的上采样路径公式如下：

(20) g_global^{TBR_2}=ReLU(BN(TransposedConv_{k=4,s=2,p_1=1,p_2=0}(g_global^{TBR_1}))) ∈ R^{128×128×32}

(21) g_global^{WFR}=DilatedConv_{k=3,s=1,p=2}(g_global^{TBR_2}) ∈ R^{128×128×32}

其中 k 表示核大小，s 表示步幅，p 表示卷积和膨胀卷积的填充，p_1 表示转置卷积的填充，p_2 表示输出填充。

转置卷积操作增强了空间分辨率，而BN和ReLU激活稳定了训练过程并提高了特征质量。膨胀卷积在不牺牲分辨率的情况下扩大了感受野，使模型能够专注于语义相关特征并抑制噪声。为了最大化灵活性和性能，WFR模块被设计为在上采样路径的不同阶段替换其中一个TBR块。具体来说，第一个TBR块（TBR1）可以被WFR模块替换（称为初始WFR），第二个TBR块（TBR2）被中间WFR替换，第三个TBR块（TBR3）被末尾WFR替换。中间WFR配置如图6所示，其中WFR模块替换了第二个TBR块（TBR2）。在此配置中，前一个TBR块（TBR1）的输出被送入WFR模块。WFR模块执行宽上下文特征恢复，随后由TBR3进一步细化和上采样特征图，如公式(22)所示。

(22) g_global^{TBR_3}=ReLU(BN(TransposedConv_{k=4,s=2,p_1=1,p_2=0}(g_global^{WFR}))) ∈ R^{256×256×16}

这种设计确保了感受野扩展和详细特征重建之间的平衡，使模型能够有效处理各种遮挡模式，同时保持空间连贯性。

本地特征分支处理基于补丁的本地特征 f_l_occ ∈ R^{N×d}（N=196），以恢复细粒度空间细节。该分支采用一系列处理阶段，从通道缩减卷积开始，随后是四个TBR块，逐步恢复原始图像分辨率并细化特征表示。

初始阶段重塑输入特征，并通过标准卷积层减少维度：

(23) g_local^0=Reshape_{14×14×768}(f_l_occ)

(24) g_local^1=ReLU(BN(Conv_{k=1,s=1,p=0}(g_local^0))) ∈ R^{14×14×128}

随后的上采样通过四个具有相同核和步幅参数的TBR块完成：

(25) g_local^K=ReLU(BN(TransposedConv_{k=4,s=2,p_1=1,p_2=0}(g_local^{K-1}))) (K=2,3,4,5)

这种层次化上采样策略采用四个具有相同核（k=4）和步幅（s=2）参数的TBR块，将空间分辨率从14×14逐步恢复到224×224，同时将通道深度从128减少到8。随后，1×1卷积将特征维度从8扩展到16个通道，从而实现更丰富的跨分支融合。最后，双线性插值将特征图调整为256×256，以与全局分支输出进行空间对齐。

这种层次化上采样策略使用小核和步幅来重建详细的图像内容，同时保持结构完整性。所得的高分辨率特征图捕获了细粒度恢复所需的本地模式。

全局和本地分支的特征通过通道级拼接进行组合：

(26) g_concat=Concat(g_global^{TBR_3}, g_local^5) ∈ R^{256×256×32}

然后通过两个连续的1×1卷积层应用扩展-压缩变换。该操作首先将通道维度扩展到64，配合BN和ReLU激活，然后将其压缩回3个通道。该过程通过可学习的线性组合有效地合成了跨分支信息，如公式(27)和(28)所示。

(27) g_expand=ReLU(BN(Conv_{k=1}(g_concat))) ∈ R^{256×256×64}

(28) g_rec=Conv_{k=3}(g_expand) ∈ R^{256×256×3}

这种融合机制通过可学习的线性组合合成跨分支信息，生成最终的重建特征 g_rec，该特征与原始输入保持空间对齐，同时编码丰富的跨分支相关性。

4.3 总体学习目标和训练策略

所提出的DFRR框架通过多任务目标函数进行端到端训练，该函数结合加权损失以联合优化Dual-IFE中的判别特征学习和Dual-IFD中的特征恢复。

为了缓解遮挡区域和非遮挡区域之间的特征纠缠，提出了一种特征解耦（FD）损失。该损失明确促进特征表示的分离，从而增强模型对可见和遮挡内容的判别能力。具体来说，可见特征表示为 f_vis，遮挡特征表示为 f_occ，分别通过将原始图像特征与二元遮挡掩码 M_occ 及其补集 (1-M_occ) 进行逐元素相乘获得。FD损失被公式化为最小化 f_vis 和 f_occ 之间的相似度，定义如公式(29)。

(29) L_FD=E[f_occ]·E[f_vis] / (‖E[f_occ]‖·‖E[f_vis]‖+10^{-8})

其中 E[f_occ] 和 E[f_vis] 分别表示遮挡和非遮挡区域的均值，· 表示点积，‖·‖ 表示向量范数。与常规损失不同，FD损失明确惩罚遮挡和非遮挡区域之间的相关性，迫使模型学习遮挡不变的表示。

身份（ID）损失和三元组损失的集成在原始和遮挡分支上联合进行，以增强遮挡车辆重识别场景中的鲁棒性和判别性特征表示。ID损失通过交叉熵约束公式化（公式(30)和(31)），在两种输入模态中强制执行身份敏感的特征学习。对于原始分支，公式(30)最大化目标类别的对数概率 S_ori^i，迫使模型关注整体外观特征（例如服装纹理和体型）。相反，公式(31)针对遮挡分支，驱动网络提取遮挡不变特征。这些双重机制在共享的分类空间内建立了互补的特征表示。

三元组损失通过度量学习进一步正则化特征空间的拓扑结构，如公式(32)-(33)所示。与公式(1)中定义的判别目标一致，这些方程采用了软间隔三元组损失公式。相反于使用刚性的硬阈值，软间隔机制利用平滑的对数指数函数自适应地强制执行距离约束。公式(32)强制原始分支特征 f_en_ori 与正样本 f_p 之间的欧几里得距离小于其与负样本 f_n 的距离。同样，公式(33)对遮挡分支特征 f_en_occ 施加相同的约束。这种软间隔方法提供了连续梯度，即使在满足基本间隔后也能推动身份之间的实质性分离。它同步增强两个特征流的类内紧凑性和类间可分性，同时在联合参数更新期间保持高度的数值稳定性。ID损失提供强大的有监督分类信号，而三元组损失优化特征空间的几何分布。通过反传过程中多任务损失优化对 f_en_ori 的联合参数更新（公式(30)和公式(32)），模型自适应地学习多尺度鲁棒特征。

(30) L_ID_ori=-∑_{i=1}^Y t_i log(e^{S_ori^i} / ∑_{j=1}^Y e^{S_ori^j})

(31) L_ID_occ=-∑_{i=1}^Y t_i log(e^{S_occ^i} / ∑_{j=1}^Y e^{S_occ^j})

(32) L_T_ori=log[1+exp(‖f_en_ori-f_p‖^2-‖f_en_ori-f_n‖^2)]

(33) L_T_occ=log[1+exp(‖f_en_occ-f_p‖^2-‖f_en_occ-f_n‖^2)]

其中 Y 表示身份类别总数，t_i∈{0,1} 表示独热编码的真实标签（目标类别为1，其他为0），S_ori^i 和 S_occ^i 分别表示原始分支和遮挡分支的类别logits，p 是正目标，n 是负目标。

因此，训练Dual-IFE的损失函数如公式(34)所示。

(34) L_En=L_FD+L_ID_ori+L_ID_occ+L_T_ori+L_T_occ

在此公式中，特征解耦损失、身份损失和三元组损失的所有内部权重均固定为1.0。该策略遵循车辆Re-ID中确立的实践，其中这些项共享协同优化目标（Luo等，2019，He等，2021）。通过保持单位内部权重，超参数搜索空间被有效地减少到判别任务和辅助重建任务之间的平衡。

为了监督第4.2节中所述Dual-IFD模块的特征重建过程，设计了一个复合损失函数。该损失确保解码器不仅能够生成高质量的特征表示，还能与非遮挡区域的原始特征保持强一致性。主要组件是均方误差损失，它量化重建特征和原始特征之间的像素级差异，作为重建保真度的基本度量。MSE损失详见公式(35)和(36)。

(35) MSE_j=1/d ∑_{i=1}^d (g_rec_{ij}-f_en_ori_{ij})^2

(36) L_MSE=1/|M_occ| ∑_{j∈M_occ} MSE_j

其中 d 表示特征向量的维度，g_rec_{ij} 表示重建图像中第 j 个特征向量的第 i 个元素；f_en_ori_{ij} 表示原始图像中第 j 个特征向量的第 i 个元素；M_occ 表示遮挡增强区域的掩码。f_en_ori 表示从Dual-IFE原始分支获得的原始图像特征。

MSE损失量化重建图像和原始图像特征向量之间的平均差异，作为评估图像重建质量的有效指标。通过在训练期间最小化MSE损失，模型有效地调整其参数以使重建的像素值与原始图像的像素值对齐。利用反向传播，模型迭代地学习优化权重和偏置，系统地减少重建误差。

尽管MSE损失强制像素级对齐，但在严重遮挡下无法保持结构和语义连贯性。为了捕获非对齐的结构依赖性，Mechrez等人（2018）引入的基础上下文损失（CX损失）提供了一种替代方案，通过匹配特征分布模式来实现。然而，标准CX损失在整个空间域上均匀操作，使其极易受到背景噪声的影响，无法锚定损坏区域和有效可见上下文之间的不对称信息。这种空间盲点可能会过度平滑局部细粒度边界，从而牺牲以身份为中心的细节。

为了解决上述局限性，本文提出了增强上下文相似性（Enhanced Contextual Similarity, ECS）损失函数。不同于全局无约束匹配，LECS通过三重架构，将优化过程明确限制在遮挡区域的深层特征空间内：分别为重建块的上下文相似性分布、来自可见区域的参考上下文分布，以及基于Kullback-Leibler（KL）散度的分布对齐机制。其完整公式定义如下：

(37) $L_{ECS} = \frac{1}{|M_{occ}|} \sum_{j \in M_{occ}} D_{KL}(CS_{j}^{rec} \| CS_{ctx})$

其中：

(38) $CS_{j}^{rec} = [CS_{g_{rec}^j, f_{vo}}]_{o \in \Omega}$

(39) $CS_{ctx} = \frac{1}{|\Omega|} \sum_{y \in \Omega} [CS_{f_{vy}, f_{vo}}]_{o \in \Omega}$

(40) $D_{KL}(CS_{j}^{rec} \| CS_{ctx}) = \sum_{o} CS_{j}^{rec}[o] \log \frac{CS_{j}^{rec}[o]}{CS_{ctx}[o]}$

相似性核函数：

(41) $CS_{f_a, f_b} = \frac{\exp\left(1 - \tilde{d}_{ab}/h\right)}{\sum_{o \in \Omega} \exp\left(1 - \tilde{d}_{ao}/h\right)}$

归一化距离度量：

(42) $\tilde{d}_{ab} = \frac{dist(f_a, f_b)}{\min_{o \in \Omega} dist(f_a, f_o) + \varepsilon}$

余弦距离：

(43) $dist(f_a, f_b) = 1 - \frac{f_a \cdot f_b}{\|f_a\| \cdot \|f_b\|}$

其中 $M_{occ}$ 表示遮挡增强区域的特征向量集合；$f_a, f_b$ 表示特征向量；$g_{rec}^j$ 表示位置 $j$ 处的重建特征向量；$f_{vo}$ 表示可见区域中位置 $o$ 处的特征向量。$CS_{j}^{rec}$ 为位置 $j$ 处重建特征的上下文相似性分布，$CS_{ctx}$ 为来自可见区域的参考上下文分布，$D_{KL}$ 为KL散度，$\tilde{d}_{ab}$ 为归一化特征距离，$\Omega$ 为可见（非遮挡）区域的特征向量集合，$\varepsilon = 1 \times 10^{-5}$ 为确保数值稳定性的常数。缩放因子 $h$ 设为0.1，为相似性分布提供平衡的温度参数；开发阶段的实验观察表明，该值能带来最稳定的KL散度特征对齐收敛效果。

ECS损失通过上下文分布对齐为遮挡重建建立了一种新范式。通过计算 $CS_{j}^{rec}$（公式(38)），编码了每个重建特征 $g_{rec}^j$ 与所有可见上下文特征之间的关系亲和力，捕获其与周围语义环境的交互方式。同时，$CS_{ctx}$（公式(39)）对可见特征自身的内在关系模式进行统计建模，作为特征共现的自监督参考。$\tilde{d}_{ab}$（公式(42)）中的归一化对于建立尺度不变的比较至关重要，通过距离正则化自适应地根据局部上下文邻近度加权特征相似度，消除可能扭曲关系理解的绝对距离偏差。最小化公式(40)中的KL散度，迫使重建特征遵循可见区域中观察到的相同统计关系。这确保了重建结果保持结构连贯性和上下文合理性。通过在特征关系分布上操作，ECS损失实现了基于图像内在上下文逻辑而非像素级模仿的语义一致内容生成。

所提出的DFRR框架采用端到端训练方式，将编码器和解码器组件整合到统一的优化过程中。总损失函数定义为双IFE（Dual-IFE）和双IFD（Dual-IFD）各损失项的加权求和，如下所示：

(44) $L_{DFRR} = \lambda_1 \cdot L_{En} + \lambda_2 \cdot L_{MSE} + L_{ECS}$

其中 $\lambda_1$ 和 $\lambda_2$ 为平衡系数，控制各功能模块对整体优化目标的贡献。具体而言，$L_{En}$ 约束双IFE中的特征嵌入学习，而 $L_{MSE}$ 与 $L_{ECS}$ 的组合引导双IFD中的图像重建过程。

总损失 $L_{DFRR}$ 的梯度通过整个网络同时进行反向传播。双IFE的参数主要由 $L_{En}$ 的梯度更新，这鼓励提取具有判别力的身份特征。相反，双IFD的参数主要由重建损失 $L_{MSE}$ 和 $L_{ECS}$ 的梯度优化，以确保高保真特征恢复和上下文一致性。超参数 $\lambda_1$ 和 $\lambda_2$ 在联合优化过程中平衡特征判别力与重建质量的关注重点。

复合损失通过同时惩罚像素差异和上下文不匹配，避免了过拟合到局部遮挡，平衡了重建保真度和特征判别力，使模型能够学习遮挡不变表示，而无需依赖外部模型或多图像融合。

**算法1：用于车辆Re-ID的双分支特征重建模型（DFRR）**

**输入：** $I$：原始车辆图像；$I_{occ}$：遮挡图像（$I_{occ} = I \odot M_{occ}$）；$M_{occ}$：二值遮挡掩码（0 = 遮挡，1 = 可见）；$T$：预定义三元组集合（锚点、正样本、负样本）用于三元组损失；$\Theta_E, \Theta_D, \Theta$：编码器/解码器/总参数；$\lambda_1, \lambda_2$：损失加权系数

**输出：** $g_{rec}$：重建图像特征；$ID$：车辆身份预测

1: 初始化双分支编码器 $f(\cdot; \Theta_E)$ 和解码器 $g(\cdot; \Theta_D)$
2: **for** 每个训练批次 $B$ **do**
3: // 特征提取
4: $f_{en}^{ori} \leftarrow f(I; \Theta_E), \quad f_{en}^{occ} \leftarrow f(I_{occ}; \Theta_E)$
5: // 特征解耦
6: $f_{occ} \leftarrow f_{en}^{occ} \odot M_{occ}, \quad f_{vis} \leftarrow f_{en}^{occ} \odot (1 - M_{occ})$
7: $L_{FD} \leftarrow \frac{E[f_{occ}] \cdot E[f_{vis}]}{\|E[f_{occ}]\| \cdot \|E[f_{vis}]\|} + 10^{-8}$
8: // 身份分类损失
9: $L_{ID}^{ori} \leftarrow -\sum_{i=1}^{Y_t} \log \frac{e^{S_{ori}^i}}{\sum_{j=1}^{Y} e^{S_{ori}^j}}, \quad L_{ID}^{occ} \leftarrow -\sum_{i=1}^{Y_t} \log \frac{e^{S_{occ}^i}}{\sum_{j=1}^{Y} e^{S_{occ}^j}}$
10: // 三元组损失：$f_p = f(\text{正样本})$，$f_n = f(\text{负样本})$
11: $L_{T}^{ori} \leftarrow \log[1 + \exp\|f_{en}^{ori} - f_p\|^2 - \|f_{en}^{ori} - f_n\|^2], \quad L_{T}^{occ} \leftarrow \log[1 + \exp\|f_{en}^{occ} - f_p\|^2 - \|f_{en}^{occ} - f_n\|^2]$
12: // 重建模块
13: $g_{rec} \leftarrow g(f_{en}^{occ}; \Theta_D)$
14: $L_{MSE} \leftarrow \frac{1}{|M_{occ}|} \sum_{j \in M_{occ}} \frac{1}{d} \sum_{i=1}^{d} (g_{rec}^{ij} - f_{en}^{ori\,ij})^2, \quad L_{ECS} \leftarrow \frac{1}{|M_{occ}|} \sum_{j \in M_{occ}} D_{KL}(CS_{j}^{rec} \| CS_{ctx})$
15: // 损失整合
16: $L_{En} \leftarrow L_{FD} + L_{ID}^{ori} + L_{ID}^{occ} + L_{T}^{ori} + L_{T}^{occ}$
17: $L_{DFRR} \leftarrow \lambda_1 \cdot L_{En} + \lambda_2 \cdot L_{MSE} + L_{ECS}$
18: // 参数更新
19: $\Theta \leftarrow \Theta - \eta \nabla_{\Theta} L_{DFRR}$
20: **end for**
21: **返回** $g_{rec}, \quad ID = \arg\max_i (S_{ori}^i)$

## 5. 实验

本节展示了在VeRi-776数据集上验证DFRR框架的实验设置，该数据集呈现了具有挑战性的真实场景。计算在NVIDIA Tesla V100 GPU上进行，代码使用Python 3.8和PyTorch 1.12.1实现。

### 5.1 数据描述

为了全面展示所提方法的有效性和泛化能力，我们在具有挑战性的VeRi-776基准数据集和车路协同数据集DAIR-V2XReid（Wang et al., 2024a）上进行了广泛的评估。

VeRi-776是车辆Re-ID研究中应用最广泛、最贴近真实场景的基准数据集之一。它包含776辆车辆的超过50,000张图像，包括轿车、公交车、SUV和卡车等多种类型，在无约束的真实监控场景下拍摄。图像由部署在复杂交通监控网络中的20个摄像头拍摄。按照官方评估协议，数据集被划分为训练集和测试集，且车辆身份无重叠。训练集包含576辆车辆的37,778张图像。测试集包含剩余200辆车辆的11,579张画廊图像和1,678张查询图像。这种严格分离确保性能指标反映模型在跨摄像头网络中对新车辆身份进行泛化的能力。

该数据集提供了丰富的标注信息，包括摄像头位置、颜色、精确时间戳以及不同摄像头之间的空间距离。这些标注不仅支持基于身份的检索，还支持时空推理和跨摄像头轨迹分析。图7提供了数据集多样性的视觉总结，展示了五个关键挑战性维度的代表性示例，这些维度对于测试Re-ID算法在实际应用中的鲁棒性至关重要。这种全面的多样性使VeRi-776成为评估DFRR处理真实世界智能交通系统和视频监控应用中复杂挑战能力的理想数据集。

（图7：VeRi-776数据集示意。展示真实车辆Re-ID中五大主要挑战的代表性样本：(a) 视角变化（正面、侧面、背面和斜角）；(b) 遮挡场景（从局部到严重的各种物体遮挡）；(c) 光照变化（低光照、过曝和正常光照条件）；(d) 分辨率和模糊变化（从清晰到运动模糊图像）；(e) 颜色和外观多样性（不同类型、颜色和外改的车辆）。）

DAIR-V2XReid是一个专为车路协同Re-ID设计的大规模数据集，源自DAIR-V2X平台。数据集在北京28个路口采集，使用四对路边摄像头和一个车载前视摄像头。基础设施和车载传感器之间保持精确的时间同步，误差在10毫秒以内。数据集包含205个唯一车辆身份的2,556张图像，每张图像均从基础设施侧和车辆侧两个视角拍摄。这种双设备设置引入了显著的跨视角挑战和真实的空间遮挡。样本按2:1的比例划分为训练集和画廊集，查询集通过从画廊集中随机选取生成。这种结构化组成对模型在现代自动驾驶环境中应对极端视角变化的鲁棒性提供了严格测试。

### 5.2 评估指标

实验中采用两种标准评估指标。第一种是累积匹配特征（CMC）曲线，表示Rank-k识别精度。具体而言，报告了Rank-1和Rank-5精度，其中Rank-1指传统的Top-1准确率，Rank-5表示正确身份出现在前五个检索结果中的概率。第二种指标是平均精度均值（mAP），用于评估整体检索性能。该值通过首先计算每个查询的平均精度（AP），捕获精确率-召回率权衡，然后对所有查询的AP值取平均得到，如公式(45)和(46)所示。

(45) $AP(q) = \sum_{k=1}^{n} \frac{P(k) \times gt(k)}{n_{gt}(q)}$

(46) $mAP = \sum_{q=1}^{Q} \frac{AP(q)}{Q}$

其中 $AP(q)$ 表示第 $q$ 辆车的平均精度；$Q$ 为查询集中的车辆总数；$n$ 为测试集中车辆图像的数量；$n_{gt}(q)$ 表示与第 $q$ 辆车共享相同身份的测试集中图像总数；$P(k)$ 表示第 $k$ 个检索结果的精确率；$gt(k)$ 是一个布尔函数，当第 $k$ 个检索结果的身份与查询车辆匹配时为1，否则为0。

### 5.3 实现细节

车辆图像调整为256×256像素。模型训练200个epoch，批量大小为64。采用随机梯度下降（SGD）进行优化，动量系数 $\alpha = 0.9$，权重衰减为5e-3。初始学习率设为2.5e-4，按余弦退火调度衰减。在前20个epoch期间应用线性学习率预热（因子=0.099）。编码器网络（DeiT（Touvron et al., 2021）和ViT）的初始权重在ImageNet-21K上预训练，并在ImageNet-1K上微调。编码器由12个Transformer层组成，后接TransReID。隐藏层维度设为768。

### 5.4 基准模型

选取若干模型与DFRR框架进行比较，包括基于Transformer的模型、基于生成对抗网络（GAN）的模型以及特征恢复架构。这些基准模型的详细信息如下：

- **JIFD**（Kuang et al., 2023）利用变分自编码器（VAE）进行图像重建，然后使用两个分类分支执行双解耦以提取身份相关特征，同时将非身份相关特征分离出来用于车辆Re-ID。

- **ConMAE**（Yang et al., 2023）通过混合卷积-Transformer架构增强掩码自编码器以进行自监督学习。编码器将图像抽象为多尺度标记嵌入，解码器重建被掩码标记的像素。

- **PMNet**（Tang et al., 2022）无需部件标注信息即可预测车辆部件掩码，通过部件相关通道再校准和基于聚类的掩码生成实现。

- **DSTNet**（Zhao et al., 2023）提出了一种从低分辨率图像重建高分辨率图像的方法，确保特征级别上与高分辨率图像的一致性。

- **URRNet**（Qian et al., 2023）建立基于部件的车辆特征模型以处理Re-ID中的遮挡问题，利用预训练网络联合估计车辆朝向和关键点。

- **ALSA**（Liu and Agaian, 2023）是一个基于GAN的增强低光照图像的**网络。ALSA通过重建图像增强亮度和对比度来改进低光照下捕获的图像。

- **VehicleGAN**（Li et al., 2024a）将外部姿态估计模型与双向GAN框架结合，增加了模型的整体复杂度，使其更难训练。

所有基准模型均在相同的数据集（VeRi-776）上进行评估以确保公平比较。对于没有开源实现的研究，采用其原始出版物中报告的结果以保持一致的性能基准。

## 6. 结果与讨论

本节详细展示了实验结果和分析。通过对比实验、消融研究、超参数敏感性测试和骨干网络评估，系统性地评估了DFRR框架的性能。最后提供了深入的视觉分析。

### 6.1 超参数敏感性分析

基于Transformer的网络性能对超参数的选择高度敏感，这些超参数决定了优化过程在训练期间如何平衡不同目标。在所提出的DFRR框架中，总损失函数 $L_{DFRR}$ 中引入了两个超参数 $\lambda_1$ 和 $\lambda_2$，用于调节不同约束的贡献。虽然这些超参数不直接参与特征学习，但它们控制重建保真度与判别力之间的权衡，最终决定所学嵌入的表示质量。

为了高效确定最优配置，采用了序贯优化策略。初始时，将 $\lambda_1$ 和 $\lambda_2$ 均设为基准值1.0，以对所有损失分量提供等权权重。然后进行敏感性分析，在保持 $\lambda_2$ 固定为基准值的情况下变化 $\lambda_1$。确定 $\lambda_1$ 的最优值后，将其保持不变以评估 $\lambda_2$ 的影响并确定最佳表现点。这种逐步方法基于控制变量法的原理，能够隔离各约束对梯度流的单独影响。通过稳定一个目标，可以更准确地观察另一个目标对训练稳定性和特征收敛的影响。通过这种方法，确保绝对梯度幅值保持在可控范围内。因此，在有效遍历超参数空间以寻找协同平衡的同时，防止了数值不稳定性。

图8中展示的敏感性分析结果表明，超参数幅值与模型性能之间存在非单调关系。

如图 8(a) 所示，当 λ1 从 0.5 增加到 0.8 时，mAP 呈现稳步上升趋势，达到 72.5% 的最优峰值。这种改善归因于对判别性特征学习和结构解耦的增强强调，其中 ID 损失和三元组损失提高了特征可分性，而解耦损失促进了冗余因子的去相关。在 λ1 = 0.8 的最优点，特征判别性和结构清晰度之间实现了协同平衡。然而，超过此阈值后观察到性能下降。这种下降可能源于过度的解耦约束对身份相关信息的过度抑制，从而可能削弱了主要身份损失的有效性。尽管在 λ1 的更高数值下 mAP 出现轻微反弹，但仍低于最优值，这证实了 λ1 = 0.8 为以身份为中心的表示提供了最稳定的优化环境。

下载：下载高分辨率图像 (189KB) 下载：下载全尺寸图像
图 8. DFRR 模型在 VeRi-776 数据集上超参数 λ1 和 λ2 的敏感性分析。(a) 随 λ1 变化的性能。(b) 随 λ2 变化的性能。(单位：%)

对于调节上下文相似性和重建一致性平衡的超参数 λ2，观察到了类似的趋势，如图 8(b) 所示。当固定 λ1 = 0.8 时，性能从 λ2 = 0.2 时的 64.3% mAP 提升至 λ2 = 0.6 时的最大值 74.3% mAP。将 λ2 增加超过此阈值会产生收益递减甚至负收益，因为过大的权重会放大遮挡区域中的噪声。综合来看，这些结果表明最优超参数配置发生在 λ1 = 0.8 和 λ2 = 0.6 时。这一设置实现了结构重建和判别性特征一致性之间的最佳权衡，突显了在 Re-ID 模型中平衡损失校准的重要性。

这一发现表明，性能并不随着更强约束的线性增加而提高，而是存在一个最佳点，在此点互补损失协同增强泛化能力。过度重视一个目标往往会损害另一个，这强调了在抗遮挡识别任务中需要进行有原则的超参数调整。

**6.2. 基于 Transformer 的骨干网络分析**

鉴于基于 Transformer 的架构与常规卷积神经网络相比，在捕获长程依赖和提取高度判别性特征方面具有卓越能力，我们对最先进的基于 Transformer 的骨干网络模型进行了广泛的比较分析，以确定 DFRR 框架最合适的骨干网络。评估了多个显著模型，包括 ViT 的多种变体和数据高效图像 Transformer (DeiT)，均采用一致的 16 × 16 补丁大小。图 9 中的 CMC 曲线定量表明，ViT-Base 架构显著优于其他候选架构，在所有评估指标上始终表现出卓越的判别能力。基于这些发现，明确选择 ViT-Base 作为所有后续实验验证的主要特征提取骨干网络。

下载：下载高分辨率图像 (410KB) 下载：下载全尺寸图像
图 9. 配备不同基于 Transformer 的骨干网络的 DFRR 模型在车辆 Re-ID 任务上的 CMC 曲线比较。

ViT-Base 由 12 个 Transformer 层、768 的嵌入维度和 12 个并行自注意力头组成，共同构成了一个在表示能力和计算可行性之间达到最佳平衡的模型。每个 Transformer 层利用多头自注意力机制捕获全局上下文关系，辅以带有 GELU 的多层感知机块。整个网络通过残差连接和层归一化进行稳定，以促进训练期间的稳定梯度传播。这种深思熟虑的结构设计赋予了模型整合空间分散语义信息的非凡能力，从而提供了稳健且具有表现力的特征基础，特别适合车辆 Re-ID 任务。

**6.3. 对比实验**

将 DFRR 模型与利用显式部件或关键点表示的方法进行了比较，例如 URRNet 和 PMNet。实验结果总结在表 1 中。在 VeRi-776 数据集上，DFRR 优于 URRNet，表明 DFRR 提供了一种更有效的多视角车辆 Re-ID 解决方案，而不依赖于关键点标注。DFRR 需要显著更少的标注工作量，并通过其双分支设计中的权重共享机制实现了更简单的架构和更少的参数。PMNet 通过采用师生框架来识别和重新校准语义车辆部件，取得了有竞争力的结果。然而，该方法的有效性取决于特定组件（如大灯或格栅）的可见性。当环境遮挡与预定义的部件区域不对应时，这种依赖性提出了挑战。DFRR 通过将遮挡视为一种通用的信息恢复问题来解决这一挑战。它利用 ECS 损失从周围可见上下文重建特征，而不管遮挡类型如何。实验结果证实 DFRR 对于实际部署是高效的。尽管 PMNet 使用 ResNet50 骨干网络，但每次推理需要 11.2 毫秒。DFRR 在 9.5 毫秒内完成相同任务，因为双分支解码器仅在训练期间使用，并在推理期间丢弃。这种设计确保了 DFRR 在使用 ViT-Base 骨干网络的同时，保持更快且一致的处理器。DFRR 在推理速度和恶劣环境下的鲁棒性之间提供了平衡的性能，使其成为大规模监控网络的可扩展解决方案。

表 1. DFRR 与基准方法在 VeRi-776 数据集上的车辆 Re-ID 性能比较分析（单位：%）。

| 方法 | mAP | Rank-1 | Rank-5 |
| :--- | :--- | :--- | :--- |
| PLM (Wang et al., 2022) | 47.4 | 77.6 | 87.0 |
| PMNet (Tang et al., 2022) | 81.6 | 96.5 | 98.6 |
| ConMAE (Yang et al., 2023) | 44.2 | 82.7 | 87.9 |
| JIFD (Kuang et al., 2023) | 46.3 | 82.4 | N/A |
| DSTNet (Zhao et al., 2023) | 65.2 | 90.0 | 94.5 |
| URRNet (Qian et al., 2023) | 72.2 | 93.1 | 97.1 |
| ALSA (Liu and Agaian, 2023) | N/A | 99.0 | 99.5 |
| MART (Lu et al., 2023b) | 82.7 | 97.6 | 98.7 |
| VehicleGAN (Li et al., 2024a) | 74.2 | 93.6 | 97.3 |
| DFRR (ours) | 74.3 | 94.3 | 98.1 |

DFRR 框架还与领先的基于 GAN 的方法进行了比较，包括 VehicleGAN 和 ALSA。DFRR 超越了 VehicleGAN，且不需要辅助方向估计模型或复杂的对抗训练协议。VehicleGAN 结合了双向 GAN 框架和外部姿态估计模型，增加了模型的整体复杂性，使其更难训练。此外，VehicleGAN 在处理遮挡时未解决关键的特征分离问题，这限制了其在这些场景中的有效性。另一方面，尽管基于 GAN 的 ALSA 方法通过采用低光照增强预处理阶段在 Rank-1 和 Rank-5 指标上取得了有竞争力的性能，但其优越的结果是以推理期间显著更高的计算复杂度为代价的。与需要在测试时主动执行增强网络 (EN) 和空间自注意力 (SSA) 模块的 ALSA 不同，DFRR 采用了非对称的训练 - 推理策略。具体而言，Dual-IFD 解码器仅用于训练，并在推理期间完全丢弃。这使 DFRR 能够保持普通 ViT-Base 骨干网络的精简效率，仅消耗 17.6 GFLOPs，推理延迟确定为 5.8 毫秒。相比之下，ALSA 的顺序增强后识别范式涉及密集的像素级卷积，导致低光照场景下的峰值延迟更高。因此，DFRR 提供了更平衡且可扩展的权衡，以较低的实现开销和优越的结构稳定性提供高性能车辆 Re-ID，适用于实时部署。

最后，将 DFRR 模型与特征恢复导向模型（如 JIFD 和 DSTNet）进行了比较。DFRR 显著优于 JIFD，mAP 相对提升 28.0%，Rank-1 准确率提升 11.9%。JIFD 依赖于 VAE 来解耦身份和背景特征，这可能容易受到重建误差和模式崩溃的影响。这些局限性通常会导致不准确之处传播到身份特征空间，最终损害 Re-ID 准确性。相比之下，DFRR 通过直接重建遮挡区域避免了这些问题。DSTNet 专注于从低分辨率输入进行超分辨率和特征级一致性恢复。虽然 DSTNet 在分辨率敏感场景中表现出色，但 DFRR 解决了互补挑战，即遮挡恢复。在 VeRi-776 数据集上，DFRR 优于 DSTNet，mAP 增加 +9.1%，Rank-1 准确率提升 +4.3%。这种性能改善归因于 DFRR 方法在处理遮挡情况时的效率和准确性。面对复杂和遮挡场景时，DFRR 提供了更有效的解决方案。

为了进一步评估 DFRR 模型在现代交通环境中的泛化能力，在 DAIR-V2XReid 数据集上进行了实验。如表 2 所示，DFRR 模型与几种先进方法进行了比较，每种方法代表了一种不同的特征学习结构方法。

表 2. DFRR 与基准方法在 DAIR-V2XReid 数据集上的车辆 Re-ID 性能比较分析（单位：%）。

| 方法 | mAP | Rank-1 | Rank-5 |
| :--- | :--- | :--- | :--- |
| CAL (Rao et al., 2021) | 44.9 | 42.9 | 62.4 |
| HRCN (Zhao et al., 2021) | 47.1 | 40.9 | 68.9 |
| ConMAE (Yang et al., 2023) | 24.7 | 30.5 | 55.6 |
| CFA-Net (Wang et al., 2024a) | 58.5 | 59.4 | 76.7 |
| DFRR (ours) | 58.8 | 60.7 | 77.4 |

观察到 DFRR 模型取得了最高性能，mAP 为 58.8%，Rank-1 准确率为 60.7%。ConMAE 表现最低，主要是因为其轮廓引导的掩码自动编码器是为无监督学习设计的，并严重依赖于轮廓一致性。在 DAIR-V2XReid 场景中，基础设施摄像头的极端鸟瞰视角严重扭曲了车辆轮廓，使 ConMAE 难以提取稳定的结构特征。CAL 和 HRCN 显示出改进的结果，但仍难以应对车辆 - 基础设施协作中固有的大规模视角变化。CAL 利用反事实注意力识别判别性区域；然而，当关键车辆部件因高角度遮挡而缺失时，反事实推理可能会关注无关的背景噪声。同样，HRCN 采用异质关系补全来建模不同车辆属性之间的关系。虽然对于标准多视角 Re-ID 有效，但其关系建模缺乏显式机制来恢复或重建在车辆端和路边传感器之间剧烈视角变化下丢失的信息。CFA-Net 专门针对车辆 - 基础设施协作环境设计，使用跨镜头特征聚合网络。虽然 CFA-Net 有效地融合了不同视角的特征，但 DFRR 仍取得了优越的结果。这种性能优势归因于 DFRR 中的两个核心结构创新。首先，与 CFA-Net 的聚合策略不同，DFRR 利用 FD 损失显式分离可见和遮挡区域的特征，防止基础设施侧背景杂乱造成的特征干扰。其次，特征重建机制使 DFRR 能够主动恢复受高角度视角扭曲区域的特征表示，而不仅仅是聚合现有的、可能已退化的特征。这些结果证实 DFRR 框架可扩展用于现代协作感知系统，即使在极端视角变化下也能提供稳健的身份嵌入。

**6.4. 效率和计算复杂度分析**

为了满足资源受限的路边单元实时部署的要求，对模型复杂度和推理速度进行了系统评估。表 3 展示了 DFRR 与其他代表性方法的比较分析。尽管 DFRR 模型基于 ViT-Base 骨干网络构建，但仍保持了高效率，拥有 8690 万参数和 17.6 GFLOPs。值得注意的是，实现了仅 9.5 毫秒的推理延迟，发现这显著快于基于 ResNet50 的 PMNet (11.2 毫秒)。这种效率归因于提出的非对称训练 - 推理策略。具体而言，Dual-IFD 解码器仅用于训练阶段作为正则化器以引导特征解耦，并在测试时完全丢弃。因此，以普通 ViT 骨干网络的推理开销实现了重建框架的稳健性能。

表 3. 不同车辆 Re-ID 方法的计算复杂度比较。

| 方法 | 骨干网络 | 参数 (M) | FLOPs (G) | 推理 (ms) |
| :--- | :--- | :--- | :--- | :--- |
| PMNet | ResNet50 | 25.5 | 4.1 | 11.2 |
| MART | ViT-Base | 102.8 | 50.2 | 13.6 |
| DFRR (ours) | ViT-Base | 86.9 | 17.6 | 9.5 |
| DFRR-light | ViT-Small | 22.1 | 4.6 | 5.8 |

与同样利用 ViT-Base 架构的 MART 相比，参数数量减少了 15.5%，计算成本削减了 65%（从 50.2 GFLOPs 降至 17.6 GFLOPs）。这种收益源于轻量级仅编码器推理设计，避免了 MART 中使用的高复杂度局部 Transformer 和图模块。

此外，为了展示所提方法的可扩展性，引入了一个使用 ViT-Small 骨干网络的轻量级变体 DFRR-light。如表 3 所示，该变体仅需 2210 万参数和 4.6 GFLOPs。实现了 5.8 毫秒的快速推理速度，同时保持了 71.8% mAP 的竞争性准确率。这表明 DFRR 框架可以灵活扩展以适应各种硬件平台，从高性能服务器到边缘级路边单元，而不会产生运行时惩罚。

**6.5. 消融实验**

在本节中，在 VeRi-776 数据集上进行了消融实验，以验证每个模块和损失函数的有效性。结果总结在表 4 中。Baseline-A 代表一个单分支模型，仅使用图像特征编码器 (IFE) 和单分支图像特征解码器 (IFD)，配合 MSE 损失和 ID 损失。

表 4. DFRR 框架关键模块和损失函数的消融研究（单位：%）。

| 组别 | Dual-IFD | Dual-IFE | IFE | IFD | MAE | FD loss | MSE Loss | ECS loss | VeRi-776 mAP | Rank-1 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| Baseline-A | √ | √ | √ | | | | √ | | 62.1 | 70.8 |
| 0 | | | | | √ | | √ | √ | √ | 68.5 | 78.6 |
| 1 | | | | | √ | √ | √ | √ | | 65.6 | 74.2 |
| 2 | | | | √ | | | | √ | | 70.5 | 80.1 |
| 3 | | | | | √ | √ | √ | √ | | 72.9 | 84.5 |
| 4 | | | | √ | | | | √ | | 69.6 | 80.1 |
| 5 | | | | | √ | √ | √ | √ | | 70.1 | 81.5 |
| 6 | | | | √ | | | | √ | | 71.5 | 83.7 |
| 7 | | | | | √ | √ | √ | √ | | 74.3 | 94.3 |

为了评估解码器设计的必要性，实施了一个使用标准掩码自动编码器 (MAE) (He et al., 2022) 解码器的对比实验 Group 0。按照 He et al. (2022) 中的协议，此配置使用了 8 层 Transformer 解码器，以 75% 的掩码比例进行像素级重建。尽管 Group 0 将 Rank-1 准确率提升至 78.6%，但它被完整的 DFRR 模型大幅超越。

这一性能差距表明，专注于低级视觉纹理的简单像素级补全在复杂遮挡下不足以维持身份区分。引入 Dual-IFE 和 Dual-IFD 以及提出的损失函数带来了持续改进。例如，仅引入 Dual-IFE 就将 mAP 提高了 8.4% 到 10.8%。同样，Dual-IFD 在 Rank-1 准确率上贡献了 9.3% 到 10.7% 的提升。MSE 损失和 ECS 损失之间的协同作用尤为明显，因为第 (1)、3、5 和 7 组始终比其对应组取得更高的准确率。完整的 DFRR 模型（第 (7) 组）达到了最高性能，mAP 为 74.3%，Rank-1 准确率为 94.3%。这些结果证实，由上下文相似性引导的特征级重建比标准的 MAE 风格正则化更有效。通过显式解耦特征并恢复语义信息，DFRR 框架为挑战性环境下的车辆重识别建立了更鲁棒的表示。

为了进一步研究 WFR 在 Dual-IFD 架构中放置位置的影响，进行了一项系统的消融实验。Dual-IFD Baseline-B 模型的全局分支由三个连续的 TBR 组组成，每个组包含一个转置卷积层、一个 BN 层和一个 ReLU 激活层。这些 TBR 模块在不同的阶段被替换为 WFR 块，即第一组（初始 WFR）、第二组（中间 WFR）和第三组（最后 WFR）位置。如表 5 中定量总结的那样，WFR 模块的放置位置导致了显著的性能差异。具体来说，初始 WFR 配置将 mAP 提高了 +1.6%，而中间 WFR 实现了更大幅度的 +2.5% 增益。最后 WFR 也带来了正面贡献，将 mAP 提高了 +2.3%。中间 + 最后 WFR 配置在 mAP 上达到 +2.6%，在 Rank-1 准确率上达到 +4.1%（相对于 Baseline-B）。

表 5. DFRR 架构中 WFR 模块放置位置和数量的消融实验（单位：%）。
构成模块 | mAP | Rank-1 | Rank-5
--- | --- | --- | ---
Baseline-B | 71.7 | 90.2 | 93.9
Baseline-B + 初始 WFR | 73.3 | 92.6 | 94.2
Baseline-B + 中间 WFR | 74.2 | 93.7 | 97.8
Baseline-B + 最后 WFR | 74.0 | 93.6 | 97.5
Baseline-B + 中间 WFR + 最后 WFR | 74.3 | 94.3 | 98.1

这种性能变化可归因于不同网络深度下特征表示的内在属性。在解码器的初始阶段，特征图主要传达粗粒度的结构轮廓，却缺乏精细的语义细节。WFR 内部的空洞卷积操作在上下文丰富方面效果较差，甚至可能引入损害特征纯度的高频伪影。相反，中间和后期特征具有更丰富的语义和结构连贯性，使空洞卷积能够更有效地扩大感受野，而不牺牲表示完整性。中间 WFR 作用于过渡特征，其中局部细节开始与全局上下文信息合并；而最后 WFR 则以高语义一致性优化近乎完成的表示。这两种放置方式的互补益处解释了组合配置相对于单独中间 WFR 的微小但一致的优势（0.1% mAP）。

基于对性能、效率和实际可部署性的评估，中间 WFR 配置被确定为以下三个原因的最佳架构。首先，它在细粒度细节分辨率和高阶语义表示之间实现了最佳权衡。其次，该模型达到了 97.8% 的 Rank-5 准确率，突显了其在具有挑战性的识别场景中的强判别能力。第三，它通过避免双模块设计所需的额外参数，保持了计算效率。这一策略有效地平衡了性能增益与实际部署约束。值得注意的是，中间 WFR 配置提供了组合模块方法所达到峰值性能的 96%，同时利用更少的资源并简化了整体系统设计。因此，它在功效和效率方面都是一个优越的解决方案。

提出的 DFRR 框架通过改变遮挡数量参数 No 在不同的遮挡强度下进行了进一步评估。实验结果见表 6。数据表明，随着遮挡块数量的增加，性能下降。然而，即使遮挡数量达到 4 时，模型仍保持 56.5% 的 mAP，超过了 ConMAE（Yang 等，2023）等几种竞争方法。这些结果证明了 Dual-IFE 和 IRM 模块在广泛遮挡下保持特征完整性的有效性，并确认了所提出架构的通用性。

表 6. DFRR 在 VeRi-776 数据集上不同遮挡条件下的消融研究（单位：%）。
遮挡数量 No | mAP | Rank-1
--- | --- | ---
1 | 74.3 | 93.5
2 | 67.2 | 83.1
3 | 63.6 | 77.5
4 | 56.5 | 70.6

6.6. 可视化分析
本节进行了定性实验结果和可视化分析，以进一步展示所提出 DFRR 框架的有效性和优越性。评估从 VeRi776 数据集上的特定属性性能评估开始，考察颜色和方向等关键车辆特征。然后，利用梯度加权类激活映射（Grad-CAM）可视化 DFRR 学习到的判别区域，并提供与 Baseline-A 对比的注意力图。使用 t 分布随机邻域嵌入（t-SNE）（Maaten 和 Hinton, 2008）进一步探索不同约束配置下的特征分布，强调所提出损失函数在遮挡条件下增强特征可区分性的作用。最后，基于 CMC 指标展示 Rank-5 检索结果，演示 DFRR 在现实世界车辆重识别场景中的有效性。

DFRR 在 VeRi-776 数据集上的性能在多种车辆属性（包括颜色和方向）上进行了评估。如图 10 (a) 所示，特定颜色的结果显示出对环境照明的明显敏感性。虽然蓝色车辆获得了峰值效率（98.8% Rank-5），但红色和黑色类别观察到明显的性能下降。具体而言，红色车辆对光照条件表现出显著的脆弱性，强光导致颜色向红棕色偏移。这种现象导致与棕色车辆产生潜在混淆，表明极端色度方差仍然是身份区分的挑战。

图 10 (b) 中基于方向的结果显示出视角依赖性。正面和背面视图达到了近乎完美的准确率，这归功于高对比度判别特征的存在，如车灯、窗户和特定标记。相比之下，侧面视图查询观察到明显的性能退化，与正面视角相比，Rank-5 低了 8.6%。进一步调查表明，表现不佳的侧面视图样本主要特征是分辨率较低、运动模糊或来自基础设施（如树木和交通杆）的环境遮挡。这些因素降低了特征重建在语义信息稀疏区域的有效性。

尽管存在这些挑战，所有类别在 Rank-10 准确率上均超过 92%，证实了 DFRR 在 top-k 检索任务中的鲁棒性。侧面视图从 Rank-5 到 Rank-10 的 4.9% 改进突出了模型在检索范围扩大时的恢复能力，即使遇到极端视角变化也是如此。

下载：下载高分辨率图像 (294KB) 下载：下载完整尺寸图像
图 10. DFRR 在不同车辆属性上的性能评估：(a) 特定颜色的重识别匹配准确率；(b) 特定方向的重识别匹配准确率。

DFRR 模型的 Grad-CAM 可视化结果如图 11 所示，其中图 11 (a) 显示原始车辆图像，图 11 (b) 显示 DFRR 模型获得的结果，图 11 (c) 显示 Baseline-A 的结果。DFRR 模型能够对车辆在不同视角下的关键结构位置给予更多关注。引入 Dual-IFE 和 IRM 模块有助于模型学习更多全局和更具判别力的特征，使模型对遮挡更具鲁棒性。为了可视化和分析不同约束下输出特征的分布，在图 12 中采用了 t-SNE。输出特征来自 Dual-IFE 的遮挡分支。如图 12 (a) 所示，具有 ID 损失和 Triple 损失的 DFRR 无法很好地聚类具有相同车辆 ID 的嵌入，尤其是在遮挡场景中。从图 12 (b) 和图 12 (c) 可以看出，与 MSE 损失和 FD 损失的组合相比，ECS 损失和 MSE 损失的组合在聚类相似特征和增加不同类之间的距离方面表现出更有效的能力。这两组损失函数相比图 12 (a) 增强了模型在特征区分上的有效性。然而，两种模型都面临难以明显分离高度相似特征的挑战。如图 12 (d) 所示，采用整合 ID 损失、Triple 损失、FD 损失、ECS 损失和 MSE 损失的复合损失函数，显著增强了特征的分离和聚合。它有效地支持了遮挡场景下的精确车辆分类，从而验证了 DFRR 方法的有效性。

下载：下载高分辨率图像 (213KB) 下载：下载完整尺寸图像
图 11. 注意力图的 Grad-CAM 可视化：(a) 原始车辆图像；(b) DFRR 的结果；(c) Baseline-A 的结果。

下载：下载高分辨率图像 (619KB) 下载：下载完整尺寸图像
图 12. 不同损失配置下特征嵌入的 t-SNE 可视化：(a) 具有 ID 损失和 Triple 损失的 DFRR；(b) 具有 ID 损失、Triple 损失、FD 损失和 MSE 损失的 DFRR；(c) 具有 ID 损失、Triple 损失、ECS 损失和 MSE 损失的 DFRR；(d) 具有 ID 损失、Triple 损失、FD 损失、ECS 损失和 MSE 损失的 DFRR。

提出的 DFRR 模型与 Baseline-A 模型的检索结果和对比分析分别如图 13 和图 14 所示。在两张图中，第一列用橙色边界框标记查询图像，随后是按相似度降序排列的 Rank-5 检索候选项。正确匹配用绿色框表示，而错误检索用红色高亮显示。

下载：下载高分辨率图像 (361KB) 下载：下载完整尺寸图像
图 13. 提出的 DFRR 模型在 VeRi-776 数据集上的 Rank-5 车辆检索结果。绿色和红色边界框分别表示正确和错误匹配。

下载：下载高分分辨率图像 (767KB) 下载：下载完整尺寸图像
图 14. VeRi-776 数据集上的对比 Rank-5 车辆检索结果：(a) 提出的 DFRR 和 (b) Baseline-A。绿色和红色边界框分别表示正确和错误匹配。

基于图 13 中六个代表性查询图像的定性评估揭示了 DFRR 在各种挑战性条件下的性能。所选查询包括部分遮挡、低光照、夜间捕获以及多种车辆类型（如轿车、卡车、公交车和面包车）的实例。结果表明，DFRR 在处理遮挡和极端光照变化方面具有鲁棒性，在各种外观变化下始终检索到正确匹配。此外，模型在不同车辆类别、颜色和环境下表现出良好的泛化能力，表明其具有学习判别性和不变特征表示的能力。然而，细粒度特征区分方面的某些局限性仍然存在。在涉及红色车辆的第二个查询案例中，DFRR 错误地检索到了一个仅在挡风玻璃上有一个小装饰贴纸差异的候选项，表明对局部特征敏感度较高。同样，在第六个查询案例中，模型未能区分两辆几乎相同的卡车，主要区别因素是车辆后部是否存在泥土。泥土与车身之间的颜色分布相似性可能导致了这种误识别，表明 DFRR 可能过度重视颜色和全局外观线索，而未能充分利用细微的上下文细微差别。

图 14 扩展了比较，展示了同一组查询的检索结果，其中行 (a) 对应 DFRR，行 (b) 对应 Baseline-A。结果表明，DFRR 在多视角检索和遮挡场景下具有优越的能力。相比之下，Baseline-A 在可比条件下表现出更高的错误率，特别是在涉及显著遮挡或视角变化的情况中。尽管 DFRR 在大多数场景下相比 Baseline-A 表现出显著的性能优势，但其检索准确率仍受显著视角变化和查询图像与库图像之间细粒度特征区分不足的制约。这些观察表明，虽然 DFRR 擅长减轻视角和遮挡等宏观层面的变化，但其在细粒度视觉识别中的性能仍易受局部干扰因素影响。未来的努力将集中在增强 DFRR 捕获和利用细微判别特征的能力上，以减少此类错误。

7. 结论
本研究提出了 DFRR，一种新颖的双分支特征重建模型，用于解决遮挡场景下的特征重建问题，以实现重识别。通过整合双分支图像特征编码器 (Dual-IFE) 和双分支图像特征解码器 (Dual-IFD) 以及战略位置放置的加权特征重建 (WFR) 模块，DFRR 在无需部件注释、邻近帧或外部模型的情况下实现了鲁棒的遮挡恢复。所提出 DFRR 框架的有效性通过 VeRi-776 和 DAIR-V2XReid 数据集上的广泛评估得到证明。在 VeRi-776 数据集上，DFRR 实现了 74.3% 的 mAP 和 94.3% 的 Rank-1 准确率。此外，在 DAIR-V2XReid 数据集上验证了模型在车 - 路协同场景中的鲁棒性，其中 DFRR 框架取得了最高性能，mAP 为 58.8%，Rank-1 准确率为 60.7%。

消融实验证实了双特征编码器与解码器设计以及最优配置的 WFR 模块所带来的显著增益。然而，局限性包括相比基于部件的模型在 VeRi-776 上的细粒度区分能力较低，以及当遮挡块数量从一增加到四时性能下降。未来工作将侧重于视角不变机制和细粒度特征的区分以提升实际性能，同时将实证验证扩展到更多样化的自动驾驶环境和多模态数据集中。所提出的框架为具有挑战性的遮挡条件下的车辆重识别建立了一个简洁有效的基础，从而推动了其在传统城市监控网络和现代车路协同系统中的鲁棒部署。CRediT 作者贡献声明 易晓英：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，软件，资源，项目管理，方法学，资金获取，形式分析。刘琦：写作 – 审阅与编辑，写作 – 初稿，可视化，方法学，调查。王琦：写作 – 审阅与编辑。瑞永康：验证，监督，项目管理，调查，形式分析。易子威：验证，监督。卢文琪：验证，监督。冉斌：验证，监督，资金获取。易晓英|刘琦|王琦|瑞永康|易子威|卢文琪|冉斌