通过操作注意力机制和多部分嵌入技术实现自适应车辆重识别

《Computer Vision and Image Understanding》：Adaptive vehicle re-identification via operational attention and multi-part embedding

车辆重识别方法提出操作Transformer与全局-局部多粒度部分嵌入结合（OT-GFAM），通过非线性投影增强自适应特征提取，并利用空间对齐机制整合多尺度局部特征与全局上下文，显著提升跨场景及近同车型识别性能，在VeRi-776、VehicleID和VRU数据集上mAP分别达91.41%、90.27%和94.30%。

　　

Hidayet Erg?n|Ali Seydi Ke?el?

哈切特佩大学计算机工程系，贝伊特佩，安卡拉，06800，土耳其

摘要

车辆重新识别需要同时捕捉全局上下文和高度适应性、细粒度的局部线索的表示方法。然而，当前的架构往往难以将长距离的全局上下文与区分相似车辆所需的高频率、适应性细节结合起来。基于Transformer的Re-ID方法依赖于固定的线性投影，无法模拟非线性的、依赖于内容的外观变化。相比之下，基于部分的网络依赖于固定的池化区域，在视角变化和环境变化下表现不佳。为了克服这些限制，我们引入了一种带有全局融合注意力模块（OT-GFAM）的统一操作Transformer。通过集成操作型非线性神经元，我们的方法实现了特征级别的适应性，动态捕捉复杂的频谱变化和依赖于内容的细节。为了补充这种自适应的特征提取，我们引入了几何结构化的多粒度部分嵌入（GLPE）来强制空间对齐。与标准的线性投影不同，我们的模型能够在注意力计算过程中直接捕捉复杂的频谱特征和依赖于内容的变体。在VeRi-776、VehicleID和VRU上的广泛实验表明，所提出的方法表现出强大的性能，包括在VRU上达到94.30%的mAP，在VeRi-776上达到91.41%的mAP，在VehicleID（大型）上达到90.27%的mAP。这些结果表明，所提出的方法为现实世界的车辆重新识别提供了一个健壮且计算上可行的解决方案。

引言

车辆重新识别（Re-ID）的任务是匹配由不同视角的相机拍摄到的同一辆车的图像。这些相机可以在明亮或昏暗的条件下、在雨中或阳光下，以低或高的图像质量捕捉到车辆。特别是当车辆型号相同时，它们看起来可能非常相似。因此，车辆重新识别需要能够捕捉图像及其细微细节的特征，以区分不同的车辆。在现实世界环境中，由于环境因素和相机不一致性引入了复杂且非线性的外观变化，车辆重新识别的难度加剧了。这些要求促使人们从纯卷积架构转向基于注意力的模型，后者明确地模拟了长距离依赖性和上下文交互。特别是基于Transformer的设计已成为捕捉车辆Re-ID中全局上下文的有希望的范式。尽管Transformer模型在全局上下文建模方面表现出色，但它们无法有效捕捉细粒度、局部化的判别线索，这激发了强调局部化判别的补充研究方向，从而发展出了基于部分的特征学习方法。

最近的研究通过两种主要方法试图弥合这一差距。首先，基于Transformer的方法，如Swin Transformer（Wang等人，2022年）和TransReID（Liu等人，2021年），利用自注意力来捕捉长距离关系。基于Transformer的方法在上下文检索方面表现出色。基于部分的方法将特征图划分为条带或固定区域。基于部分的方法迫使模型关注细节。然而，基于Transformer的方法和基于部分的方法仍然依赖于变换。这种依赖性是一个限制。标准Transformer使用固定的线性投影（），这些投影难以模拟由金属反射和可变光照引起的高频率、非线性的外观变化。同样，基于CNN的部分模型依赖于静态的池化区域，缺乏空间适应性，无法解决错位问题。

其次，基于部分的特征学习提供了另一种改进项目判别的方法。一些架构将特征图分成多个特定于部分的分支。粒度-部分网络（GPN）（Wang等人，2024年）及相关的多分支设计表明，将车辆表示分解为区域使GPN能够明确模拟判别线索。尽管如此，现有的基于部分的系统仍然依赖于静态池化区域和卷积滤波器，它们无法根据输入图像内容调整其感受野或滤波。因此，它们容易发生部分错位，对局部外观变化的敏感性不足，并且在视角或天气变化下性能下降。

尽管有这些方法，车辆重新识别文献中仍然存在一个根本性的差距。Transformer提供了强大的全局推理能力，但缺乏适应性；基于部分的模型能够捕捉细节，但依赖于刚性的特征推断；而图形驱动的设计虽然改善了结构，但引入了显著的开销。没有现有的方法能够在单一的、统一的、计算上可行的方法中同时提供自适应的、内容感知的局部过滤、高效的全局上下文建模和多尺度的部分级判别。采用操作Transformer的动机源于标准线性自注意力在处理车辆图像中的复杂辐射度变化时的固有局限性。标准线性投影往往难以模拟非线性伪影，如金属表面的镜面反射、变化的眩光条件和深阴影。通过引入非线性的操作投影，我们的OT-GFAM能够根据每个输入的具体信号复杂性动态调整其特征提取逻辑，提供了比传统“刚性”线性模型更健壮的表示。

在这项工作中，我们通过联合建模全局和局部判别线索来解决现有车辆Re-ID方法的局限性，从而引入了一种操作注意力或多部分嵌入方法。所提出的方法基于带有全局融合注意力模块（OT-GFAM）的操作Transformer，该模块用基于操作神经网络（ONN）的内容自适应操作和全局-局部多部分嵌入（GLPE）替换了固定的线性投影，从而实现了多粒度的基于部分的特征学习，增强了车辆的判别能力和视角鲁棒性。

OT-GFAM和GLPE结合在一个端到端的架构中，使得全局上下文信息和局部结构线索的协调学习成为可能。因此，所提出的框架在保持多空间尺度上的判别表示的同时，使特征响应适应内容变化。在VeRi-776、VehicleID和VRU数据集上进行的实验表明，与代表性的基于Transformer和基于部分的嵌入方法相比，所提出的方法一致地提高了检索性能。特别是，该模型在没有重新排序的情况下就取得了良好的结果，而k-互惠重新排序进一步提升了性能。本文的主要贡献总结如下：

• •
  我们首次在Transformer块中应用了操作神经网络，实现了内容自适应的注意力。我们引入了带有全局融合注意力模块（OT-GFAM）的操作Transformer用于车辆重新识别。与使用固定线性1 × 1投影的传统Transformer架构不同，OT-GFAM将非线性ONN操作集成到窗口化和移位窗口的注意力机制中。这种内容自适应设计在注意力计算之前实现了非线性特征的重映射，从而提高了对照明变化、跨表面反射和在监控图像中常见的视角依赖性外观变化的鲁棒性。
• •
  OT-GFAM集成了全局-局部多部分嵌入模块，将操作型全局注意力与多粒度基于部分的表示学习紧密耦合。这种集成有效地协调了长距离上下文建模与细粒度局部判别，消除了对辅助基于图的结构或计算成本高昂的细化模块的需求。
• •
  我们提出了一种混合架构，其中GLPE作为几何一致性的结构锚点，而OT-GFAM提供了细粒度的辐射度适应性。
• •
  一种新颖的融合机制，能够同时对齐全局上下文和多粒度的局部部分，以处理几乎相同的车辆外观。
• •
  在三个标准的车辆重新识别基准测试集VeRi-776、VehicleID和VRU上进行了广泛的实验评估。所提出的框架一致性地优于代表性的基于Transformer和基于部分的方法，在VRU上达到94.30%的mAP，在VeRi-776上达到91.41%的mAP，在VehicleID（大型）上达到90.27%的mAP，从而证明了其强大的有效性和泛化能力。

相关工作

相关研究

车辆Re-ID领域经历了从依赖纯CNN向基于Transformer的架构的重大范式转变（Dosovitskiy等人，2020年）。这一转变对于捕捉全局上下文和长距离依赖性至关重要，这对于鲁棒的车辆判别是必不可少的。早期的工作，如TransReID（He等人，2021年），率先使用了重叠补丁来处理视角变化，随后是高效的窗口化设计，如Swin Transformer（

方法论

我们的方法基于一个统一的操作注意力和多部分嵌入的车辆Re-ID架构，该架构将新颖的操作Transformer与互补的全局融合注意力模块和结构化的全球-局部多部分嵌入（GLPE）网络紧密结合。在全局融合注意力模块中，我们集成了ONN层，用异构的非线性操作替换了标准的线性投影，从而显著增强了模型捕捉

数据集

我们在三个车辆Re-ID基准测试集上评估了我们提出的框架：

• •
  VeRi-776（Liu等人，2016年）：包含50,000张由20个相机拍摄的776辆车的图像。它提供了真实的挑战，包括不同的照明和视角。训练集包含37,746张图像，测试集包含11,579张图库图像。
• •
  VehicleID（Zheng等人，2020年）：一个包含221,763张图像和26,267个身份标识的大规模数据集。按照标准协议，我们在三个测试子集上进行评估：

讨论与局限性

所提出的模型在测试的车辆Re-ID基准测试集上一致地提高了性能；然而，也应承认几个局限性。首先，该方法目前与ConvNeXt-L骨干结合使用，后者具有较高的表示能力，从而提高了整体性能。需要进一步的工作来确定我们的模块在适合资源受限环境的轻量级架构上的表现。此外，因为OT-GFAM和GLPE都是直接操作的

结论

在本文中，我们提出了一个健壮的车辆重新识别模型，它在注意力机制中集成了可学习的、异构的操作符。我们的方法解决了标准线性投影的局限性。这种设计使模型能够根据特定的图像内容调整局部计算，从而捕捉高频的身份线索，同时保持窗口化架构的计算效率。

这项工作的一个关键贡献是

CRediT作者贡献声明

Hidayet Erg?n：撰写——原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理。Ali Seydi Ke?el?：撰写——审阅与编辑，验证，监督，软件，资源，方法论，调查，形式分析，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本研究得到了哈切特佩大学科学研究项目协调单位 的支持，项目编号为22355。