PFM-VEPAR：基于RGB事件相机的行人属性识别中用于提示基础模型的方法

《Pattern Recognition》：PFM-VEPAR: Prompting foundation models for RGB-Event camera based pedestrian attribute recognition

行人属性识别中融合事件相机与RGB图像的创新框架，提出轻量级DCT/IDCT事件处理模块、基于Hopfield网络的上下文关联记忆机制和跨模态注意力融合，有效解决低光、运动模糊等挑战，在EventPAR和DukeMTMC-VID-Attribute数据集上验证性能。

　　

徐明赫|吴柔颖|朱佳伟|王晓|李宇

中国澳门特别行政区澳门城市大学

摘要

基于事件的行人属性识别（PAR）利用运动线索来增强RGB相机在低光照和运动模糊场景下的性能，从而更准确地推断出年龄和情绪等属性。然而，现有的双流多模态融合方法引入了较大的计算开销，并忽略了来自上下文样本的宝贵指导。为了解决这些限制，本文提出了一种事件提示器（Event Prompter）。该模块放弃了计算成本较高的辅助主干网络，直接对事件数据应用极其轻量且高效的离散余弦变换（DCT）和逆离散余弦变换（IDCT）操作。这种设计以最小的计算成本提取频域事件特征，从而有效地增强了RGB分支。此外，设计了一个外部记忆库来提供丰富的先验知识，并结合现代霍普菲尔德网络（Hopfield network），实现了关联记忆增强的表示学习。该机制有效地挖掘并利用了不同样本之间的全局关系知识。最后，通过交叉注意力机制融合RGB和事件模态，再通过前馈网络进行属性预测。在多个基准数据集上的广泛实验充分验证了所提出的RGB-Event PAR框架的有效性。本文的源代码将在https://github.com/Event-AHU/OpenPAR上发布。

引言

行人属性识别（PAR）[1]旨在通过一组属性描述行人的关键特征，如长发、戴眼镜、年龄、性别、服装和鞋子。这项任务在各种实际应用中起着至关重要的作用，包括智能视频监控[2]、人员重新识别和检索[3]以及对象检测和跟踪[4]。随着深度神经网络，特别是大型基础模型[5]的快速发展，PAR模型的性能近年来得到了显著提高。然而，在快速运动、低光照和过度曝光等极端条件下，PAR仍然是一项具有挑战性的任务。

通过分析现有研究的技术方法，可以观察到大多数算法都是基于RGB相机开发的。具体来说，陈等人提出了VTB[6]，它融合了行人图像和属性阶段以实现高性能的属性识别。王等人进一步引入了PromptPAR[2]，该算法通过提示利用预训练的CLIP模型来实现更准确的识别。金等人[7]将PAR形式化为一个序列生成问题，并基于Transformer解码器网络开发了SeqPAR。最近，事件相机由于其低功耗、高动态范围、高时间分辨率和低延迟等优点而受到越来越多的关注[8]。多项研究将事件相机与RGB相机结合使用，以在具有挑战性的条件下增强感知能力。特别是，RGB-Event融合已应用于各种任务，包括视觉跟踪[9]、手语翻译[10]和人类活动识别[11]、[12]。此外，王等人提出了第一个基于RGB-Event的PAR基准数据集[13]。该数据集为该领域未来的研究奠定了坚实的基础。

尽管取得了这些进展，当前的PAR模型仍面临几个限制：（1）大多数现有的PAR方法仅基于RGB相机。因此，它们在低光照、过度曝光和运动模糊等挑战性条件下经常失败。（2）许多方法将PAR视为简单的图像到标签的映射。它们过分关注属性语义，但忽略了视觉上下文。这种缺乏上下文线索的情况通常会限制整体性能。（3）当前的RGB-Event PAR框架通常使用复杂的双主干架构。它们取得了良好的结果，但计算成本较高。此外，如图1(a)所示，很少有研究利用上下文信息来进一步提高性能。这些观察提出了一个关键问题：我们如何设计一个轻量级、具有上下文意识的RGB-Event框架？这样的框架必须利用基于事件的运动线索和丰富的上下文来处理具有挑战性的视觉条件，同时不产生过多的计算开销。

本文超越了传统的双主干融合范式，引入了一种新型的、轻量级的频率感知事件提示器（Frequency-aware Event Prompter）。该模块帮助RGB分支学习更多有信息量的特征，同时保持较低的计算开销。具体来说，输入的RGB-Event样本首先被划分为不重叠的块。然后这些块被投影并输入到基于ViT的视觉主干网络和事件提示器中。此外，还提出了一种通过关联记忆增强的上下文样本挖掘策略。这种方法利用不同样本之间的上下文相关性，显著增强了模型的多模态表示能力。接下来，通过交叉注意力机制融合两种模态的特征，最后通过前馈网络预测行人属性标签。图1将现有的RGB-Event PAR框架与所提出的方法进行了比较。

总结来说，本文的主要贡献如下：

(1) 本文通过提出一个轻量级的事件流提示模块，超越了传统的双主干融合范式。该模块有效地帮助RGB视觉主干提取和整合多模态特征。

(2) 基于现代霍普菲尔德网络的上下文感知关联记忆模块被设计用来大幅增强每个样本的视觉表示。它通过与多种上下文实例建立关联来实现这一点。

(3) 在EventPAR [13]和DukeMTMC-VID-Attribute [14]数据集上的广泛实验全面验证了所提出框架在PAR任务中的有效性和泛化能力。

相关研究

相关工作

在本节中，我们回顾了行人属性识别、¹预训练基础模型和现代霍普菲尔德网络的相关研究。

方法论

数据集和评估指标

使用两个不同的PAR数据集来全面评估PFM-VEPAR框架的性能。下面简要介绍了这两个数据集。

$•$ EventPAR [13]数据集专门用于测试模型在新传感器捕获的数据上的性能和鲁棒性。EventPAR数据集使用事件相机收集，包含超过10,000个行人样本，并标注了50个不同的属性。这使得它成为一个重要的

结论与未来工作

本文探讨了将异步事件流与RGB帧集成起来，以解决行人属性识别（PAR）中的关键挑战，如姿态变化、严重遮挡和运动模糊等问题。为此，提出了一种名为PFM-VEPAR的新颖双模态融合框架。通过创新地将频率感知事件提示器与基于霍普菲尔德的双记忆增强机制相结合，该框架有效地提取了动态运动线索并加以利用

CRediT作者贡献声明

徐明赫：写作 – 审稿与编辑、撰写初稿、可视化、验证、监督、软件、资源、项目管理、方法论、形式分析、数据整理。吴柔颖：写作 – 审稿与编辑、撰写初稿、可视化、软件、方法论。朱佳伟：写作 – 审稿与编辑、撰写初稿、软件、资源、项目管理、方法论、调查。王晓：写作 – 审稿与编辑、撰写初稿

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

作者感谢广东省重点学科项目 (2024ZDJS137)的支持。