基于残差掩码融合和余弦相似度的被动采样器的多视图行人检测技术,用于视频监控系统

《Future Generation Computer Systems》:Multi-view pedestrian detection via residual mask fusion and cosine similarity-based passive sampler for video surveillance systems

【字体: 大 中 小 】 时间:2026年01月26日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  多视角行人检测框架提出残差掩码融合与余弦相似度被动采样,解决多视角信息融合和世界坐标系对齐问题,实验验证有效性。

  
何莉|贾佳佳|孔伟航|张星晨
燕山大学人工智能学院(软件学院),066004,中国

摘要

多视图行人检测旨在从多个校准过的相机视角生成行人的鸟瞰图 occupancy map。与单视图方法相比,多视图方法具有优势:它们可以减轻遮挡问题、扩大场景覆盖范围并提高鲁棒性。然而,现有的多视图检测方法仍面临两个关键挑战:在融合表示中混合异构的跨视图信息,以及由于不同视角之间的尺度差异导致的世界坐标系中的特征不对齐。为了解决这些问题,我们开发了一个新颖的多视图行人检测框架,该框架包括一个残差掩码融合模块和一个基于余弦相似度的被动采样器。具体来说,残差掩码融合模块能够实现跨视图的自适应特征选择和补偿,在几何冗余情况下获得最佳融合效果。此外,基于余弦相似度的被动采样器通过评估特征一致性来计算动态坐标偏移,从而减少了投影过程中不可避免的偏差影响。在 Wildtrack、MultiviewX 和 CityStreet 上的实验结果证明了所开发框架在多视图行人检测中的有效性和可靠性。我们的代码可在以下链接获取:https://github.com/guixiaojia/improve-shot

引言

行人检测 [1]、[2] 是现实世界视频监控系统中的关键任务,也是物联网 [3]、[4] 的典型应用。然而,单视图行人检测存在遮挡和场景覆盖范围有限的问题,尤其是在复杂环境中。这些挑战突显了清晰技术描述的重要性,正如视频监控研究 [5] 所强调的。为了解决这些问题,提出了多视图行人检测 [6]、[7],它从一组由不同位置和方向上的校准相机捕获的同步图像中预测行人的鸟瞰图 occupancy map。
对于多视图行人检测,每个视角都提供了独特的观察角度,视图之间的重叠区域可以提供互补信息以增强特征,而非重叠区域则扩大了整体场景覆盖范围。尽管有多视图行人检测的优势,但它仍面临两个核心挑战:视图聚合和空间聚合。首先,每个单一视角只能提供场景的部分观察结果;严重的遮挡使得跨视图关联同一行人的特征变得困难。其次,即使实现了多视图特征聚合,每个空间位置的特征仍然存在异构性。这种异构性源于不同的观察视角,这使得难以推断出一致的场景级 occupancy 和进行有效的端到端优化。
一种主流解决方案是使用相机校准参数将多视图特征投影到一个共同的参考空间中,以促进空间对齐和融合。一类方法将特征投影到 3D 体素网格中,但这需要强几何假设,并且由于 3D 卷积而产生较高的计算成本。此外,仅从 2D 图像中推断深度仍然是一个病态问题。另一种方法是把特征投影到 2D 鸟瞰图(BEV)平面上,这种方法计算效率高,但会将不同高度的信息压缩到同一个平面上,从而妨碍了准确的特征匹配。例如,SHOT [8] 引入了多平面投影和软选择模块来缓解这一问题,但跨视图特征干扰问题仍未解决。
为了解决这些问题,我们在本文中提出了一个端到端的多视图行人检测框架。对于视图聚合,我们在投影过程中将每个视图映射到多个特定高度的平面上,在多平面约束下建立几何一致性。然后,我们引入了一个残差掩码融合模块来进行投影后的自适应特征选择,过滤掉无关或冗余的信息。对于空间聚合,我们设计了一种基于余弦相似度的被动采样器来替代传统的融合策略。我们不是无差别地聚合所有特征,而是选择对检测最有意义和最一致的特征进行采样。这减少了模型大小,消除了跨视图冗余,并更有效地利用了不同视角的互补优势。本工作的主要贡献如下:
  • •
    设计了一个残差掩码融合模块来实现协作式多视图特征融合。该模块通过残差连接过滤掉无关特征并增强有用特征。
  • •
    提出了一种基于余弦相似度的被动采样器来实现自适应特征重采样。该采样器利用多视图信息的共识来减少特征投影过程中的不可避免偏差。
  • •
    基于上述核心组件开发了一个多视图行人检测框架。在公共数据集上的广泛评估验证了其在目标任务上的有效性。
这项工作对智能城市应用中的 AI [9] 具有更广泛的意义,特别是在实时以行人为中心的视频系统中。这种一致性表明我们的方法有助于构建可扩展的智能城市平台,以实现数据驱动的城市管理。

部分内容摘要

早期的行人检测方法

Fleuret 等人 [10] 首次使用概率 occupancy map 来综合考虑空间邻居,有效地建模了目标位置的不确定性。Berclaz 等人 [11] 将 k-最短路径优化方法引入到多目标跟踪中,实现了多目标跟踪问题的有效解决方案。Alahi 等人 [12] 引入了稀疏性约束以减少冗余信息、提高定位精度并降低计算复杂度。Roig 等人 [13]

方法

我们方法的总体框架如图 2 所示。从输入到最终的行人 occupancy map,其组成部分包括:主干网络(Backbone)、瓶颈层(Bottleneck)、特征投影部分(Feature Projection Part)、残差掩码融合模块(Residual Mask Fusion Module)、世界特征提取部分(World Feature Extraction Part)、基于余弦相似度的被动采样器(Cosine Similarity-based Passive Sampler)和回归头(Regression Head)。我们将逐一解释这些组件:主干网络是 ResNet-18 [37];瓶颈层是一个 Conv2d1?×?1;特征投影部分使用与 SHOT[8] 相同的配置;世界特征提取部分

实现细节

我们的工作不涉及初始特征提取组件的主干网络设计。因此,主干网络部分采用了与 MVDet [22] 相同的配置,使用预训练在 ImageNet 上的 ResNet-18 [37] 作为主干网络。输入图像被下采样到 (H,W)=(720,1280)。优化器使用 Adam,最大学习率为 5e?4。所有实验都在单个 24GB RTX-4090 上进行。

评估指标

我们使用 [22] 中的现有训练-测试分割来评估数据集

结论

在这项工作中,我们提出了一个新颖的多行人检测框架,包括两个核心组件。设计的残差掩码融合模块消除了世界平面中的特征冗余,而开发的基于余弦相似度的被动采样器改进了世界平面的特征提取过程,而不是使用常见的标准感受野。此外,实验结果表明,上述组件可以方便地集成到各种现有的基线结构中

CRediT 作者贡献声明

何莉:撰写——原始草案、资源准备、方法论、研究调查、资金获取、概念构思。贾佳佳:撰写——原始草案、验证、方法论、研究调查、形式分析。孔伟航:撰写——审稿与编辑、可视化、验证、方法论、资金获取。张星晨:撰写——审稿与编辑、可视化、验证、监督、资源准备、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号