《Journal of Imaging》:RGB Gait Recognition Using Large Vision Models for Industrial Access Control
编辑推荐:
身份验证对于工业门禁点的安全管理至关重要。步态识别可在工人通过闸机时提供非接触式身份线索,但公开数据集很少同时涵盖刷卡、移动屏障、标准工装、安全头盔、方向性遮挡及光照变化等条件。在这项面向应用的实证研究中,研究人员在先前提出的工业步态数据集中,对来自150名工
身份验证对于工业门禁点的安全管理至关重要。步态识别可在工人通过闸机时提供非接触式身份线索,但公开数据集很少同时涵盖刷卡、移动屏障、标准工装、安全头盔、方向性遮挡及光照变化等条件。在这项面向应用的实证研究中,研究人员在先前提出的工业步态数据集中,对来自150名工人的1500段RGB通行序列进行了评估。每名工人在两个相对、略微俯视的视角下各被记录五段通行序列。研究人员采用分组、内存高效的BiggerGait*框架,在相同的下游配置下比较了DINOv2 ViT-S/14、DINOv3 ViT-S/16和DINOv3 ViT-S+/16。人类先验分支(human-prior branch)在从头训练时未能稳定生成以人为中心的分割掩码,且在不同骨干网络间迁移效果不佳。因此,研究人员评估了原始RGB、背景抑制RGB以及带单补丁边界扩展的背景抑制RGB三种输入。严格背景抑制主要提升了同视角识别性能,而扩展输入在本次评估中使三种骨干网络的跨视角平均Rank-1均有所提高。这一模式与减少场景干扰带来的收益一致,而有限的边界上下文可能有助于恢复用于匹配对立视角的人体边缘线索。DINOv3-S+配合扩展输入分别实现了96.3%的同视角和88.3%的跨视角平均Rank-1准确率。
一、研究背景与问题
身份验证是工业门禁安全管理的关键环节。传统门禁系统依赖刷卡、指纹或人脸识别,但刷卡存在卡片丢失、共享或冒用风险,指纹识别需要主动接触且可能中断通行,人脸识别则易受安全头盔、口罩、刷卡时低头姿态及光照变化影响。步态识别作为一种非接触式生物特征识别方式,通过身体形态和行走动态识别个体,无需主动配合。现有步态识别方法主要基于轮廓(silhouette)、骨骼关键点(skeletal keypoints)或RGB序列。轮廓方法依赖精确的人体分割,骨骼关键点方法在遮挡、背面视角和不完整身体观测下可靠性下降,这些局限在工业门禁场景中尤为突出——刷卡动作、移动屏障、安全头盔、标准工装和部分出框区域同时影响分割和姿态估计。RGB序列保留了外观、轮廓和局部运动信息,但也包含与身份无关的固定设备和场景信息,可能降低跨通行方向或采集条件下的鲁棒性。
近期研究表明,冻结的大视觉模型(Large Vision Models, LVMs)可直接从RGB序列提取有效的人物相关特征。BigGait提出了基于冻结DINOv2特征的框架,BiggerGait通过利用多个Transformer层的互补信息扩展了这一方向。然而,这些方法在工业门禁环境中的可靠性尚未得到充分验证。固定设备、反光表面、刷卡动作、移动屏障、标准工装和光照变化可能引入场景相关关联或掩盖有用的人体线索。因此,可靠部署需要步态表示在保留外观、边界和运动信息的同时,对跨通行方向和运行条件的场景变化保持鲁棒。
二、研究内容与结论
研究人员使用先前引入的工业门禁数据集中的原始RGB记录,包含来自一个运行中检查点的150名工人的1500段通行序列。每名工人在一个多月内于两个相对、略微俯视的视角下各完成五次通行。在分组BiggerGait*框架内,比较了DINOv2 ViT-S/14、DINOv3 ViT-S/16和DINOv3 ViT-S+/16三种骨干网络,通过调整输入分辨率使三者产生相同的空间token网格并使用相同的下游步态模型。同时评估了基于人物分割的骨干无关前景处理策略,对每种骨干比较原始RGB、背景抑制RGB和带单补丁边界扩展的背景抑制RGB三种输入。研究不引入新的步态识别架构或新数据集,而是对既有组件在工业场景中的行为和计算权衡进行实证考察。
研究得出以下主要结论:第一,人类先验分支与骨干特征空间强相关,从DINOv2-S向DINOv3-S迁移效果差,需要针对工业数据适配才能恢复性能;第二,严格背景抑制主要提升同视角识别,而单补丁边界扩展在三种骨干上均提升跨视角平均Rank-1;第三,DINOv3-S+配合扩展输入实现96.3%同视角和88.3%跨视角平均Rank-1,为九种组合中最高跨视角结果;第四,在计算效率方面,DINOv2-S延迟和峰值内存最低、吞吐量最高,DINOv3-S仅比DINOv2-S多0.5%计数的FLOPs但延迟高25.6%,DINOv3-S+的FLOPs增加12.8%、延迟增加38.6%。该研究的意义在于验证了基于YOLOv8分割的背景抑制作为骨干无关的模块化输入变换的可行性,为工业门禁场景下RGB步态识别的骨干选择和输入构造提供了实证依据。
三、关键技术方法
研究人员采用分组、内存高效的BiggerGait*框架,该框架将12个中间Transformer层的特征图按深度分为6组,每组两个相邻层特征沿通道维拼接,经轻量投影降至16通道后双线性插值对齐到公共空间分辨率,共享两个步态编码器,测试时融合各组距离。三种DINO骨干均保持冻结,通过调整输入分辨率实现512空间token的公共网格。人类先验分支采用轻量自动编码器从最高层特征生成两通道概率图并转换为二值掩码。作为骨干无关替代方案,使用YOLOv8-seg生成人物掩码,该分割模型在约1800帧标注帧上微调,仅含90个步态训练身份,60个测试身份被排除。评估协议采用闭集识别,90名工人用于训练、60名用于测试,每视角前三段序列构成gallery、后两段构成query,评估四种协议(000→000、180→180、000→180、180→000),以Rank-1为主要指标。
四、研究结果
4.1 固定人类先验权重的迁移。 将BiggerGait作者发布的DINOv2-S人类先验权重直接迁移到DINOv3-S,同视角和跨视角平均Rank-1分别从93.3%和86.3%降至91.7%和78.3%,跨视角比无先验分支的原始RGB结果低5.0个百分点。经工业数据适配后,同视角和跨视角分别提升至94.6%和87.9%,较直接迁移提高2.9和9.6个百分点。DINOv3-S+因直接迁移和从头训练均无法产生稳定的人物中心掩码而未纳入定量比较。该结果表明参数兼容性不保证跨骨干特征空间的有效迁移。
4.2 骨干与输入构造。 原始RGB下,DINOv2-S、DINOv3-S和DINOv3-S+的同视角平均Rank-1分别为89.6%、88.3%和88.8%,跨视角分别为83.8%、83.3%和86.7%。严格背景抑制使同视角分别提升至94.6%、94.2%和96.7%,增益为5.0、5.8和7.9个百分点,但跨视角变化较小。增加单补丁边界上下文后,同视角分别为93.8%、93.8%和96.3%,跨视角为84.6%、86.3%和88.3%,相对严格抑制,同视角略降而跨视角分别提升约1.3、1.7和2.1个百分点。DINOv3-S+扩展输入的三次独立训练重复均值保持相同模式:同视角为96.25%,跨视角为87.78%。
4.3 计算效率。 完整识别模型推理成本测量显示,DINOv2-S延迟最低、吞吐量最高,DINOv3-S的FLOPs仅多0.5%但延迟高25.6%,DINOv3-S+的FLOPs多12.8%、延迟高38.6%。三种配置均具有相同的20.612百万可训练下游参数。
4.4 背景抑制与部署意义。 刷卡和手臂运动改变身体轮廓,屏障和携带物品造成部分遮挡,反光门面与夜间光照改变场景外观。背景处理需抑制稳定门体结构而不移除头盔、手臂、鞋子等边界附近的信息区域。YOLOv8背景抑制在图像空间操作,可跨步态骨干共享,其优势在于模块化而非对适配后人类先验的一致精度优势。该系统流程将分割、步态特征提取与门禁卡比对结合,不一致时转人工复核,但当前评估为离线预处理,图6为概念工作流而非经过验证的实时实现。
五、讨论与结论
讨论部分指出,在相同token网格和BiggerGait*配置下,DINOv3-S+取得最高跨视角平均Rank-1,但DINOv3-S未一致优于DINOv2-S,说明更新骨干不必然带来更好性能。严格背景抑制主要改善同视角识别,可能因为去除设备和反射减少了无关变化,而跨视角下可见身体区域、身体投影和屏障遮挡的差异在背景去除后仍然存在。单补丁扩展提升跨视角的原因可能包括保留掩码遗漏的头盔、肩部或鞋子像素并保留局部轮廓信息,但也可能保留邻近场景内容,这些可能性无法仅通过三种输入的对比区分。研究局限包括单一检查点采集、60个测试身份、单一训练测试划分、同一站点和相机配置,结果支持受控站内比较但不支持跨站点泛化;背景抑制对分割误差敏感,单补丁边界在其他设置下不一定最优;该管线定位为门禁卡与步态身份之间的二次核验,未建立验证操作阈值或误接受/误拒绝性能,不验证独立门禁授权。
结论部分翻译如下:这项实证研究使用先前引入的工业门禁数据集中150名工人的1500段双向通行原始视频,评估了既有RGB步态识别组件。数据涵盖刷卡、移动屏障、头盔、标准工装及一天中不同时段的光照变化。研究在公共分组BiggerGait*配置下比较了三种DINO骨干。由于人类先验分支与其骨干特征空间强相关,研究还评估了基于YOLO的背景抑制作为模块化输入变换。在当前评估设置下,严格抑制主要改善同视角识别,而在人物周围保留一个补丁上下文则提升了三种骨干的跨视角平均Rank-1。扩展输入可跨步态骨干复用,并可根据站点特定工装和相机条件单独调整,使其成为进一步现场测试的候选方案。