综述:行人动作识别方法综述:从通用领域到自动驾驶车辆
《Displays》:A review of pedestrian action recognition methods: from general field to autonomous vehicles
【字体:
大
中
小
】
时间:2026年08月05日
来源:Displays 3.9
编辑推荐:
•回顾动作识别技术从手工特征到深度学习及视觉语言模型的发展历程。•研究CNN/RNN/GCN/Transformer在动作识别中的时空建模方法。•比较不同高级方法在NTU数据集上的表现,并探讨自动驾驶领域面临的挑战。
引言
随着城市化进程的加快,城市中行人的行为变得越来越复杂且
•回顾动作识别技术从手工特征到深度学习及视觉语言模型的发展历程。•研究CNN/RNN/GCN/Transformer在动作识别中的时空建模方法。•比较不同高级方法在NTU数据集上的表现,并探讨自动驾驶领域面临的挑战。
引言
随着城市化进程的加快,城市中行人的行为变得越来越复杂且难以预测。这就需要具备更强大环境感知能力的智能交通系统。在智能驾驶安全系统中,准确理解行人行为对于保障道路安全至关重要。作为弱势的道路使用者,行人自身的保护能力有限,这种固有的脆弱性要求智能驾驶系统充分考虑行人的特点,以降低事故风险[1]、[2]。与此同时,计算技术和人工智能的进步为深入研究行人行为提供了新的途径。作为计算机视觉和模式识别的核心研究方向,行人动作识别旨在让计算机系统具备感知和解读行人行为状态与意图的能力[3]、[4]、[5]。这项技术不仅有助于为城市交通管理和公共安全预警提供数据驱动的决策支持,还为构建智能的人机协作社会奠定基础。
动作识别作为理解行人行为的基础组成部分,侧重于利用视觉数据准确识别实时的人类动作(如行走、奔跑、站立或跌倒等)。随着人工智能技术的快速发展,动作识别在自动驾驶、智能监控、人机交互以及智能医疗系统等领域展现出广泛的应用前景[6]、[7]、[8]、[9]。在智能交通系统中,准确识别行人行为能使自动驾驶车辆提前预判潜在危险并主动做出反应,从而减少交通事故的发生概率。此外,这些系统还有助于优化交通流量,提升整个道路网络的运行效率。
然而,实现高精度的行人动作识别仍是一项具有挑战性的任务。行人动作往往存在较大的变化性,不同类别之间的差异也较为微妙,这使得它们很难被区分开来。环境因素如光照条件的变化、物体遮挡以及拥挤的场景进一步加剧了这一复杂性。此外,人体形状、姿势和运动模式的多样性也为动作识别带来了更多困难。当前的研究工作主要集中在提高识别精度、实时性能和系统稳定性上,同时也在开发更先进的特征提取技术和分类架构[10]、[11]、[12]。
随着传感器技术的快速发展,用于行人动作识别的数据类型也日益多样化。典型的数据包括骨骼数据、深度图像以及RGB图像等[13]、[14]、[15]。基于RGB视频的2D像素矩阵能够通过衣物纹理、肢体变形以及与环境的互动等外观特征保留丰富的视觉信息。但这类方法存在一些显著缺陷,比如缺乏3D结构信息,容易受到动态背景的干扰,且对光照条件极为敏感,这些因素都降低了其在复杂场景下进行高精度行为建模的能力[16]、[17]。深度图数据则通过3D空间坐标来编码人体的几何结构和距离信息,在背景分离和视角稳定性方面具有理论优势。尽管如此,高分辨率深度数据较高的存储和计算需求限制了其在大规模应用中的可行性[18]。相比之下,由人体关节的3D轨迹构成的骨骼序列数据,虽然维度较低,但却能蕴含丰富的语义信息,因此特别适用于动作识别[19]、[20]。这类数据的结构化骨骼拓扑结构能够捕捉时空运动模式,而关节相对位置等运动学特征则可以有效消除多余的背景干扰。这一特点有助于解决传统RGB视频和深度图对光照变化、视角切换以及复杂环境噪声的敏感问题。大幅降低的数据维度不仅减少了计算成本,还提升了系统对衣物变化和环境变化的适应能力。这种方法不仅能精确描述人体运动的几何形态,还能通过内在特征提取提升算法的稳定性,因此特别适合用于跨场景的行为分析。正因如此,基于骨骼序列的动作识别近年来已成为研究热点。上述基于骨骼序列的动作识别是自动驾驶系统中感知模块的核心任务,其在整体感知-规划流程中的作用如图1所示。
目前大多数关于动作识别的综述都集中在通用场景下的方法分类和性能评估上。与自动驾驶相关的综述则大多围绕行人轨迹预测和过街意图估计展开。很少有研究系统地总结行人动作识别技术,以及这些技术从手工特征到深度学习的演变过程,如图2所示,还有那些通用技术如何适配自动驾驶场景。本文旨在填补行人动作识别与自动驾驶交叉领域的研究空白,系统阐述该领域的技术发展脉络和研究框架。首先,我们简要回顾基于RGB数据和骨骼数据的手工特征提取方法,以及支持向量机、隐马尔可夫模型等经典的机器学习分类器。接着,我们探讨基于骨骼数据的深度学习方法。根据卷积神经网络、循环神经网络、图卷积网络和Transformer等主流网络架构,我们总结它们在行人行为识别中的技术特点和应用场景,同时进一步研究具备语义融合功能的视觉语言模型。我们还收集并整理了广泛应用于动作识别和智能交通领域的主流数据集,如UCF-101、NTU RGB + D 60/120和JAAD。此外,我们在NTU RGB + D 60/120基准数据集上对各类代表性方法进行了全面的对比实验。我们分析了在不同评估方案下,如跨主体、跨视角和跨场景测试,各种网络架构的识别精度表现。最后,我们分析了该领域目前的挑战以及未来的研究趋势,尤其关注自动驾驶所提出的特殊要求,如实时性能、与边缘计算的兼容性以及在复杂环境中的稳定性。
章节节选
基于手工特征提取的行人动作识别方法
在动作识别发展的早期阶段,手工特征提取是核心方法。这种方法依赖先验知识,通过人工设计的算法从视频中提取时空运动特征。本节将分别介绍两类此类方法:基于RGB视频的方法和基于骨骼数据的方法。上述传统的手工特征提取方法在图3中进行了分类。
基于机器学习的行人动作识别方法
在手工特征提取之后,动作识别任务本质上就转化为了一个分类问题。因此,各种传统的机器学习分类算法被广泛应用于动作识别领域。常用的算法包括支持向量机、隐马尔可夫模型、K近邻算法和决策树。图4展示了使用手工特征提取和传统机器学习分类器进行行人动作识别的完整流程。
(1) 支持向量机
基于深度学习的行人动作识别方法
在手工特征提取和传统机器学习之后,深度学习凭借其端到端的特征学习能力,成为动作识别领域的主流方法。与依赖先验知识的手工特征提取方法不同,深度学习采用数据驱动的层次化特征学习方式,从而实现对动作动态更精确的建模。基于深度学习的行人动作识别的基本流程如图5所示。该领域的相关研究已经……
评估指标
动作识别模型通常通过Top-1指标(最高概率预测的准确率)和Top-5指标(正确标签在 top five 预测结果中的概率)来进行评估。对应的计算公式如下:
Top-1 Acc = 正确预测的样本数 / 总测试样本数
Top-5 Acc = Top 5 中正确的样本数 / 总测试样本数
对于自动驾驶应用场景而言,单纯的分类准确率无法完全反映模型的实际适用性。因此……
挑战与展望
尽管人类动作识别技术已经取得了诸多进展,但用于智能交通系统的行人动作识别仍面临诸多挑战。本章将总结该领域目前的困难以及未来可能的研究方向。
(1) 复杂环境下的遮挡感知动作识别
极端的照明条件、动态遮挡以及恶劣的天气状况都会显著降低现有算法的识别精度。单模态数据……
结论
本文系统回顾了行人动作识别技术从手工特征到深度学习方法的演变历程。重点分析了基于骨骼数据的各类深度学习模型的理论基础和技术优势,尤其关注卷积神经网络、循环神经网络、图卷积网络和Transformer等主流架构,并详细阐述了它们的核心工作机制。
利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。
致谢
本研究得到了河北省燕赵英才平台人才集聚计划骨干人才项目(出国留学回归计划)(项目编号B2025006)、河北省自然科学基金(项目编号E2025203041)以及广西科技大学广西汽车零部件与车辆技术重点实验室2023年度开放课题(项目编号2023GKLACVTKF07)的支持。本文中所表达的观点仅代表作者个人观点,不代表其他机构的意见。
曹景伟于2022年在中国长春的吉林大学获得车辆工程博士学位。2021年至2022年,他作为中国国家留学基金委资助的访问学者在新加坡国立大学学习一年。目前他是中国秦皇岛燕山大学车辆与能源学院的讲师,同时也在燕山大学河北省特种载具装备重点实验室工作。他的研究兴趣包括自动驾驶领域……
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号