基于视觉的人类活动识别的最新创新：一项系统性综述

《Journal of Visual Communication and Image Representation》：Recent innovation in vision-based human activity recognition: a systematic survey

　　

摘要

随着人工智能新时代的到来，计算机视觉已成为最有前途的技术之一，拥有包括自动驾驶车辆、智能家居系统、自动诊断专家系统、智能娱乐、监控和安全解决方案在内的广泛高级应用。在计算机视觉的多种应用中，人体活动识别（HAR）已成为一个快速发展的领域。HAR 旨在利用通过相机和其他基于视觉的传感技术获取的视觉数据自动识别和解释人类动作。因此，本工作对 2014 年至 2025 年间发表的基于视觉的 HAR 进行了系统综述。最初识别出 938 条记录，其中 93 项研究遵循 PRISMA 指导的系统评价过程，符合预定义的纳入和质量评估标准。该综述考察了完整的 HAR 工作流程，包括数据获取模式、数据集、预处理策略、动作识别方法、特征提取方法以及跨 RGB 视频、深度、骨骼、红外和多模态视觉模式的学习框架。对主要方法进行了批判性分析，包括 CNNs、RNNs、注意力机制、transformers、混合架构和多模态融合技术。使用带有 Bonferroni 校正的 Mann-Kendall 检验进行的文献计量趋势分析显示，仅多模态 HAR 研究呈现出统计上显著的增长趋势（$\tau =0.682$，调整后的 p = 0.00056），而其他模式未观察到显著趋势。随后，目前的讨论分析了 HAR 的主要挑战，如实时实现、跨视图泛化、可扩展性和隐私问题，同时探讨了可能的解决方案和未来机会。最后，研究概述了多模态融合、计算高效架构以及基于 Mamba 的模型和视频基础模型等新兴方法在 HAR 实际应用中的潜在未来范围。总之，本工作通过整合数据模式、预处理技术、深度学习架构、数据集、挑战和未来研究方向，提供了对基于视觉的 HAR 最新进展的更新和全面概述。

章节片段

HYPERLINK "SPS:id::Sec1" 引言

随着人工智能（AI）的新进展，如计算机视觉（CV）及其在不同复杂应用中的有前景的结果，已引起研究界的全局关注 [1]。近年来，在 HAR 领域开展了大量的研究活动，HAR 是 CV 中最新兴的领域，其应用范围从医疗和康复到交互

综述方法论

系统综述在综合知识、识别研究差距和指导未来调查中发挥着重要作用。针对本研究，已经对基于视觉的 HAR 系统进行了结构化且方法论严谨的评估。为确保透明度和可重复性，采用了系统综述和荟萃分析首选报告条目（PRISMA）技术，这有助于简化和标准化文章筛选过程 [59]。PRISMA

数据获取

在基于视觉的 HAR 中，获取模式的选择在确定可以提取的特征质量和类型方面起着至关重要的作用。图 11 说明了基于视觉的 HAR 中常用的模式，包括 RGB 图像、深度图、骨骼表示、多视图图像和轮廓，它们为稳健的活动识别提供了互补信息。RGB 视频是 HAR 中最广泛使用的模式，因为它能够捕获丰富的颜色、纹理和

数据预处理

数据准备是 HAR 中的一个关键阶段，因为它会影响其算法的准确性和可靠性。该过程将原始数据转换为可用且更易懂的数据，以供未来的分析和建模使用。原始形式的数据更可能存在格式问题、人为错误和缺失信息。因此，数据准备通过增强数据集来消除这些问题，使其更准确且更易于分析。数据准备有助于实现预期的

HAR 中的挑战

在 HAR 领域，有几项挑战可能会显著影响系统性能。该领域存在许多挑战，使其成为一个难以讨论的话题：人体测量学变异、杂乱且动态的背景、环境影响、类间相似性和类内变异性、遮挡、相机运动、光照变化、因几何变化（姿势、关节、比例）引起的变异以及光度因素（光照、外观）。在此

结论与未来方向

鉴于其广泛的重大应用，HAR 在过去几十年中一直是广泛研究的焦点。为了实现这一目标，研究人员探索了多种数据获取模式并采用了各种处理和分类技术，包括传统方法、ML 和 DL，每种方法都具有独特的特点和优势。本工作提供了研究视角以增强动作识别模型的性能，借鉴现有的

利益冲突声明

作者声明他们没有任何已知的相互竞争的财务利益或个人关系，这些利益或关系可能已影响到本论文报告的工作。

致谢

我们谨向已故的 Kapil Kumar Goel 博士、副教授、Dr B. R. Ambedkar 国立技术学院贾兰达尔分校 表示衷心感谢，感谢他们在整个研究过程中给予的宝贵指导和协助。

Divya Yadav|Deepika Rani|Om Prakash Verma|Tarun Kumar Sharma