综述：关于位置和运动视觉监控系统的综合评估，重点关注人工智能方法 Grzegorz Filo、Pawe? Lempa 和 Konrad Wisowski

《Applied Sciences》：A Comprehensive Review of Position and Movement Visual Monitoring Systems with an Emphasis on AI Methods Grzegorz Filo, Pawe? Lempa and Konrad Wisowski

　　**特色应用**
所提供的分析结果具有重要的实际应用潜力。所有作者都参与了由雅盖隆大学物理系协调的J-PET（Jagiellonian-PET TOMOGRAPHY）项目。Grzegorz Filo是该项目的一个团队成员；详情请参阅官方项目网站。这些研究结果旨在用于开发概念、构建模型，并训练和测试用于监控和监督患者在进行长期全身CT扫描时的位置的视觉系统。

**摘要**
最近的位置和运动监测系统通过整合先进的人工智能技术得到了显著改进。除了仍在信号处理、传感器融合和运动学建模等领域应用的传统的分析和算法方法外，还有越来越多的研究利用基于AI的方法来提高准确性、鲁棒性和实时决策能力。人工神经网络和深度学习方法越来越多地被用于预测运动轨迹、检测位置异常和近似复杂运动模式等任务。本文的主要目的是总结近期发表的研究对当前该领域的主要贡献，并强调关键趋势、挑战及其未来的发展前景。初步的统计分析基于自2006年以来在主流在线数据库搜索引擎中提出的查询进行。接下来，对过去6年中检索到的文章进行了更详细的分析，将其分为几类主题领域，包括人体姿态估计算法；运动检测与跟踪系统（特别关注人类运动）；以及更为专门的应用，如动作识别、自动驾驶、运动分析和监控。对所创建模型的架构、参数调整或训练方法、使用的输入数据集以及结果评估指标进行了分类。最后，得出了一些总体结论。

**1. 引言**
位置监测和运动跟踪在许多领域中发挥着关键作用，包括工程、机械、制造、医学、医疗保健和康复等。传统的对象位置和运动监测方法通常依赖于机械跟踪系统，例如编码器和电位计，这些系统直接测量角度或线性位移。基于标记的光学跟踪技术（例如，通过多个固定相机观察的红外反射标记）已被用于生物力学和动画中，以高精度重建运动。基于无线电的系统（包括RFID和GPS）通过测量信号强度或发送器与接收器之间的传输时间来提供位置估计。惯性测量单元（IMU），即结合了加速度计和陀螺仪的设备，是使用航位推算技术的传统运动跟踪和估计算法的组成部分。此外，超声波和磁跟踪系统也被用于工业和医疗应用中，根据传播时间或磁场畸变来确定对象位置。

与此同时，现代解决方案越来越多地依赖于无标记的、基于相机的跟踪方法。这些方法取代了早期依赖传感器的方案，实现了更精确且可扩展的部署。这些系统可以通过结合视频输入和增强人工智能的模型来检测对象位置、跟踪和分析运动，并实时预测轨迹。使用AI方法可以提高精度、减少时间延迟，并能够自动解释被研究对象的动态行为。现代位置和运动监测系统提供了明显的优势，包括通过增强人工智能的姿态估计显著提高的准确性，以及无需标记或专用实验室设备即可运行的能力。它们还支持在多样化的环境中进行实时分析，从而在工业、医疗和人机交互领域具有更大的灵活性和适用性。然而，这些系统仍面临一些显著的限制，例如在光线条件较差或背景动态变化的情况下鲁棒性降低。另一个弱点是它们依赖于大型数据集，这需要较长的训练时间。最后，许多当前的解决方案缺乏可靠的不确定性估计，使得在需要保证性能水平时难以部署。

因此，本文介绍了AI辅助的对象位置和运动监测系统的最新成就、当前趋势和发展方向。我们希望通过整合AI与现代基于深度的采集系统，即使在存在干扰和噪声的情况下，也能显著提升高精度位置确定、姿态重建、运动预测和实时轨迹跟踪等能力。

**2. 材料与方法**
初步研究确定了三个主要的研究方向：第一个是人体姿态估计，第二个是对象检测与跟踪，第三个是其他更为专门的应用。由于所提供的出版物的可信度、高质量、在学术界中的流行度以及完善的搜索引擎的可用性，决定使用Scopus和Web of Science (WoS, Clarivate) 数据库。遵循了PRISMA（系统评价和元分析的优先报告项）报告指南。在搜索之前定义了以下资格标准：

**纳入标准：**
(I1) 针对对象或人类位置监测、运动监测或跟踪的文章。
(I2) 至少使用了一种基于AI的方法（神经网络、深度学习、机器学习或图像处理）的文章。
(I3) 被Scopus或WoS索引的期刊文章、会议论文和综述文章。
(I4) 以英文发布的出版物。

**排除标准：**
(E1) 主要关注闭环控制系统的文章（关键词：“控制”、“位置控制”、“滑模控制”、“控制器”等）。
(E2) 无法获取全文的文章。
(E3) 从两个数据库中重复检索到的记录。
(E4) 社论、会议摘要和灰色文献。

基于上述资格和排除标准为搜索引擎制定的查询如下：

***
SCOPUS 查询：
TITLE-ABS-KEY ("位置监测" OR "运动监测" OR "位置跟踪") AND ("神经网络" OR "机器学习" OR "AI" OR "神经网络" OR "图像处理" OR "深度学习" OR "人工智能") AND NOT ("控制" OR "位置控制" OR "滑模控制" OR "控制器")

WoS 查询：
TS = ("位置监测" OR "运动监测" OR "位置跟踪") AND ("神经网络" OR "机器学习" OR "AI" OR "神经网络" OR "图像处理" OR "深度学习" OR "人工智能") NOT ("控制" OR "位置控制" OR "滑模控制" OR "控制器")

图1显示的搜索结果按时间进行了过滤，仅包括2006年以来的过去20年的出版物统计数据。值得注意的是，在过去10-12年中，对该主题的兴趣持续增长，尤其是2023年之后增长最为显著。因此，本文的后半部分将对最近的研究进行更详细的分析，主要针对2019年及以后的出版物，偶尔也会提及一些做出重要贡献的较早出版物。

图1显示了Scopus和WoS数据库中逐年注册的位置和运动监测相关出版物的数量。原始查询结果使用了PRISMA分析方法进行了处理。图2展示了得到的PRISMA流程图。在去除重复记录后，手动检查了每篇出版物的标题、摘要和关键词，在必要时还检查了全文。这一步骤用于验证每篇出版物是否至少涉及三个研究方向之一：人体姿态估计、对象检测与跟踪或专门的AI辅助视觉监测应用。只有当研究描述了与位置、姿态、对象运动、检测、跟踪或活动分析直接相关的AI方法、数据集、基准或评估时，才会保留记录。如果记录的主要贡献与闭环控制、非视觉仪器、无位置或运动分析的通用图像分类、无关的医疗或工业监测，或超出搜索标准范围的方法无关，则会将其删除。在最终资格筛选阶段，排除了2019年以前的出版物，除非它们引入了对解释最新工作所需的基础架构、基准或评估概念；这一步对应于图2中所示的“过时”排除项。各年份的接受出版物数量如下：2026年（31篇）、2025年（25篇）、2024年（9篇）、2023年（11篇）、2022年（5篇）、2021年（3篇）、2020年（9篇）、2019年（5篇）及更早的年份（3篇）。此外，还添加了来自arXiv数据库（2020-2025年）的8篇出版物，因为其中包含了关键架构的描述和重要的性能测试结果。最终分析的出版物共有109篇。随后，在图3中展示了大多数出版物关注的主要主题领域。

**3. 概念模型选择框架**
由于位置和运动监测系统在输入方式、输出类型、延迟限制和部署环境方面存在显著差异，因此不应仅根据标题的准确性来选择评估方法。为了在这一综述涵盖的广泛主题范围内提供一个统一的、作者驱动的解决方案，图6提出了一个决策框架，将实际设计要求与后续章节中讨论的模型家族联系起来。

**4. 人体姿态估计**
人体姿态估计视觉系统可能包括基于Transformer的方法、实时方法和无标记运动捕捉技术。还有关于调查方法、基准数据集、网络架构和反馈系统的出版物。表1和表2总结了以下小节中讨论的代表性出版物。

**4.1. 调查论文**
深度学习迅速提升了人体姿态估计（HPE）的水平，引发了大量关于2D和3D方法、不同传感器及实际应用的综述。Zheng等人[1]回顾了截至2022年发表的260篇论文，按2D或3D方法、受试者数量和输入类型进行了分类。对于2D单人体估计，他们比较了回归方法和热图方法。对于多人情况，他们讨论了自上而下和自下而上的处理流程，并使用MPII、COCO、PoseTrack和Human3.6M等基准进行了结果比较。Dibenedetto等人[2]回顾了从早期CNN模型到现代Transformer的方法的发展，重点讨论了在物联网和智能环境中的应用。他们为3D估计建立了六种分类方法：直接预测、2D到3D的转换、基于SMPL的体积模型以及单视图和多视图图像序列。他们还讨论了使用WiFi、RFID和雷达的隐私保护方法。Kappan等人[3]进行了从2010年到2025年的广泛调查，按输入类型、受试者数量和架构进行了组织。他们审查了LSP、MPII、COCO、Human3.6M、AthletePose3D或WorldPose等数据集，并指出了早期综述经常忽略的问题，如数据偏见和注释限制。Samkari等人[4]回顾了2014至2023年的约100篇2D HPE论文，采用了严格的筛选和质量检查标准。他们按输入类型（图像或视频）和受试者数量（单个或多个）对方法进行了分类。综述涵盖了数据集、损失函数和评估指标，并指出CNN主要用于空间特征，而RNN主要用于视频中的时间建模。Zhang和Shin[5]基于任务、输出方法（回归或热图）和架构（自上而下或自下而上）建立了分类法。他们的调查显示，基于热图的方法很常见，并强调了HRNet和Transformer模型（如ViTPose和TokenPose）的进步。持续面临的挑战包括跨领域泛化能力较弱以及计算需求较高。一些综述专注于3D姿态估计。Salisu等人[6]使用PRISMA协议，并根据传感器类型对3D HPE方法进行了分类，如RGB、IMU、深度传感器、点云和射频设备。基于相机的方法被分为单视图单人、单视图多人和多视图多人设置。该综述指出Human3.6M是主要的基准数据集，而MPJPE是最常用的评估指标，但当前的指标未能完全捕捉到时间一致性和运动平滑性。El Kaid和Ba?na[7]调查了2021年至2023年的相关出版物，并引入了一个基于输入类型等因素的新分类系统。他们区分了用于多人估计的根相对坐标系和以相机为中心的坐标系。他们在Human3.6M上的结果显示，像MixSTE这样的基于Transformer的方法在使用真实2D输入时可以达到先进的MPJPE水平。Neupane等人[8]将综述更新至2024年初，根据输入类型、时间结构和受试者数量将方法分为八类。他们讨论了半监督、弱监督和自监督学习方法，以及确定性、概率性和基于扩散的方法。Bataineh和Mohamed[9]关注用于人体工程学风险评估(REBA)的单眼估计，并指出很少有方法能够仅使用无深度传感器的单张RGB图像来估计REBA分数。Song等人[10]评估了HPE和动作识别技术，发现使用OpenPose关节的基于骨架的方法在Kinetics-400数据集上的表现不如基于视频的方法，主要是由于姿态估计的噪声和有限的时间建模能力。Tharatipyakul等人[11]研究了体育、表演艺术和医疗保健领域的活动反馈系统，回顾了45篇相关文章。他们发现OpenPose和MediaPipe是最常用的库，并指出了不准确姿态估计可能导致错误反馈的风险。Iyer和Jeong[12]系统地回顾了35项关于基于计算机视觉的职业安全HPE研究，重点关注姿势监测和人体工程学风险评估。他们讨论了工业环境中的实施挑战，并分析了部署的HPE模型的准确性，认为进一步的实际验证和集成仍然是必要的。

4.2. 基于Transformer的方法
Transformer架构在2D和3D任务中极大地提高了HPE性能（见表1）。Xu等人[13]引入了ViTPose和ViTPose++，前者使用标准的ViT编码器处理补丁特征，后者使用轻量级的解码器处理关键点热图。backbone模型有几种尺寸，从ViT-S到ViTAE-G不等，其中最大的模型在MS COCO测试集上达到了AP分数。作者表明，在微调过程中冻结多头自注意力层只会略微降低准确性，因此FFN层对于学习任务最为重要。ViTPose++通过将FFN层分为共享部分和任务特定部分，支持跨人体、全身和动物数据集的多任务学习，在MS COCO、OCHuman、MPII、COCO-Wholebody、AP-10K和APT-36K上获得了最佳结果。为了解决基于热图方法的坐标量化问题，Liu和Zheng[14]引入了VitCC，这是一种将关键点定位视为基于像素的分类任务的视觉Transformer坐标分类流程。他们的架构使用了有效的稀疏建模Transformer模块，包括ESP Attention和EM Feed-Forward Network。这种设计允许在一个自注意力层中使用不同的下采样率进行并行多尺度标记聚合。在COCO和MPII上的测试表明，VitCC在速度和性能上可与RTMPose媲美，在COCO上达到AP分数，在MPII上使用CSPNeXt-m backbone时达到PCKh分数。MotionAGFormer-B是一种基础变体，在Human3.6M上使用大约四分之一的参数和比之前的顶级模型MotionBERT少三倍的乘积累操作，实现了P1误差为毫米的精度。对于多视图3D姿态估计，Liao等人[15]提出了MVGFormer，这是一种混合模型，可以在可学习的外观模块和不可学习的几何模块之间切换。他们使用可微分的代数三角测量法更新3D估计，避免了基于体素的方法（如VoxelPose）中常见的量化误差，并防止了MvP方法中的相机过拟合问题。在CMU Panoptic、Shelf和Campus基准测试中，MVGFormer在新环境中优于完全学习模型，并在熟悉的环境中与其表现相当。Lu和Min[16]引入了AiPE，它将输入通道分成两组，并使用轴特定的自注意力进行并行处理，从而降低了计算成本。在243帧输入的Human3.6M数据集上，STCFormer-L实现了毫米的Protocol 1误差和毫米的Protocol 2误差，使用的是百万参数，而MixSTE使用的是百万参数。表1中的NR表示分析源中没有报告相应的速度或复杂度指标，而AP25表示在25毫米阈值下的平均精度。这些值应被视为来源报告的指标，而不是直接的可比 leaderboard，因为数据集、输入分辨率和评估协议因研究而异。

最近的研究继续改进基于Transformer的3D姿态处理流程，通常将注意力与显式的结构先验相结合。Zhao等人[17]提出了Clip-Cross Hierarchical Refinement Network (CCHRN)用于单目视频，它结合了基于Transformer的Clip-Cross Refinement Module (CCRM)和嵌入了SMPL导出运动先验的层次回归器；在3DPW和Human3.6M数据集上，他们分别报告了毫米和毫米的PA-MPJPE。Duan等人[18]引入了MixTGFormer，这是一种双流时空GCN–Transformer，它将关节视为空间分支中的标记，将帧视为时间分支中的标记，分别报告了毫米（Human3.6M）和毫米（MPI-INF-3DHP）的P1误差。Yang等人[19]提出了DDCEFormer，该模型增强了多头注意力，并实现了时空特征的交叉增强融合，在Human3.6M上实现了毫米/MPJPE，在MPI-INF-3DHP上实现了百分比/AUC/MPJPE。为了更明确地将解剖结构整合到注意力中，Wang等人[20]提出了MuRE，它通过自适应多关系注意力(AMuRA)机制增强了自注意力，该机制结合了关节自相似性矩阵和骨架邻接先验。Chen等人[21]提出了SFTFormer，这是一个结构感知的双流框架，它结合了基于图和基于注意力的建模、动态拓扑感知的位置编码和结构增强时空注意力，在Human3.6M和MPI-INF-3DHP上尤其是对于跨肢体交互和快速运动方面实现了先进的性能。Zhou等人[22]引入了HSG-GCNFormer，它在融合空间GCN流和时空交错注意力流之前应用了离散余弦变换(DCT)和频谱门控，分别在Human3.6M和MPI-INF-3DHP上实现了有竞争力的性能。

4.3. 实时和高效方法
在实际姿态估计中，如何在有限的计算能力下实现高精度是一个主要挑战（见表2）。Bazarevsky等人[23]开发了BlazePose，这是一个用于单个人体、设备内使用的卷积神经网络。该模型在训练期间使用编码器-解码器热图分支，在推理期间使用回归编码器，从而无需大量的热图输出并降低了延迟。基于人脸检测器的跟踪系统也有助于通过仅在头部可见时估计姿态来压缩模型。Lite-HRNet-18仅使用百万参数和GFLOPs，实现了百分之几的AP分数。在COCO验证集上，这比Small HRNet基线提高了9个AP分数以上，并且使用的计算能力大幅减少。在此基础上，Li等人[24]引入了Dite-HRNet，它在多分辨率backbone中增加了动态多尺度上下文(DMC)块和动态全局上下文(DGC)块。DMC块使用不同核大小的深度卷积并行处理，并根据输入使用注意力权重进行组合，而DGC块执行分辨率自适应的上下文池化。Dite-HRNet-30在384 × 288输入的COCO val2017数据集上实现了百分之几的AP分数，与Lite-HRNet-30相比在参数和FLOPs计数上都有所提升。Jiang等人[25]提出了RTMPose，这是一个实时框架，它使用基于SimCC的坐标分类头，将关键点定位转换为水平和垂直轴的单独分类。CSPNeXt backbone在速度和准确性之间取得了良好的平衡。RTMPose-m在Intel i7-11700 CPU上实现了百分之几的AP分数，在NVIDIA GTX 1660 Ti GPU上超过了430 FPS。RTMPose-s在Snapdragon 865移动芯片上实现了百分之几的AP分数，超过了70 FPS。Zhang等人[26]提出了一个超轻量级的端到端姿态蒸馏网络(UEPDN)，它结合了多阶段专家网络和重新参数化的子网络以及在线蒸馏，其中专家网络和学生网络共同训练。在LSP数据集上的测试表明，姿态蒸馏将第一阶段的精度从提高到了PCK@0.2，结合蒸馏和重新参数化后仅需百万参数和GFLOPs就能达到PCK@0.2。表2中报告的数值来自原始论文。FPS和延迟数值强烈依赖于测试的硬件和运行时后端，而GFLOPs、MFLOPs和MACs虽然不完全可互换，但为了保持与来源报告的复杂度指标的一致性而被保留。

Ma等人[27]也解决了长时间窗口内的效率问题，他们提出了AGMamba用于连续的2D到3D转换。他们的方法用线性复杂度的选择性状态空间模型(Mamba)替换了二次成本的自注意力瓶颈，并将其与增强注意力的GCN相结合，以联合建模空间骨架结构和时间运动，在低计算成本下实现了Human3.6M和MPI-INF-3DHP上的先进性能。

4.4. 3D姿态估计和无标记运动捕捉
Edriss等人[28]的综合性迷你综述研究了从Microsoft Kinect和StereoLabs ZED相机到开源软件库（如OpenPose、MediaPipe、AlphaPose和DensePose）的各种技术，强调将视觉传感器与基于AI的2D到3D转换方法集成是未来运动学和生物力学研究在体育和临床应用中最具前景的方向。除了传统的相机流程，Liu等人[29]提出了一种基于单像素成像(SPI)和MMPose架构的无图像3D姿态估计方法，可以直接从低采样率测量信号中提取3D姿态信息，而无需完整的图像重建。在Human3.6M数据集上，他们在低至的采样率下报告了准确的预测结果，并在自然光线条件下验证了最远30米范围内的实际操作，旨在消除源头的隐私泄露并减少传输和存储开销。Nakano等人[30]开发了一个多相机系统，该系统结合了基于OpenPose的2D关键点检测和直接线性变换(DLT)来重建全局参考框架中的3D关节坐标。他们在步行、反向运动跳跃和投球任务中的评估表明，与16个相机的光学标记金标准相比，大约80%的计算平均绝对误差低于30毫米，较大的误差归因于OpenPose中的帧级跟踪失败，包括将对象错误识别为身体部分或左右肢体交换。Pavllo等人[31]提出了一种全卷积架构，该架构利用扩张的时间卷积处理预测的2D关键点序列。在Human3.6M基准测试上，该模型实现了毫米的平均每关节位置误差(MPJPE)，比之前的最佳结果提高了大约毫米。作者进一步引入了一种半监督反投影方案，其中从未标记视频中得到的3D姿态估计被重新投影到2D并与原始关键点检测进行比较，从而可以利用大量未标记的数据集。即使只有5000张标记帧，半监督方法也比监督基线提高了高达毫米的MPJPE。Dill等人[32]研究了使用MediaPipe Pose框架进行3D姿态重建的可行性，通过对九名受试者的81段录像进行分析，实现了毫米的中位数RMSE，显著优于单目3D MediaPipe估计（中位数RMSE为毫米）。对于点云输入，Chen等人[33]提出了SARL，该框架结合了用于建立区域级局部坐标系的几何引导注意力模块和使用DCT调制的频率增强点变换器来增强低频人类配置信号，同时抑制高频噪声。他们在Sloper4D和Human-M3数据集上报告了一致的改进效果。Vun等人[34]评估了17项关于神经退行性疾病步态分析的基于视觉的运动捕捉研究，区分了步态测量系统和步态分类系统。在人工智能辅助方法中，支持向量机是最常用的分类器，分类准确率在涵盖帕金森病、阿尔茨海默病、痴呆症和多发性硬化症的研究中范围从百分之几到百分之几不等。除了特定于步态的应用外，最近的工作越来越多地解决了基于图像的设置中的姿态分类问题。Saber等人[35]提出了一种轻量级的基于注意力机制的架构，该架构结合了预训练的Swin Transformer主干网络以及一系列增强空间注意力（SPA）、上下文感知通道注意力（CCAM）和双权重交叉注意力（DWCA）模块，用于瑜伽动作和一般人类动作的分类。随后，Shan等人[36]提出了一种基于扩散的3D姿态估计方法（D3DP），该方法结合了基于联合重投影的多假设聚合方案（JPMA），利用去噪扩散概率模型从单个2D观测数据生成多个合理的3D姿态假设。D3DP的一个关键架构优势是其与现有确定性3D姿态估计器的兼容性，这通过仅进行少量修改就能使用MixSTE作为去噪器主干网络得到了验证。

4.5. 基准数据集、网络架构和反馈系统
Liu等人[37]引入了NTU RGB+D 120数据集，这是一个大规模的RGB+D基准数据集，包含来自106名受试者执行120个动作类别的114,480个视频样本。该数据集使用了Microsoft Kinect v2传感器在155个不同的摄像头视角、32种采集设置和96种不同背景环境中捕获，提供了四种数据模式：深度图、3D骨骼关节数据（25个身体关节）、RGB视频和红外序列。实验评估表明，结合RGB、深度和骨骼数据模式可以获得最高的识别准确率（跨受试者、跨设置），从而证实了不同数据流的互补性。作者还提出了动作-部位语义相关性感知（APSR）框架，用于一次性3D动作识别，利用Word2Vec嵌入来估计动作名称和身体部位名称之间的语义相关性得分，在20个新颖动作类别上的一次性识别中达到了较高的准确率。

在网络架构层面，Ci等人[38]引入了局部连接网络（LCN），作为图卷积网络（GCN）操作符的一种通用重构，用于从2D关节检测中估计3D人体姿态。通过将拉普拉斯矩阵分解为结构矩阵和权重矩阵，作者发现GCN的固有权重共享方案限制了其姿态回归任务的表示能力。LCN保留了与人体解剖结构一致的稀疏关节连接性，同时消除了权重共享限制，在Human3.6M数据集上实现了平均每个关节位置的误差（MPJPE）为毫米级。重要的是，LCN所需的训练样本数量要少得多——大约2000个样本，而FCN基线则需要超过5000个样本——并且对未见过的动作类别和跨数据集场景的泛化能力更强。

Ullah等人[39]提出了一个基于计算机视觉的动作评分系统，该系统整合了MediaPipe Pose框架和动态时间规整（DTW）以及归一化交叉相关（NCC）技术，用于康复运动的定量评估。该系统每帧提取33个解剖标志点，使用余弦规则作为主要运动学特征，并采用DTW来 temporally 对齐用户和参考运动序列，而NCC用于测量轨迹相似性。系统在对比评估中表现出优于RepNet的性能，特别是在涉及下肢运动的场景中，RepNet经常无法检测到重复动作。

Tharatipyakul等人[11]系统地描述了基于深度学习的HPE系统在物理运动反馈中的应用，确定了反馈系统中常见的三个模块：姿态估计模块、运动评估模块和增强型反馈展示模块。综述指出，开源库（尤其是OpenPose和MediaPipe）在实际应用中占据主导地位，其中关节角度测量是最普遍的空间特征，而DTW是所有研究论文中唯一的时间对齐方法。

5. 对象运动检测与跟踪
对象检测和多对象跟踪（MOT）构成了基于AI的人类监控系统的感知基础。本节概述了2D和3D对象检测的主要架构家族、主要的MOT范式及其数据关联策略、关键的公共基准测试以及尚未解决的开放性问题。表3总结了下面讨论的代表性方法。

5.1. 对象检测方法
深度学习检测器通常根据区域假设的生成和后续优化方式分为四类：两阶段、单阶段、无锚点和基于Transformer的[40]。这些类别在准确性上并非统一进步，而是代表了不同的工程设计权衡：两阶段流程以精度为代价牺牲了吞吐量，而单阶段和无锚点设计更注重延迟，Transformer架构则为了架构简单性牺牲了收敛速度。

5.1.1. 两阶段检测方法
两阶段检测器将检测问题分解为区域提案步骤，随后进行每个区域的分类和边界框回归。R-CNN系列开创了这一范式：首先提取候选区域，然后由卷积分类器进行分类，再通过回归头进行优化。Faster R-CNN用内部区域提案网络（RPN）替换了外部选择性搜索过程，RPN与检测头共享卷积特征，实现了接近实时的操作同时保持了较高的平均精度（mAP）[41]。另一个结构贡献是特征金字塔网络（FPN），它通过自上而下的横向连接将高分辨率但语义浅的特征与语义丰富的高层特征相结合，大幅提高了多尺度检测能力[42]。
两阶段设计特别适用于检测质量比帧率更重要的场景——例如在基于Stereo的自动驾驶中，Yebes等人[43]证明从Stereo图像中提取的3D感知特征在KITTI城市基准测试中显著优于单目流程。然而，这种精度优势也带来了实际成本：两阶段网络的推理延迟对于许多实时监控应用来说仍然过高，这推动该领域逐渐转向单阶段替代方案[40]。Vijiyakumar等人[44]提出了一种扩展的两阶段流程，结合了自动化图像标注和基于Inception v2的Faster RNN（AIA-IFRCNN）。判别相关滤波器与通道和空间可靠性跟踪（DCF-CSRT）模型首先自动标注边界框，然后将结构化标签输入Faster RNN检测器；Inception v2特征提取器通过softmax层生成类别概率。在三个不同类型的基准数据集（Bird、UCSDped2和水下）上的评估显示，AIA-IFRCNN实现了95.62%的最高检测准确率和低至4.16像素的中心位置误差，以及超过0.90的重叠率[44]。将相关滤波器跟踪器集成到标注循环中表明，SOT组件不仅可以作为运行时推理模块，还可以作为两阶段检测器的数据准备工具。

5.1.2. 单阶段检测方法
单阶段检测器在固定锚点网格上进行单次前向传播，同时预测类别标签和边界框坐标，以牺牲部分精度来换取显著提高的吞吐量。SSD（单次拍摄多框检测器）通过在不同的主干网络层上附加多尺度检测头来.set了一个早期先例，使得无需提案阶段就能捕获不同大小的物体[45]。
YOLO（You Only Look Once）系列将这一设计原则发展到了极致。从YOLOv1在PASCAL VOC上的45 FPS直接网格回归开始，每一代都以独特的方式改进了架构[45]。YOLOv4结合了跨阶段部分连接（CSP）、路径聚合网络（PAN）和Mish激活函数，在MS COCO上推动了速度-精度边界[42]。YOLOv7通过可训练的免费物品袋和基于ELAN的特征聚合进一步扩展了这一技术，在其发布时达到了新的速度-精度权衡标准[46]。YOLOv8通过采用无锚点检测头和C2f主干模块，成为了该系列中当时最先进的速度-精度性能[47]。YOLO11通过改进的C3k2模块和深度可分离卷积继续这一发展，与YOLOv8相比提高了参数到准确率的比率。由于YOLO11是最近发布的（2024年末），同行评审的覆盖范围有限：最全面的架构比较包括Hidayatullah等人[48]的arXiv调查和Khanam与Hussain[49]的综述，后者特别提到了从YOLOv8到YOLO11的详细比较[49]。Alif[41]对YOLO系列从v1到v8的演变进行了全面总结，涵盖了主干网络深度、锚点设计和数据增强策略的改进[50]。Alif[41]还针对智能交通系统报告了YOLO11的特定贡献，报告了与YOLOv8相比在标准检测基准测试中的参数到准确率比率提升。

5.1.3. 无锚点检测方法
无锚点检测器消除了预定义锚点尺度和宽高比的工程负担，而是通过关键点热图或密集的逐像素预测来定位物体。CenterNet将每个物体表示为热图上的一个中心点，宽度和高度以及可选属性作为从该点开始的偏移量进行预测——这种设计大大简化了流程，同时在行人和车辆基准测试中保持了竞争力[51]。这种以关键点为中心的设计的影响不仅限于检测领域：它成为了CenterTrack联合检测器-跟踪器（第5.2.2节）的基础。
无锚点哲学自然适用于航空和无人机图像中遇到的极端尺度变化，因为在这些领域中标准锚点网格可能无法捕捉到只占据少数几个像素的物体。切片辅助超推理（SAHI）通过将高分辨率图像分割成重叠的子区域，在每个子区域上运行推理，并通过非最大值抑制合并结果来解决这个问题。应用在VisDrone-DET数据集上的RT-DETR-X中，SAHI将平均精度提高了3.3个百分点，尽管吞吐量从大约28 FPS下降到了略高于1 FPS——这种权衡限制了其在离线或接近实时流程中的使用[52]。从YOLOv8开始，无锚点头部被YOLO系列所采用，有助于提高物体尺度的泛化能力[41]。

5.1.4. 基于Transformer的检测方法
DETR（DEtection TRansformer）通过将检测问题转化为在一个固定的学习对象查询池上通过双向匈牙利匹配损失解决的一组预测问题，消除了手动设计的组件——锚点生成和NMS[53]。CNN主干网络提取了带有位置编码的图像特征；然后Transformer编码器-解码器对这些特征进行交叉注意力操作，无需后处理即可生成类别标签和边界框预测。在MS COCO上，DETR的准确率与Faster R-CNN相当，但在小物体检测上的表现较弱，且收敛速度明显较慢——大约需要比等效的CNN基线多10倍的训练周期[53]。
Deformable DETR通过用可变形注意力模块替代全局自注意力来解决了这两个缺点，该模块在每个参考位置周围采样少量固定数量的关键点。这将训练成本降低了一个数量级，并显著提高了小物体的召回率[54]。在基于无人机的监控中，RT-DETR-X变体证明Transformer检测器现在可以实现实时操作，并且在小型物体基准测试上的准确率超过了单阶段CNN基线[52]。Transformer检测器是否会在监控应用中取代单阶段架构取决于效率的持续改进；在撰写本文时，与YOLO类检测器相比，其在收敛成本和内存占用方面的差距仍然显著。

5.2. 多对象跟踪方法
多对象跟踪（MOT）估计视频帧中所有感兴趣对象的轨迹，并随时间保持一致性身份。目前文献中主导的三种范式包括：基于检测的跟踪（TBD）、联合检测和跟踪（JDT）以及基于Transformer的端到端方法[55,56,57]。

5.2.1. 基于检测的跟踪
TBD将检测和关联解耦：帧级检测器独立于跟踪模块运行，数据关联算法将不同时间的检测结果链接成一致的轨迹。SORT（简单在线实时跟踪）使用卡尔曼滤波进行运动预测，并基于交并比（IoU）相似性使用匈牙利算法进行最优分配[58]。DeepSORT通过添加一个紧凑的重新识别（Re-ID）网络来增强SORT，该网络从检测裁剪中产生外观嵌入，并采用级联匹配策略，优先处理最近看到的轨迹[59]。ByteTrack通过保留低置信度检测而不是丢弃它们来重新构建关联步骤：第一轮匹配将高分数框分配给现有轨迹；未匹配的轨迹随后与低分数框重新关联，从而恢复标准阈值会丢失的遮挡物体[58]。一种新的混合方法SparseDeTrack[60]表明，TBD框架可以容纳稀疏的Transformer检测器而不牺牲实时性能。该方法在每个注意力层仅保留30%的编码器令牌，大大减少了内存带宽，同时保持了检测质量；Re-ID模块被扩展卡尔曼滤波器替代，后者直接预测边界框的宽度和高度而不是宽高比，从而改善了非线性运动建模。SparseDeTrack的两轮关联作为次要匹配阶段进行整合。在MOT17测试集上，SparseDeTrack实现了75.4 MOTA，帧率为44.5 FPS，分别在MOTR、TrackFormer和TransTrack上领先2.0、1.3和0.2 MOTA点；在拥挤的MOT20分割上实现65.6 MOTA，在DanceTrack上实现89.1 MOTA[60]。ByteTrack在MOT17和MOT20基准测试中展现了强大的TBD（Tracking Based Detection）参考性能（见表3），其两轮关联策略在拥挤的行人场景中仍然是最实用的策略之一。DeepSORT的Re-ID级联显著减少了身份切换的情况，虽然代价是增加了额外的嵌入网络和略微更高的延迟。TBD的基本限制是其对上游检测质量的依赖性很强；当检测器因遮挡、运动模糊或分辨率低而失败时，关联模块无法补偿，这限制了其性能上限，JDT和Transformer方法试图克服这一问题[57]。ByteTrack的低分关联策略是一种有针对性的启发式方法；而通用的学习解决方案仍然是一个未解决的问题。

5.2.2 联合检测与跟踪架构
JDT范式在共享网络中同时进行检测和Re-ID嵌入，减少了计算冗余，并使两项任务能够互相增强。CenterTrack利用连续两帧的数据以及热点图编码的先前轨迹位置，预测每个对象相对于前一帧的位移偏移量，从而无需显式的特征匹配，作为一种轻量级的光流替代方案[51]。Chained-Tracker采用了一种互补的方法：它通过端到端回归架构链式处理重叠帧对中的成对边界框估计[61]，将数据关联问题转化为直接回归问题，完全避免了组合优化。FairMOT和JDE同时证明了在一阶段框架中学习检测和Re-ID的效果可以与专用的TBD流程相媲美，并且实时部署效率很高[56]。

5.2.3 Transformer增强型MOT架构
基于Transformer的跟踪器通过在帧间保持持续的轨迹查询，将DETR的端到端框架扩展到时间域。TransTrack是第一个利用这一概念的系统：来自前一帧的对象特征直接作为当前帧的轨迹查询，而另一组可学习的对象查询则用于处理新出现的目标[62]。MOTR通过引入考虑轨迹的标签分配和Temporal Aggregation Network（TAN）进一步改进了这一设计，该网络无需任何后处理NMS或IoU匹配即可逐帧传播轨迹查询状态，实现了真正的端到端时间建模[63]。Global Tracking Transformer（GTR）进一步扩展了这一范围，在单一框架内同时建模外观和运动，不仅在行人目标上，而且在大型词汇量跟踪基准测试中证明了其鲁棒性[64]。

5.3 基于SOT的MOT方法
这类方法将每个被跟踪的身份视为一个独立的单目标跟踪（SOT）问题，并在MOT层面聚合结果[56,65]。基于SOT的MOT为每个检测到的对象初始化一个孪生网络或相关滤波器跟踪器，并独立传播每个模板，由于跟踪器完全专注于单个目标，因此对外观变化和短期遮挡具有鲁棒性[65]。孪生网络将模板块和搜索区域嵌入到共享的特征空间中；由于网络权重在所有实例间共享，因此在无需重新训练的情况下可以处理多个轨迹[56]。CenterTrack可能位于受SOT启发和JDT设计之间的中间位置：它对每个对象的位移偏移量进行局部处理，而不是全局处理所有身份，从而在较低的推理成本下实现较高的局部关联准确性[51]。然而，完全基于SOT的MOT的主要缺点是推理成本随着同时跟踪对象数量的增加而线性增长，这使得它不适用于密集人群监测。另一个弱点是对初始化错误的敏感性：如果没有全局一致性机制，错误的模板可能会污染整个轨迹[57,65]。

在基于3D LiDAR的跟踪中，Yin等人[66]将基于柱子的CenterPoint检测器与速度条件下的卡尔曼滤波器结合起来，证明了SOT风格的逐对象状态传播能有效扩展到在Waymo Open Dataset上评估的自动驾驶 pipelines[67]。这种方法值得注意的是它基于点云而非图像进行操作，表明SOT范式并不局限于2D外观特征。Xu和Huang[68]将SOT风格的逐对象传播扩展到了多智能体协作环境中，他们使用了CoTrack方法。该方法基于一个包含两个互补子模块的时空聚合模块：空间跨智能体协作子模块动态整合相邻车辆的特征图以纠正定位错误，而时间自我-智能体增强子模块则维护历史帧上下文以补偿稀疏点云观测中的数据缺失。无监督的特征压缩器减少了智能体间的通信带宽，两阶段在线关联则对齐了不同智能体之间的检测-跟踪对。在模拟和真实数据集上的实验验证表明，这种方法在噪声较大、带宽受限的条件下实现了协作的3D检测和跟踪的最新性能[68]。因此，CoTrack将CenterPoint[66]确立的主题——SOT风格的时间传播适用于点云管道——延伸到了多智能体、车辆对车辆的感知场景中。

表3总结了代表性的对象检测和多对象跟踪方法。表3中的数值应被视为对报告的准确性、速度和复杂性指标的结构化比较，而不是严格的排名。由于研究之间的数据集、输入分辨率、硬件平台和评估协议的不同，直接数值比较受到限制。

5.4 基准测试和评估指标
一系列标准化基准测试推动了检测和跟踪领域的进展。表4总结了主要的数据集及其范围。MOTChallenge（MOT15、MOT16、MOT17和MOT20）提供了以行人为主导的序列以及用于标准化评估的真实轨迹[69]。MOT17提供了14个序列，这些序列在全身级别进行了标注，并配备了三种公开的检测方法（DPM、Faster R-CNN和SDP），允许独立于检测器选择来比较关联算法。MOT20显著增加了人群密度，挑战了在MOT17中不存在的遮挡和杂乱条件下的跟踪器性能。ByteTrack在两个分割上的公布结果仍然是TBD范式的广泛参考点[58]。

KITTI包含带有最多八个对象类别注释的训练和测试序列，是自动驾驶检测的标准基准[43]。它包含了立体图像，在扩展版本中还包含点云数据，支持2D和3D评估协议，成为纯基于图像和基于LiDAR的检测器比较之间的有用桥梁。Waymo Open Dataset提供了1150个驾驶视频片段，这些片段标注了五种传感器模态下的2D和3D边界框，覆盖了多样的地理和天气条件[67]。它是包括PointPillars[67,70]、PointRCNN[67,71]、STD[67,72]和CenterPoint[66,67]在内的基于LiDAR的检测器的主要评估平台。BDD100K包含了100K个驾驶视频，涵盖了多样的天气、照明和地理条件，其中专门的MOT分割包括1400个训练视频、200个验证视频和400个测试视频，涉及八个对象类别[73]。该数据集的规模和多样性使其成为以行人为中心的MOTChallenge套件的宝贵补充。

TAO（Tracking Any Object）大幅扩展了类别范围，涵盖了2907个高分辨率视频和833个对象类别，远远超过了MOTChallenge的类别多样性，特别针对长尾跟踪性能[74]。DanceTrack采用了不同的方法：它提供了行人外观统一但运动模式高度非线性的序列，将关联组件视为主要挑战，使其成为评估基于运动的跟踪而非基于外观的跟踪的最苛刻基准[63]。

清晰度指标（CLEAR-MOT）将MOTA定义为误报、漏报和身份切换的组合，并通过真实计数进行归一化[69]。由于检测失败在该组合中占主导地位，MOTA倾向于更多地奖励强大的检测器而非强大的关联策略。IDF1通过使用二分匹配在轨迹层面评估身份保持情况来弥补这一点，该方法最大化了时间重叠，提供了关联质量的补充视图。HOTA旨在通过明确分离检测准确性、关联准确性和空间定位来解决已知的MOTA偏差，将其作为DanceTrack和越来越多的MOTChallenge中的首选指标[58]。

第7节综述了对象检测和跟踪的开放挑战及未来研究方向。

6. 特化应用
在对象检测和运动监控的专门应用领域，已经确定了几個领先的研究方向，包括动作识别、自动驾驶和运动分析与监控。

6.1 自动驾驶
控制自动驾驶车辆需要一个快速且无故障的系统来检测周围对象并监控它们的运动。Gupta等人[75]、Berwo等人[76]的论文以及Cai和Wu[77]关于基于深度学习的3D对象检测算法的最新研究进展，展示了这类系统面临的问题和挑战。此外，Haris等人[78]对基于图像的三维对象检测方法进行了全面的调查。

在最近的研究论文中，Zhang等人[79]尝试改进在雪地条件下的自动驾驶对象检测。他们构建了一个轻量级检测模型，该模型特别解决了雪覆盖导致的特征遮挡和空间扭曲问题。该模型将三个新颖模块整合到基于YOLOv8的框架中，包括：多变量特征学习（MFL）用于在雪覆盖下进行更丰富的特征提取，关联空间信息（ASI）增强模块用于增强跨维度的空间感知，以及更轻量级的融合C2f（LF_C2f）机制用于在保持准确性的同时降低计算成本。在真实世界的RSOD数据集上的实验验证显示，该模型的mAP@0.50达到了75.4%，超过了许多现有技术[79]。Zhang等人[80]提出了另一种在低照明或恶劣天气等挑战性条件下的对象检测方法。他们设计的双流检测系统结合了两个新颖模块：自适应双注意力（ADCA）通过可学习的权重灵活平衡不同模态之间的自注意力和交叉注意力，以及自适应最大平均下采样（AMAD）通过动态加权最大池化和平均池化增强多尺度特征表示。在单独的数据集上的实验验证显示，该模型的mAP分别达到了50%、50%和50%[80]。Song等人[81]提出了另一种改进多模态3D对象检测的框架，解决了基于图像的深度完成引入的噪声和不一致性问题。他们设计的DRNS（Dual-branch Noise-Resistant Sparse convolution）框架统一了去噪、多模态融合和迭代特征细化。在KITTI数据集上，该框架在Easy、Moderate和Hard难度下的3D Car AP分别达到了78.3%、75.4%和74.7%的准确性。

Lu等人[82]基于YOLOv8n创建了一个SDF-YOLO框架，用于改进小对象的检测。该系统包括Sim-ACCoM模块用于多尺度卷积和注意力，动态插值融合（DIF）模块用于高效的特征对齐和融合，以及Group-Slim剪枝用于在保持准确性的同时减少参数数量。在KITTI和BDD100K数据集上的实验结果显示，与YOLOv8n相比，该框架的mAP提高了9.3%、79.2%和75.4%，精确度分别提高了3.0%和4.6%。Foroutannia等人[83]通过融合摄像头和LiDAR数据提高了自动驾驶的3D对象检测的准确性和鲁棒性。所提出的系统首先使用YOLOv4从相机图像生成2D边界框，然后利用几何透视法将它们投影到LiDAR空间中以提取相关的3D点云，最后应用3D U-Net架构进行精确的3D边界框分割。在KITTI数据集上的实验结果显示出了高检测性能，全局准确率可达%，加权IoU为%（0%噪声），在10%噪声下仍保持%的准确率和%的加权IoU。吴等人[84]提出了一种利用LMSDF-Net提高复杂自动驾驶环境中小物体检测准确性的新方法。基于YOLOv11的轻量级框架（参数和GFLOPs）通过加入混合注意力模块来抑制背景噪声，多尺度动态特征聚焦模块来更好地聚合区分性特征，以及P2小物体检测头。在Udacity和SODA10M数据集上的实验结果表明mAP@50为%，mAP@50–95为%。此外，潘等人[85]提出了一种基于几何的BEV检测框架，用于改进基于相机的多视图BEV 3D物体检测。该系统包括一个可变形多任务（DMT）头、一个法线到深度（N2D）模块、一个无参数的局部平面深度聚合（LPDA）模块以及一个感知法线的BEV表示模块。nuScenes基准测试结果显示，在测试集上的NDS和mAP分别为%，在最低计算成本下优于其他BEV检测器。王等人[86]开发了VoteFusion框架，用于在遮挡和噪声环境下提高鲁棒的3D物体检测，该框架结合了雷达/LiDAR点云和多视图图像特征，并引入了一种新颖的基于投票的跨模态验证机制来生成高可信度的3D提议。在KITTI、nuScenes和Waymo上的实验结果表明性能强劲：KITTI上的mAP为%，nuScenes上的mAP为%，Waymo上的mAP和NDS为%。刘等人[87]提出了一种专门用于支持复杂交通场景中小物体和遮挡物体检测的新方法。为此，他们设计了一种改进的RetinaNet基检测器AttenRetina，结合了特征金字塔网络（FPN）和混合空间-通道注意力模块。实验结果显示mAP分别为（KITTI）和（MS COCO），精确度/召回率为/（KITTI），比基础RetinaNet提高了12%以上。Sgaravatti等人[88]设计了一种鲁棒的实时3D检测框架，用于检测小而远的物体，该框架由并行连接的2D RGB物体检测器和3D LiDAR检测器组成。在KITTI数据集上的实验表明，与其他仅使用LiDAR或多模态方法相比，在检测不平衡物体类别（如行人和骑自行车者）方面有着显著改进。表5总结了最近为自动驾驶汽车物体检测设计的方法的主要特征和参数。表5显示，最新创建的模型大多使用仅依赖RGB相机的2D方法或多模态3D方法，这些方法结合了相机和LiDAR组件。最常用的公共数据集包括KITTI、nuScenes、BDD100K、Waymo等。物体检测质量指标通常包括经典的mAP（平均精度）。此外，还使用了一些特定于数据集的指标，如NDS（nuScenes检测分数）。6.2. 基于视觉的人类活动分析和监控以下小节分别分析了AI辅助的人类行为识别和监控系统。6.2.1. 行为识别龚和罗[90]进行了一项关于视频行为识别（VAR）系统的详细调查。作者分析了近一百篇关于基于RGB或HPE的模型的出版物，并区分了这些模型的主要架构：双流网络、3D或图卷积神经网络（3D-CNNs/GCNs）、循环神经网络或长短期记忆网络（RNNs/LSTMs）以及注意力机制（AM）。朱等人[91]对超过200篇出版物进行了广泛分析，得出了类似的结论，指出最初的解决方案依赖于自适应深度学习，而目前三种技术处于领先地位：双流网络、3D卷积核和最新的计算效率模型。唐等人[92]也进行了类似的分析，尽管范围较窄，但他们也得出了类似的结论，并指出了结合自然语言处理和计算机视觉的基于Transformer的方法日益重要的作用。Pham等人[93]基于20世纪90年代到2020年的230多篇参考文献，强调了深度学习技术在使用CNN、RNN、LSTM、DBN（深度信念网络）等人工神经网络进行人类行为识别中的重要作用。关于与人体相关的行为识别，王等人[94]构建了一个基于视频的行人属性识别（PAR）系统。为了克服基于图像的方法和低效视频模型的限制，作者创建了一个视觉-语言VTFPAR++框架，该框架利用了一个冻结的CLIP基础模型以及一种新颖的时空侧调优策略来实现参数高效的自适应。在MARS和DukeMTMC-VID数据集上的实验结果显示，该系统的准确率和F1分数分别为%和%，训练参数数量远少于其他现有方法，且内存需求更低。Shin等人[95]提出了一个基于视频的人类活动识别（HAR）系统，该系统将预训练的ConvNeXt模型用于每帧空间特征提取，结合了时间卷积网络（TCN）进行序列建模。在四个基准数据集上的实验表明性能很高，准确率分别为%、%、%（UCF11）、%、%（UCF50）和%（JHMDB）。Sinha和Kumar[96]提出了一种基于UAV捕获视频的多姿态HAR系统，该系统基于一种新颖的DMLC-CNN框架，能够补偿视角失真、方向误差和复杂背景的影响。实验结果显示，该系统优于标准CNN、DNN、DBN和RNN基线模型，准确率为%，误报/阴性率约为0.044%，聚类时间缩短了36毫秒，训练时间显著减少。Feichtenhofer等人[97]提出了一种通过显式建模空间语义和时间运动的不同角色来改进视频行为识别和检测的方法。他们开发的SlowFast网络架构结合了两种视频信号处理路径：一种慢路径，稀疏采样以捕获丰富的空间语义；另一种快路径，密集采样以捕获细粒度运动。实验结果显示，在多个基准测试中表现出色，包括%的最高1精度（Kinetics-400）、%的最高1精度（Kinetics-600）、%的mAP（Charades）和%的mAP（AVA行为检测）。6.2.2. 智能监控和异常检测动态物体检测技术的另一个专门应用是运动分析和监控。这一领域的出版物通常包括使用卷积神经网络和深度学习或基于Transformer的技术的方法。Arkin[98]提供了对这两种方法的比较调查。Brunetti[99]对行人检测和跟踪进行了更具体的分析。孙等人[100]尝试通过提出SMACAN来改进无监督视频异常检测，这是一种超参数-free、场景和运动感知的异常检测框架。该框架具有双分支自动编码器架构（帧预测+光流重建），并通过场景对象细化模块（运动校准）、交叉流注意力模块（运动-外观融合）和运动特征分布模块（异常检测）进行了增强。实验结果显示性能很高，在ShanghaiTech数据集上的准确率为%，在CUHK Avenue数据集上的准确率为%。Wang[101]构建了一个集成多目标跟踪流程，该流程同时解决了低信噪比检测、长期运动建模和双目3D轨迹重建问题。所提出的系统结合了两阶段级联检测器（全局增强+局部噪声抑制）、混合跟踪器（卡尔曼滤波器+基于Transformer的运动模型）和双目匹配（3D轨迹重建）。仿真结果显示，与基线相比有所改进，MOTA为，IDF1（2D跟踪）为，MOTA和IDF1（3D跟踪）为。胡等人[102]开发了一种四层（视网膜层、SGC树突层、SGC树体层和两阶段Rt层）的生物启发式架构，用于复杂高海拔场景中的小型移动物体检测。在BEVS和RIST数据集上的实验表明，与经典方法（例如帧差异、光流和高斯模型）相比，检测率和误报率更低。Ness[103]的工作关注于改进智能监控系统中的车辆检测和识别。他们设计的基于LSTM的框架使用运动方向和角度特征来区分视频数据中的车辆和其他物体。实验结果显示，在UCSD和VRiV数据集上的准确率分别为81%和83%。Jia[104]提出了一种基于xLSTM的轻量级跟踪器，用于鲁棒和高效的视频级视觉物体跟踪。该系统的架构包括帧级运动感知模块和视频级运动感知模块，使用基于xLSTM的循环隐式运动状态来整合长期时间动态。该跟踪器在八个基准测试中的平均准确率为75.2%，AUC为55 FPS，参数数量为69.6 M，GFLOPs为44。Rajasekaran[105]的论文旨在改进智能物联网监控中的多目标物体检测和分类。所提出的系统包括噪声去除模块、语义特征提取模块、用于检测和分类的多组件注意力图卷积神经网络，以及用于优化网络权重的Brown Bear算法。在PASCAL VOC数据集上的实验结果显示，准确率为99.5%，特异性为99.1%，mAP为99.1%，同时保持较小的模型大小（60.80 MB）和实时速度（53 FPS）。Jiang[106]尝试通过在3D世界坐标系统中而不是2D图像平面上建模运动来减少遮挡下的多目标跟踪中的身份切换。他们提出了一种新的跟踪器，该跟踪器结合了线性相机模型、维度恢复模块、世界运动模型（WMM）和结合的2D-3D代价矩阵。实验结果显示，身份保留能力得到提高，例如IDF1=81.2，HOTA=65.7，MOTA=80.8（MOT17数据集），实时性能与仅基于运动的跟踪器相当。Kumar[107]提出了针对基于UAV的智能监控的物体检测改进。他们设计了一种基于YOLOv5的深度神经网络，并增加了三个多尺度预测头，以应对小型物体、密集场景和航空图像中的遮挡问题。使用VisDrone数据集的实验结果显示，准确率为95.1%，召回率为%，mAP@0.5%，优于标准的YOLOv5和YOLOv7模型。表6总结了该领域最新工作的模型描述、评估方法、成果和主要贡献。大多数开发的框架专注于2D空间；只有两个模型[101,106]在3D空间中运行。最常用的质量度量是检测指标（mAP）和跟踪指标（MOTA, IDF1）。在某些情况下，还使用了异常指标AUC[100]和生物感知指标DR和FA[102]。除了[106]之外，所构建的模型都基于各种人工神经网络（ANN）架构。目前在ANN调整方法中，监督训练占主导地位，但也出现了混合[101]、多集[104]和无监督[100]方法。7. 未来研究方向和挑战本节总结了所审查各个领域的主要未来研究方向和开放挑战。7.1. 人体姿态估计（HPE）展望未来，在医学诊断检查中，扫描工作空间内的低延迟姿态或运动监控可以支持对患者运动的客观评估，并通过及时反馈或扫描控制帮助减少运动相关伪影。未来的工作应优先考虑在受限视图和遮挡条件下的鲁棒性、设备上的轻量级推理以及适合安全关键工作流程的不确定性感知输出。从技术和架构的角度来看，HPE研究预计将继续朝着结合Transformer风格的全局上下文和高效局部归纳偏见（例如卷积、图层或状态空间块）的混合模型发展。一个关键方向将是支持更长的时间窗口，并更好地利用关于身体结构的信息，同时为部署硬件设计可预测的训练配方和推理优化。多模态HPE预计将在实际应用中变得越来越重要，结合RGB与其他感知技术（例如深度、IMU/RF和点云），并在可用时利用多视图几何信息。核心挑战是在遮挡和受限视图条件下实现鲁棒的传感器融合，包括在模式缺失、噪声或校准错误时的优雅退化。多模态设计可以通过减少对可识别RGB图像的依赖来实现隐私保护，同时保持具有临床意义的运动评估。7.2. 目标检测与跟踪 在检测和跟踪领域仍存在一些基本问题尚未解决。在无人机和广域监控中，小目标检测尤其突出，因为目标仅占几个像素；基于切片的推理流程（如SAHI）可以提供部分缓解，但却会降低吞吐量，从而无法实现实时使用[52]。在密集拥挤的场景中，遮挡问题继续侵蚀检测召回率和轨迹连贯性；ByteTrack的两轮低分数关联是一种实用的启发式方法，但关于如何处理相互遮挡的更广泛问题在文献中尚未得到解决[57,58]。目前的缓解措施包括ByteTrack的两轮关联、MOTR的集体平均损失（CAL）和基于注意力的重新识别，这些方法仍然是特定任务的启发式方法，而不是通用解决方案[58,63]。计算效率对于边缘部署至关重要；Transformer检测器（DETR和Deformable DETR）在准确性方面具有优势，但其收敛速度慢且内存占用高，这限制了它们在嵌入式监控硬件上的应用[53,54]。对于嵌入式部署来说，效率约束尤为明显。FPGA平台上的硬件-软件协同设计（例如，使用YOLOv3的Vitis AI在Xilinx ZCU104上）展示了无需GPU级别资源即可进行推理的可行路径：DPU加速的检测模块可实现FPS系统吞吐量（比仅使用CPU的基线快1.53倍），而混合跟踪系统在相应的相似性阈值下达到了81%的成功率[108]。尽管如此，与服务器级GPU流程相比，准确性的差距仍然不可忽视，能够缩小这一差距的轻量级Transformer架构仍然是一个开放的研究问题[60]。基准训练分布与真实监控环境之间的领域差异——例如不同的天气、夜间场景和广域空中视角——限制了在MOT17或COCO上训练的模型的迁移能力[73,109]。TAO针对长尾类别覆盖进行了优化，但目前还没有任何跟踪器能够在接近单类别行人表现的程度上实现对833个类别的稳健泛化[74]。Transformer跟踪器在长序列上的时间一致性仍然是一个弱点；MOTR的集体损失和TAN提高了帧间连续性，但在标准行人基准测试中仍然落后于TBD基线[63]。未来的发展方向包括将可变形注意力与高效骨干网络结合的轻量级Transformer架构、利用点云和图像融合实现改进的3D情境意识的端到端检测-跟踪模型[66]，以及能够在真实世界监控部署的各种条件下减少对注释依赖的自监督预训练策略[55,57]。8. 结论 在过去几年中，计算机辅助的目标位置和运动检测系统已成为越来越多研究中心的研究课题。由于这些系统的特定性质，它们通常基于人工智能技术构建，尤其是各种神经网络架构。本研究主要关注自2019年以来发表在Scopus和Web of Science数据库中的科学文章。对这一主题的初步分析确定了三个主要研究领域，包括人体姿态估计、目标检测与跟踪以及专门应用。随后在每个领域进行了更详细的分析。最后，提出了具有科学性、实用性和前瞻性的结论。基于分析，可以得出以下概括性结论：在人体姿态估计（HPE）领域，文献强调了从神经分类结构和基准测试向基于Transformer的骨干网络和高效实时流程的明确进展，这些流程使得2D和3D姿态恢复在操作环境中越来越实用。YOLO系列的一阶段检测器——从YOLOv4到YOLO11——在MS COCO等标准基准测试中不断推进速度-准确性边界，每一代都引入了架构改进（YOLOv4中的CSP连接、YOLOv8–YOLO11中的无锚点C2f/C3k2头、YOLO11检测块中的深度卷积），这些改进提高了参数与准确性之间的比率，而不牺牲实时吞吐量[41,42,46,47]。这些特性使得YOLO类的检测器成为实际监控部署的首选骨干网络。基于Transformer的检测器（DETR和Deformable DETR）在集合预测质量上提供了补充优势，但代价是显著更长的收敛时间和更高的内存占用[53,54]。在多目标跟踪方面，没有一种范式在所有评估条件下都占据主导地位。基于检测的跟踪方法（如ByteTrack）通过在拥挤的行人场景中的两轮低分数关联，在MOT17基准测试中实现了先进的MOTA（MOT17：MOTA，30 FPS；MOT20：MOTA）[58]。相比之下，如MOTR这样的增强型端到端跟踪器在DanceTrack任务中在关联质量上超越了ByteTrack，因为在该任务中外观是统一的且运动是非线性的，记录了HOTA和AssA的百分比提升，因为在那种情况下基于IoU的分配方法会失效[63]。SparseDeTrack[60]这类稀疏注意力混合方法代表了折中的解决方案：在Sparse DETR检测阶段，30%的令牌保留率使编码器FLOPs减少了14%（与50%保留配置相比（G vs. G FLOPs在令牌消融研究中），而整个系统保持了44.5 FPS的实时推理速度。因此，SparseDeTrack在MOT17上的表现优于其他基于Transformer的方法（MOTA），表明选择性注意力压缩是资源受限部署的一个可行设计方向。无论是从点云还是协作多智能体传感器融合获得的3D目标检测和跟踪，都已经成熟到可以在自动驾驶的大规模基准测试（如Waymo、KITTI和nuScenes）中进行评估，CenterPoint结合了基于柱状点和体素的检测以及贪婪的、考虑速度的最近邻关联，建立了强大的3D跟踪基线（在nuScenes上的AMOTA，超越了之前的最佳水平[66]。最近的合作扩展，如CoTrack[68]，表明多个智能体之间的时空特征共享可以补偿车辆间感知中固有的定位错误和数据稀疏性。CoTrack使用可变形的跨注意力进行空间对齐（空间跨智能体协作模块）和交叉注意力进行时间上下文处理（时间自我智能体增强模块）。这些结果表明，单一传感器与多传感器跟踪之间的范式差异正在缩小。将这些3D流程与基于图像的2D方法整合成统一的检测-跟踪架构仍是未来研究的重要方向[66,68]。具体的实际应用涵盖广泛的领域，但尤其多的研究集中在动作识别、目标和运动检测、自动驾驶、运动分析和监控等问题上。在这些特定应用中，直到几年前，2D成像技术仍被广泛使用。目前，基于卷积神经网络（CNN）、循环神经网络（RNN）或Transformer的多目标3D系统变得越来越常见。尽管这些系统对硬件的要求更高，但它们在噪声或低质量信号环境中的准确性更高。