基于边缘计算的AI手势识别技术在人机交互与控制中的应用 尼古拉·伊瓦奇科（Nikola Iva?ko）， 伊万·契里奇（Ivan ?iri?）， 米洛什·西莫诺维奇（Milo? Simonovi?）

《Computers》：Edge Computing Approach to AI-Based Gesture for Human–Robot Interaction and Control Nikola Iva?ko, Ivan ?iri? and Milo? Simonovi?

　　摘要：本文提出了一种基于边缘的视觉框架，用于人机交互，该框架利用xArm协作机器人和安装在机器人手腕上的单个RGB相机，以及轻量级的基于AI的感知模块来实现这一目标。该系统通过结合手部理解和物体检测，在统一的感知-决策-控制流程中实现了直观的、无接触的控制。手部特征点使用MediaPipe Hands提取，从中可以得出连续的手部轨迹、静态手势和动态手势。任务物体通过基于YOLO的模型进行检测，手部和物体的观测结果通过基于ArUco的平面校准映射到机器人工作空间中。为了确保机器人运动的稳定性，手部控制信号经过低通滤波和卡尔曼滤波处理；而挥手等动态手势则通过轻量级的LSTM分类器进行识别。整个流程在边缘硬件上本地运行，具体来说是使用NVIDIA Jetson Orin Nano和Raspberry Pi 5以及Hailo AI加速器。实验评估包括轨迹稳定性、手势识别可靠性以及两种平台上的运行时性能。结果表明，滤波显著减少了手部跟踪的抖动，手势识别为控制提供了稳定的指令状态，并且两种边缘设备都支持实时操作，其中Jetson的运行时性能始终优于Raspberry Pi。所提出的系统证明了低成本边缘AI解决方案在协作工业环境中实现响应迅速和实用的人机交互的可行性。

1. 引言
随着机器人在工业环境中的部署日益增多，人们对直观且安全的接口需求也在增加，这些接口允许人类操作员实时监督和指导机器人系统。协作机器人（cobots）适用于制造、检验、质量控制和生产单元重组等应用场景，在这些场景中，人类操作员和机器人共享工作空间，并且任务需要频繁调整。在这种情况下，人机交互（HRI）在提高可用性、减少设置时间和提升整体效率方面发挥着关键作用[1]。
传统的工业机器人控制方法基于教学挂件、操纵杆或控制面板。尽管这些方法可靠，但它们需要物理接触，在精细操作或需要频繁重新定位机器人时可能会带来不便。为了解决这些问题，最近的研究探索了基于手势的HRI，操作员通过相机或可穿戴设备用手势向机器人发送指令。基于视觉的手势接口特别吸引人，因为它们是非接触式的，不需要操作员专门配备硬件，并且可以轻松集成到现有的工作单元中[2,3]。
然而，许多现有的基于手势的HRI系统存在重要限制。有些工作将手势纯粹视为静态符号（例如“拳头”、“手掌”、“V”手势），并映射到离散的指令上，这限制了交互的丰富性并限制了对机器人工作空间的连续控制[4]。其他方法依赖于深度相机和全身姿态估计来重建3D运动，这增加了硬件成本和计算负载，并且在资源有限的工业环境中难以部署。此外，一些手势识别方法依赖于复杂的深度学习架构，这些架构在没有优化的情况下难以在资源受限的平台上部署[5]。此外，大部分文献关注的是通用型移动机器人或人形机器人，而工业协作机器人和边缘AI的应用仍然较少受到关注[6]。
像NVIDIA Jetson这样的边缘AI硬件平台以及嵌入式加速器（例如Hailo）已经发展到可以在网络边缘直接运行复杂的视觉模型的程度。在边缘本地运行感知和控制可以减少延迟，并解决数据隐私问题，这些都是工业监控和控制的关键要求。尽管如此，系统地研究完全在边缘设备上实现基于手势的协作机器人控制的研究仍然相对较少[7,8]。
本文提出了一种基于边缘的视觉HRI系统，操作员可以使用安装在机器人手腕上的单个RGB相机捕捉的手势来控制xArm协作机器人。该系统将物体感知和手部理解集成到一个完全在边缘硬件上执行的统一交互流程中。使用MediaPipe Hands提取21个二维手部特征点，并通过基于ArUco的homography将其映射到机器人工作空间中。同时，使用针对相关物体类别训练的基于YOLO的模型检测任务物体。这一感知阶段建立在我们之前关于长形和可变形物体认知抓取的工作基础上，其中使用了基于深度学习的检测、姿态估计和方向感知分析来支持对精细产品的适应性操作[9]。得到的信息流结合在一个“手势到动作”（GTM）控制框架中，该框架解释连续的手部轨迹以及语义手势（例如手掌展开、拳头、大拇指向上、捏合）和动态手势（例如挥手）。系统进一步分析手部与物体的空间关系，以推断交互意图并生成适当的机器人指令。整个感知-决策-控制流程在边缘平台上本地运行，具体来说是使用NVIDIA Jetson Orin Nano和Raspberry Pi 5以及Hailo AI加速器，并在运行时行为和交互可靠性方面进行了系统评估。这项工作的创新之处在于整合并实验验证了一种轻量级的、可部署在边缘的设备上的HRI流程，该流程结合了（i）连续的手部轨迹控制，（ii）静态语义手势，（iii）动态事件级手势，以及（iv）在统一机器人控制框架内的对象感知上下文推理，用于协作操作。
本文的其余部分组织如下：第2节回顾了基于传感器和基于视觉的手势接口在人机交互方面的相关工作。第3节描述了所提出的HRI框架，包括物体检测、基于MediaPipe的手部跟踪、工作空间映射、手势识别和边缘部署。第4节介绍了实验设置、评估指标以及评估轨迹稳定性、手势识别可靠性和边缘运行时性能的结果。第5节总结了本文并讨论了未来工作的方向。

2. 相关工作
随着人机交互（HRI）向实际应用的发展，基于手势的接口已成为一种有前途的方法，特别是在传统设备（教学挂件、操纵杆、面板）在频繁任务变化时使用不便或速度较慢的情况下，可以实现直观且高效的机器人远程操控。手势接口因其符合自然的人类交流方式、能够减轻认知负担以及在共享工作空间中支持无接触操作而具有吸引力。一般来说，基于手势的HRI方法可以分为基于传感器的方法（依赖于可穿戴设备）和基于视觉的方法（使用相机和软件来识别手部配置和运动，无需物理接触）[10]。虽然这两类方法都可以实现有效的控制，但在工业协作机器人场景中，对鲁棒性（对环境变化的适应性）、低延迟、可解释性和边缘部署性等要求尤为重要，这些因素强烈影响了方法的选择[11,12,13]。

2.1. 基于传感器的HRI方法
基于传感器的手势识别历来具有吸引力，因为它可以提供稳定的信号和高精度识别，不受光照或背景杂乱的影响。可穿戴手套、IMU和生物传感技术（例如EMG）可以直接在源头捕捉手部运动，通常能够实现低延迟的分类和可靠的手势分割。在实际应用中，这在环境恶劣的情况下具有优势，因为基于相机的方法可能会遇到困难。
然而，从工业实用性的角度来看，基于传感器的方法引入了一些持续的缺点，这些缺点促使人们寻求替代方案。可穿戴设备增加了操作开销，系统可能需要校准，长时间的工作可能导致舒适度和疲劳问题。在有多个操作员的协作环境中，卫生、维护和设备可用性也可能成为瓶颈。这些限制是最近研究转向仅使用相机的解决方案的原因之一，这些解决方案在保持自然交互的同时尽量减少操作员的负担[6,10]。

2.2. 基于计算机视觉的HRI方法
基于计算机视觉的手势识别已成为实用HRI的关键方式，因为它支持使用标准RGB相机实现无接触、自然且易于集成的交互[10]。这一领域随着时间的发展发生了显著变化：早期的流程通常依赖于手部分割、手工特征提取和模板匹配，而现代系统越来越多地利用深度学习直接从视频中学习判别性表示[14,15]。这种发展对于工业环境非常重要，因为深度模型可以学习到对背景杂乱、视角变化和用户内部变化的不变性，前提是训练数据和评估协议反映了真实世界的情况[16,17]。

2.2.1. 基于特征点的与端到端的CNN方法
基于特征点的手势识别的一个核心区别在于基于特征点的（骨架驱动）方法和端到端的CNN方法[18]。基于特征点的系统首先估计一组固定的关键点（通常是21个手部特征点），然后使用轻量级模型在这些坐标上进行手势分类[19,20]。这种方法产生了一个紧凑的、低维的表示，通常更容易在实时处理和调试或安全验证期间解释。
相比之下，端到端的CNN方法直接处理RGB帧（或片段），通过卷积主干网络（如Inception-v3或ResNet系列）学习分层空间特征[21]。这些方法通常能够达到更高的基准精度，因为它们捕捉到了手部几何形状之外的更多外观线索，但计算开销较大，且其决策过程更难以解释，这对于在安全敏感的工业环境中部署是一个重要的考虑因素[22]。因此，没有一种方法绝对占优：基于特征点的方法在延迟和可解释性方面通常表现更好，而端到端的CNN方法在计算资源允许的情况下通常在精度上表现更好[20,21,22]。

2.2.2. 混合和多流架构
最近的研究越来越多地将特征点和外观处理流程视为互补的，并提出了混合融合策略[23]。在这些系统中，从手部关键点导出的特征与从RGB（有时还包括其他模态）提取的CNN特征通过基于注意力或门控机制进行融合。实证表明，融合方法通常优于单一模态的基线方法，特别是在复杂的手势词汇表和动态序列中，其中单独的特征点或外观可能不足以完成任务[23,24,25,26]。关键的权衡是融合增加了系统复杂性，通常需要更强大的边缘计算能力来保持实时行为[27,28]。

2.2.3. 数据集和指标
手势识别研究的成熟程度与基准数据集的可用性密切相关。大规模的动态数据集（如Jester）使得时空建模方法的一致性评估成为可能，而像NVGesture这样的数据集强调了在更多变条件下的鲁棒性[29,30]。其他数据集包括以自我为中心的视角（适用于可穿戴设备或第一人称场景）和特定领域的手势语料库，有助于量化不同视角和应用场景之间的迁移性[31]。
对于工业HRI而言，评估已经从关注顶级准确率扩展到系统级指标，如延迟（FPS/推理时间）、内存占用率和能源效率，因为这些指标决定了模型是否能够在嵌入式平台上可靠运行而不会过热或减速[32]。标准指标包括顶级/前五准确率、不平衡的F1分数和AUC风格的鲁棒性度量，但许多研究强调，实际部署风险可以通过泛化测试来更好地反映[33]。

2.2.4. 环境鲁棒性和领域转换
工业环境对手势识别系统提出了非平凡的挑战：光照变化、背景杂乱、机器人部件或任务物体的遮挡以及用户外貌的多样性。这些因素会降低基于特征点和端到端CNN系统的性能，因此需要明确的鲁棒性策略。领域转换尤其成问题：在受控条件下训练的模型在部署到新的环境（具有不同的光照、相机视角或手势执行风格）时通常会遇到显著的性能下降[16,17]。
文献中反复出现了几种策略。领域适应方法，如对抗性适应、在未标记的目标领域视频上进行自监督学习，或用于快速微调的元学习，旨在减少分布不匹配问题，而无需为每个新的工作单元准备大量标记数据[24]。多模态融合也被用作鲁棒性机制：结合不同模态可以在一个通道性能下降时（例如强遮挡或光照不佳）保持性能[25]。另一个补充方向是使用替代传感器（如热成像/红外成像）来降低对环境光照的敏感性，从而在光线不足或视觉混乱的环境中提高性能[34]。鲁棒性对抗遮挡和视角变化也是最近3D手部姿态研究的一个核心主题，包括具有遮挡感知和立体视觉的估计器[35]。虽然这些传感器和模型可能会增加成本，但这些结果突出了一般原则：鲁棒性通常需要更好的训练/评估不变性或额外的补充信号[36]。

2.2.5. 自信度和安全失败模式
对于远程操作和实时协作机器人引导来说，最重要的属性不仅仅是平均准确率，还包括在不确定性下的操作可靠性。手势系统应该在信心低或手部部分不可见时优雅地降级：当信心较低或手部部分遮挡时，系统应避免发出不稳定的指令。研究强调不确定性估计和信心阈值设定，其中低信心预测会被拒绝或需要澄清，从而在实际应用中提高可靠性。这在工业环境中尤为重要，因为一个错误的指令可能会造成高昂的成本或不安全的情况，同时可解释性和可预测的行为也受到重视[12,13,22]。

2.2.6. 时间建模：静态与...动态手势
手势识别包括静态姿势（单帧手部构型）和由运动序列定义的动态手势（例如，挥手、滑动）。虽然静态手势通常可以从孤立帧中可靠地识别出来，但动态手势需要时间建模来捕捉不断变化的轨迹、执行速度的变化以及模糊的过渡动作。文献一致表明，忽略时间结构会严重降低动态任务的性能，这促使人们开发了序列建模架构[3,18,26,37]。常见的时间处理方法包括在标志点轨迹上运行的循环模型（LSTM/GRU）或在CNN帧特征上运行的模型，以及结合了光学流动等明确运动线索的时间特征管道[29,33,38]。最近的研究还探索了轻量级序列模型和面向微控制器的LSTM实现，这些对于低成本边缘部署特别重要[39]。实际上，时间平滑和时间决策逻辑也可以提高稳定性并减少抖动，但平滑会引入延迟，从而在响应性和稳定性之间产生经典的权衡，这需要根据控制回路的要求进行调整[40]。

2.2.7 边缘AI部署：延迟、约束和运营效率
边缘部署在工业人机交互（HRI）中至关重要，因为设备上的推理可以减少延迟并避免对网络连接的依赖。实时HRI通常要求端到端的延迟在几十毫秒的数量级，具体取决于控制回路和用户体验要求。然而，嵌入式平台施加了严格的约束：有限的计算能力、有限的内存以及功率/热量预算可能会导致模型在持续运行时的性能下降[40,41]。为了满足这些约束，模型压缩和加速是必不可少的。量化（FP16/INT8）和量化感知训练可以在精度损失有限的情况下减少内存带宽并提高吞吐量，而剪枝和知识蒸馏可以减少模型大小以适应受限设备[7,41]。当从研究级架构过渡到需要连续运行而无需节流的部署系统时，这些技术尤为重要[39]。从系统的角度来看，部署还需要考虑整个流程，包括相机采集、预处理、推理和命令传输，因为如果设计不当，任何阶段都可能主导延迟[42]。这一挑战在最近的以边缘为中心的手势和姿势估计算法中尤为明显，其中轻量级推理、自适应管道和平台感知的优化是核心设计要求[13,39,40]。除了以边缘为中心的智能系统外，更广泛的文献还探讨了与大规模分布式应用相关的基于云的部署框架和网络级资源管理策略。例如，基于云的基础设施和DevOps管道已成功用于大型智能建筑环境中的实时数据摄入、分析和异常检测，展示了集中式编排和可扩展云工作流的优点[43]。同时，先前的研究还调查了针对云多媒体服务的能效NFV/SDN资源分配[44]，以及在CPU和内存约束下的IMS云计算的负载均衡呼叫 Admission 控制[45]。尽管这些方向超出了本文的主要范围，但它们为未来将基于边缘的HRI系统扩展到更大规模的多机器人和多工作单元部署提供了有用的背景。

3. 方法论
3.1 系统概述
所提出的系统是一个基于视觉的人机交互（HRI）流程，用于通过安装在机器人腕部（第六个关节）上的单个RGB相机和边缘计算设备进行非接触式交互和操控一个6自由度（6-DOF）的协作机器人。如图1所示，系统作为一个封闭的感知-决策-控制循环运行，其中操作者的手在工作空间上方被观察、实时解析，并转换为机器人指令，这些指令要么生成下一个机器人轨迹段，要么触发离散的机器人功能（例如，诸如“回挥手”的确认动作）。该设计特意以边缘优先为原则：所有感知、过滤、决策逻辑和命令生成都在本地运行（例如，配备加速器的Jetson Orin Nano或Raspberry Pi 5），而只有紧凑的机器人指令通过标准接口发送到机器人控制器。这消除了对云处理的依赖，减少了端到端延迟，同时也简化了在网络条件、隐私约束或可靠性要求限制设备外流数据的工业环境中的部署。

图1. 集成了对象检测、手部跟踪、手势识别和机器人命令生成的边缘AI平台上的手势到动作控制流程。选择这些模型是为了符合论文的实际目标，即一个轻量级且可部署在边缘的HRI系统。MediaPipe Hands被使用是因为它提供了稳定的2D手部标志点，计算成本低，并且能够进行可解释的基于标志点的手势推理。YOLO被选用于对象检测，因为它在实时嵌入式视觉流水线中实现了检测准确性和推理速度之间的良好平衡。基于LSTM的动态手势模块被采用，因为挥手手势本质上是时间性的，可以从简短的标志点序列中识别出来，而无需处理整个视频体积，从而保持动态手势分支的计算负担较轻。

该流程被结构化为并行的感知流，这些感知流随后融合成一个用于控制的HRI状态。首先，对象感知流使用训练有素的YOLO系列检测器来估计图像平面中的对象位置（在我们的案例中是水果）。其次，手部感知流使用MediaPipe Hands来估计2D手部标志点，并为三个互补的手部理解分支提供基础：一个静态手势分支（如手掌展开或握拳的单帧姿势），一个动态手势分支（使用LSTM分类器实现的挥动手势等时间运动），以及一个轨迹分支，该分支跟踪一个紧凑的手部控制点并使用时间平滑和卡尔曼滤波来稳定它。对象位置和过滤后的手部轨迹被映射到机器人工作空间平面，并通过分析手部和对象之间的时空关系来推断人类的意图。最后，静态手势、动态手势和推断出的意图被整合成一个统一的交互智能信号，以驱动机器人控制逻辑。因此，机器人的响应不仅限于直接的“手势=指令”映射；相反，控制模块可以根据上下文调整行为（例如，接近对象与仅仅在视野中移动手），并且在感知可靠性低时可以强制执行安全门控。

3.2 对象检测和图像到工作空间定位（YOLO分支）
图2展示了如何使用为相关对象类别训练的YOLO检测器与手部处理并行检测任务对象，并结合OpenCV提取额外特征。对于每个检测结果，检测器返回一个边界框和类别置信度。使用框的中心计算一个紧凑的对象位置：
\[ \mathbf{u}_\text{obj} = \frac{\mathbf{u}_{\text{min} + \mathbf{u}_{\text{max}}}{2}, \quad \mathbf{v}_\text{obj} = \frac{\mathbf{v}_{\text{min} + \mathbf{v}_{\text{max}}}{2} \]
（1）
其中 \(\mathbf{u}_{\text{min}}, \mathbf{v}_{\text{min}}, \mathbf{u}_{\text{max}}, \mathbf{v}_{\text{max}}\) 分别表示检测到的边界框的左、上、右、下像素坐标，\(\(\mathbf{u}_\text{obj}, \mathbf{v}_\text{obj}\) 表示检测到的对象在图像平面上的中心。

图2. 图像平面中的对象检测以及通过逆单应性和固定的机器人基准对齐将对象中心坐标转换为工作空间坐标。这产生了图像平面中的对象坐标，这些坐标不能直接由机器人控制器处理。因此，需要将对象坐标映射到工作空间平面（第3.4节），以获得以度量单位表示的\(\(\mathbf{X}_\text{obj}, \mathbf{Y}_\text{obj}\)。当存在多个对象时，可以使用任务驱动的逻辑（如最大置信度、类别优先规则或与手部轨迹的接近程度）来选择对象。这个对象分支是有意模块化的：检测器可以更换或重新训练以适应其他工业场景（工具、零件、箱子），而无需改变HRI流程的其余部分。

3.3 使用MediaPipe Hands进行手部标志点提取
感知阶段使用MediaPipe Hands在每个RGB帧中检测和跟踪单手。MediaPipe提供了21个2D标志点，这些标志点对应于手上的关键解剖点。标志点以标准化图像坐标形式返回（\(^{\mathbf{x}}_{\text{i}}, ^{\mathbf{y}}_{\text{i}}) \in [0,1]^2，并使用图像分辨率（\(\mathbf{W}_{\text{i}}\mathbf{m}\mathbf{g}, \mathbf{H}_{\text{i}}\mathbf{g}\)）转换为像素坐标（\(\mathbf{x}_{\text{i}}, \mathbf{y}_{\text{i}}）：
\[ \mathbf{x}_{\text{i}} = ^{\mathbf{x}}_{\text{i}}\mathbf{W}_{\text{i}}\mathbf{m}\mathbf{g}, \quad \mathbf{y}_{\text{i}} = ^{\mathbf{y}}_{\text{i}}\mathbf{H}_{\text{i}}\mathbf{g} \]
（2）
这里，\(\mathbf{W}_\text{i}\mathbf{m}\) 和 \(\mathbf{H}_\text{i}\mathbf{g}\) 分别是输入RGB帧的宽度和高度（以像素为单位）。在实验中，处理流程是在分辨率为1280 × 720的帧上运行的。

尽管完整的标志点集用于姿势和手势推断，但连续的机器人引导是由一个紧凑的手部位置表示来驱动的。我们定义一个手部控制点 \(\mathbf{p}_\text{t} = [ \mathbf{u}_{\text{t}}, \mathbf{v}_{\text{t}]\) 作为腕部标志点或手掌标志点子集的几何中心：
\[ \mathbf{p}_\text{t} = \sum_{\mathbf{i} \in \mathbf{M}}[\mathbf{u}_{\text{i}}\mathbf{y}_{\text{i}} \]
（3）
其中 \(\mathbf{M}\) 是选定的标志点索引集。这种设计提高了鲁棒性，因为它将连续控制信号与手指动作解耦，同时仍保留了通过剩余标志点进行手势识别所需的信息。在当前的实现中，所有报告的实验中都使用腕部标志点（\(\mathbf{i} = 0\) 作为手部控制点。方程（3）以更通用的形式编写，以便在需要时允许定义控制点的其他方式。例如，可以通过选择 \(\mathbf{M} = \{0,5,9,13,17}\) 来获得手掌中心近似，这对应于食指、中指、无名指和小指的腕部和MCP关节。这样的选择提供了比基于指尖的点更稳定的手掌参考，因为它受到手指动作的影响较小。

3.4 基于ArUco的工作空间映射
手部控制点和对象中心最初是在相机图像平面中测量的，而机器人则在其自己的笛卡尔坐标系中运行。由于所提出的设置使用单个RGB相机并且避免了深度感知，我们使用放置在工作表面上的ArUco标记板导出的单应性将图像坐标映射到平面工作空间表示（图3）。在校准过程中，估计相机的内参，并收集工作空间单位中的已知平面标记坐标（\(\mathbf{X}, \mathbf{Y}\) 与检测到的像素坐标（\(\mathbf{u}, \mathbf{v}\) 之间的对应关系。计算单应性矩阵 \(\mathbf{H}\) 如下：
\[ \mathbf{\boldsymbol{\Lambda}} = \mathbf{H}_{\text{H}} \mathbf{\boldsymbol{X}}\mathbf{Y} \]
（4）
（5）
实际操作中，单应性矩阵 \(\mathbf{\mathbf{H}_{\text{hom}}\) 是通过标准的平面校准从ArUco标记板点对应关系中估计出来的。在操作过程中，图像点通过逆单应性映射到工作空间坐标：
\[ \mathbf{X}^{\text{world}} = (\mathbf{\boldsymbol{\Lambda}}^{-1}) \mathbf{X}_{\text{image}} \]
（6）
其中 \(\mathbf{\sim\mathbf{X}}, \mathbf{\sim\mathbf{Y}}, \mathbf{\sim\mathbf{W}}\) 是经过逆投影变换后得到的齐次坐标。相应的笛卡尔工作空间坐标通过使用第三分量 \(\mathbf{\sim\mathbf{W}} 进行归一化来恢复。这里，方程（4）中的 \(\mathbf{\lambda}\) 是标准的齐次投影缩放因子，通过归一化第三坐标来消除它；它不是手动选择的。在操作过程中，逆单应性将过滤后的手部控制点和对象中心从图像平面映射到工作空间平面坐标，得到手部的 (\(\mathbf{X}_{\text{world}}\mathbf{Y}_{\text{world}}) 和对象的 (\(\mathbf{X}_{\text{world}}, \mathbf{Y}_{\text{world}}\)）。这些平面坐标随后通过应用离线获得的一次性手-眼校准程序或仔细的几何测量来转换为xArm基准框架（图4）。

图4. 机器人-相机设置和工作空间。为了确保安全运动，映射的工作空间目标被限制在一个预定义的允许区域 \(\Omega\) 内。使用投影算子将超出允许范围的点饱和：
\[ (\mathbf{X}, \mathbf{Y}) \leftarrow \Pi_{\Omega}(\mathbf{X}, \mathbf{Y}) \]
（7）
操作符 \(\Pi_{\Omega}\) 通过坐标裁剪将候选目标投影到允许的矩形工作空间 \(\Omega = [ \mathbf{X}_{\text{min}}, \mathbf{X}_{\text{max}} \times [ \mathbf{Y}_{\text{min}}, \mathbf{Y}_{\text{max}} \]：
\[ \Pi_{\Omega}(\mathbf{X}, \mathbf{Y}) = (\mathbf{m}_\text{i}\cdot\mathbf{n}_\text{i}(\mathbf{m}_\text{a}\cdot\mathbf{x}_{\text{X}}, \mathbf{X}_{\text{max}}, \mathbf{m}_\text{i}\cdot\mathbf{n}_\text{a}\cdot\mathbf{x}_{\text{Y}_{\text{min}}), \mathbf{m}_\text{i}\cdot\mathbf{n}_\text{a}\cdot\mathbf{Y}_{\text{max}}) \]
（7）
因此，超出允许区域的点被饱和到最近的可接受边界。这个虚拟的安全区域防止了将机器人放置在预期交互区域之外的命令，并通过裁剪极端值来减少偶尔的映射异常的影响。

3.5 手部轨迹跟踪和运动平滑
由于模型不确定性、部分遮挡和操作者的微小抖动，从标志点派生的坐标会显示出噪声，如果直接使用，可能会导致机器人运动不平稳。为了生成适合在人类附近操作的协作机器人的稳定指令，在将手部控制点转换为机器人目标之前对其进行过滤。可以应用一阶IIR低通滤波器来衰减高频抖动：
\[ \hat{\mathbf{p}}_{\text{t}} = \mathbf{\lambda}\cdot\mathbf{p}_{\text{t}} + (1-\mathbf{\lambda})\cdot\hat{\mathbf{p}}_{\text{t}-1, \quad \mathbf{\lambda} \in (0,1) \]
（8）
其中 \(\mathbf{p}_{\text{t}}\) 表示时间步长 \(\mathbf{t}\) 的原始手部控制点，\(\hat{\mathbf{p}}_{\text{t}}\) 是过滤后的手部控制点，\(\hat{\mathbf{p}}_{\text{t}-1\) 是前一个帧的过滤值，\(\mathbf{\lambda}\) 是决定当前测量值和之前过滤估计的相对影响的比例因子。

此外，我们应用卡尔曼滤波器在恒定速度运动模型下获得稳定的状态估计。状态 \(\mathbf{x}_\text{k} = [ \mathbf{x}_{\text{k}}, \mathbf{y}_{\text{k}}, \dot{\mathbf{x}}_{\text{k}}, \dot{\mathbf{y}}_{\text{k}}]\mathbf{T}\) 和测量值 \(\mathbf{z}_{\text{k}} = [ \mathbf{x}_{\text{k}}, \mathbf{y}_{\text{k}}]\mathbf{T}\)，离散时间转移和观测模型分别为：
\[ \mathbf{x}_{\text{k}} = \left[\mathbf{x}_{\text{k}-1}+\mathbf{w}_{\text{k}}\right] + \mathbf{v}_{\text{k}}, \quad \mathbf{z}_{\text{k}} = [100001]\mathbf{x}_{\text{k}}+ \mathbf{v}_{\text{k}} \]
（9）
其中 \(\mathbf{w}_{\text{k}}\) 和 \(\mathbf{v}_{\text{k}}\) 分别代表过程噪声和测量噪声。然后在命令生成之前对过滤后的轨迹进行速率限制，以避免过于剧烈的加速度并改善机器人运动的感知平滑度。

通过置信度门控明确监控跟踪的可靠性。如果MediaPipe的置信度低于阈值 \(\mathbf{\tau}_{\text{c}} 并且持续时间超过 \(\mathbf{T}_{\text{loss}}，控制器会抑制运动并转换为安全保持状态。机器人并不会突然停止，而是通过控制减速逐渐将速度降至零，从而保持行为的可预测性。只有当跟踪再次稳定，并且识别到明确的启动指令后， motion才会重新激活。这一机制可以防止在手部短暂重新被检测到后立即意外重新启动。

3.6. 利用估计的手部高度 ?? 进行手部坐标 ??,?? 的深度感知校正
在基准流程中，MediaPipe Hands 提供 2D 地标坐标，从中可以推导出紧凑的手部控制点，例如手腕或手掌中心。通过在工作空间校准期间获得的平面单应性，将这些控制点投影到工作空间平面坐标 (??????????,??????????) 中。当手部位于或非常接近校准的工作面上时，这种映射是准确的。然而在实际操作中，操作者的手部通常会比工作空间平面高出一定高度 ??。如果忽略这种高度差，投影的平面坐标可能会出现系统性的偏差，因为单应性是针对参考平面上的点定义的。随着手部靠近安装在手腕上的摄像头，其图像比例会发生变化，这种变化会影响映射的平面坐标的一致性。为了在保持单 RGB、面向边缘的设置的同时减少这种效应，我们引入了一个近似的高度感知补偿步骤，如图 5 所示。该模块的目的不是恢复完整的 3D 手部位置，而是在手部显著高于校准平面时提高平面手部坐标的一致性。补偿作为单应性输出的轻量级几何修正，用于边缘可部署的人机交互 (HRI) 中平面投影偏差的降低。

图 5. 从 2D 关节地标估计手部空间坐标的流程。手部高度 ?? 并不直接测量，而是通过与摄像头距离相关的地标视觉线索间接估算得出。当手部靠近摄像头时，图像中的地标配置会扩大：特征地标间的距离增加，地标边界区域的面积变大。基于这一观察，使用选定的指尖到手腕距离、平均手掌距离以及手部地标的边界框面积等量计算出一个紧凑的比例描述符。然后针对特定的摄像头设置执行简短的校准程序，将这个比例描述符映射到近似的手部高度估计 ??。由于地标检测会受到帧间波动的影响，在补偿阶段使用之前，估算的高度会进行时间上的平滑处理。

一旦获得近似的手部高度，就会利用基于单目视角几何的深度感知校正来调整平面坐标。关键思想是平面单应性假设手部位于工作空间平面上，而实际的手部位置可能位于一个更远的平行平面上，此时摄像头到手部的距离较短。因此，单应性输出 (??????????,??????????) 被视为名义上的平面估计值，估算的高度用于补偿这种平面不匹配带来的偏差。在当前工作中，这种校正是作为基于已知摄像头视野和估算的手部高度的轻量级几何调整实现的。由于该方法依赖于单目近似和间接估算的高度信号，应将其视为一种实用的补偿机制，而不是精确的针孔相机反演。

操作上，该模块分为四个步骤：首先使用 MediaPipe 地标确定图像坐标中的手部控制点；其次将这个点映射到名义上的工作空间平面坐标 (??????????,??????????)；然后分析地标配置以估算近似的手部高度 ??；最后通过高度感知补偿步骤对名义平面坐标进行精细化处理，生成校正后的坐标 (?????????????,?????????????)，这些校正后的坐标随后被传递给下游的平滑和控制模块。

图 6 展示了这种补偿背后的几何直觉。高度 ? 表示从安装在手腕上的摄像头到校准工作平面之间的固定距离，而 ?? 表示手部相对于该平面的估算高度，因此实际的摄像头到手部的距离变为 ? ???。符号 ?? 和 ?? 分别表示水平及垂直的摄像头视野角度，??????????????????? 和 ?????????? 表示与工作空间平面相关的名义平面跨度与手部抬高后平行平面对应的缩小跨度。当手部高于校准的工作平面时，实际的摄像头到手部的距离会变小。因此，相同的图像观察对应于不同的物理距离。换句话说，在工作平面校准的平面映射倾向于高估或扭曲实际上位于抬高平行平面上的点的位置。图 6 可视化了这种依赖于深度的明显比例变化，并说明了使用近似的高度感知对单应性输出进行精细化的必要性。

该方法的残差误差取决于比例描述符到高度的校准质量、地标的稳定性、手部姿势的变化、部分遮挡情况以及摄像头特定的因素，如视野、镜头畸变和安装几何形状。特别是，广角镜片和较强的周边畸变可能会增加名义平面单应性与真实抬高手部投影之间的不匹配。立体相机或深度相机解决方案可以提供更直接且可能更准确的 3D 定位，但需要额外的传感硬件、校准复杂性以及更高的计算和集成开销。在当前系统中，所提出的方法仅作为辅助的低成本校正层，用于在测试的操作范围内提高平面坐标的一致性。

3.7. 用于语义命令的静态手势识别
静态手势提供离散的、语义化的命令，以补充连续的手部位置跟踪。手势识别直接从 MediaPipe 地标几何结构中通过相对距离和手指配置来实现，从而降低对摄像头位置和比例的敏感性。例如，可以通过归一化的拇指-食指指尖距离来检测捏合手势：
???????????????=∥p???????????????????????p???????????????????????∥2∥p???????????????p??????????????????????????∥2
（10）
当 ??pinch
为了减少由于地标抖动或短暂遮挡引起的错误转换，应用了时间稳定化。只有当候选手势持续至少 ??dwell 时间时才会被接受，并通过使用不同的阈值来进入和退出手势状态引入滞后效应。这种稳定性提高了手势转换期间的重复性，并防止了在机器人靠近人类执行连续动作时的快速模式切换。在提出的“手势到动作”（GTM）框架中，静态手势不仅仅被视为分类结果，而是作为决定机器人行为的明确控制指令。例如，张开手掌作为离合器启用手势，允许接受动作命令；握拳立即停止动作并将机器人转换为安全保持状态；指针手势激活平面 XY 跟踪；举手手势解释为离散的垂直动作命令，使末端执行器高度增加 +Δ???；捏合手势用作切换抓取状态的语义命令。

3.8. 基于序列的动态手势识别
某些交互命令本质上是时间相关的，更适合用动态手势来表达，因为鉴别信息存在于帧间的运动模式中，而不仅仅是一个单一的姿势。挥手是一个典型的例子，用于系统激活、模式切换或确认等高级命令。为了支持这些命令，我们引入了一个轻量级的 LSTM 分类器，它处理手部地标的短序列。对于每个时间步骤 ??，形成一个地标向量：
p??=[??1,??1,…,??21,??21]??∈?42
（11）
为了降低对平移和比例的敏感性，通过将地标相对于参考点（手腕或手掌中心）进行平移，并通过手部大小参考 ???? 进行缩放来对序列进行标准化：
p′??=p???p????????,??????
（12）
可选地，可以追加时间导数 Δ?p′?? =p′?? ?p′???1 来强调运动线索。LSTM 处理 ?? 帧的滑动窗口，并输出一组动态手势（例如，挥手与非挥手）的分类概率。与静态手势类似，动态事件也需要在发出事件前满足一定的置信度阈值才能稳定。这些事件被整合到整体的交互智能层中，并通常映射到易于反转且安全的、高级的指令。

重要的是要将基于 LSTM 的动态手势识别与基于光流的运动分析区分开来。光流直接从连续帧间的像素强度估计出明显的运动，因此在图像层描述场景运动。在所提出的系统中，动态手势识别基于 MediaPipe 提取的手部地标序列。因此，LSTM 不处理原始图像运动或密集的光流场，而是处理手的紧凑 2D 骨骼表示的时间演化。这减少了输入维度，使分类器专注于手的几何形状和轨迹模式，而不是场景中的通用像素运动。这样的设计与系统的面向边缘的目标更加契合，因为它避免了显式的光流计算需求，同时保持了轻量级和可解释性。与静态手势不同，动态挥手手势被视为事件级别的命令，而不是连续的控制信号。在当前的实现中，挥手手势用于系统激活、模式切换或机器人确认等高级交互功能。

3.9. 通过手部-物体融合分析人类意图
除了明确的手势命令外，系统还通过融合物体位置和过滤后的手部轨迹在共享的工作空间坐标框架中估计人类意图。一旦手部控制点和物体中心都被映射到工作空间坐标，系统就计算描述手部相对于物体移动的时空线索。一个核心线索是手部与物体之间的距离：
???(??)=√(????(??)?????)2+(????(??)?????)2
（13）
以及其时间趋势，持续的距离减小表明接近，持续的低距离表明交互或停留。其他线索包括在接近半径内的停留时间、朝向物体的运动方向的一致性，以及从静态手势分支中得出的指向信息。这些信号可以组合成一个意图标签或连续的意图分数，并与静态和动态手势输出融合，形成一个更具上下文意识的 HRI 状态。在定性试验中，这一上下文层通过允许机器人响应不仅依赖于识别的手势，还依赖于手部运动是否与面向物体的交互一致，从而提高了可解释性。然而，由于当前工作没有针对仅使用手势控制的专门消融研究，这一组件应被视为一项有前景的上下文增强，而不是一个完全量化的改进。

3.10. 机器人控制与命令生成
机器人运动由“手势到动作”（GTM）控制器生成，该控制器在有限状态机（FSM）下融合连续跟踪、语义命令和意图线索。识别的手势与机器人运动之间的关系总结如下：只有当离合器条件满足（手掌张开）且控制器处于 TRACK_XY 模式时，才会生成连续的平面机器人运动。在这种状态下，过滤后的和工作空间映射的手部轨迹决定了 X–Y 平面上的指令笛卡尔运动。握拳手势会覆盖所有跟踪命令，并导致平滑减速进入 SAFE_HOLD 状态。**提示：** 本文档包含技术细节和实验结果，适合对机器人技术和交互系统感兴趣的读者。以下是翻译结果：

**拇指向上手势** 会产生有限范围的离散Z轴调整，而**捏合手势** 则用于切换夹持器的状态。** finite-state machine（FSM）** 负责执行启用逻辑（如离合器控制），限制每种状态允许的动作，并提供不同模式之间的可预测转换，例如IDLE/SAFE_HOLD、TRACK_XY、ADJUST_Z和GRIPPER_CONTROL。在平面跟踪模式下，映射的手部目标（??*,??*）通过**比例控制器** 转换为笛卡尔速度指令：**????=?????(??*???????????), ????=?????(??*???????????)** （公式14），其中**??* 和 **??*** 表示从映射的手部位置推导出的目标工作空间坐标，**??????????** 和 **??????????** 表示机器人工具中心点（TCP）的当前笛卡尔坐标，**????** 和 **????** 是指令的笛卡尔速度，**????** 是比例增益。Z轴运动可以通过每次拇指手势的离散步进±Δ??? 来更新，或者在需要时以有限范围内的连续模式进行更新。为了避免突然的运动，指令速度会被平滑处理并限制速率，并且会强制执行速度、加速度和抖动的限制。在基础实现中，末端执行器的方向保持固定以最大化稳定性，但该框架可以扩展以包括方向映射。

**命令** 通过**UFactory xArm控制堆栈** 以固定的指令速率传输到**xArm 6**。边缘设备计算目标笛卡尔速度向量，并通过供应商支持的网络接口将其流式传输到机器人控制器，在那里在机器人的内置运动限制下执行。

**安全性** 被视为主要的设计约束。只有当**离合器手势** 被确认为有效时，运动才会被启用；扣拳手势或手部跟踪信心下降会立即抑制运动并触发平滑减速进入保持状态。如果跟踪在短时间超时后丢失，控制器将保持在安全保持状态，直到恢复稳定跟踪，操作员明确重新启用运动。**物理紧急停止** 在任何时候都可用，并且会覆盖所有软件指令。

**3.11. 边缘AI部署和运行时实现**
完整的流程在两个边缘平台上部署，以评估在资源限制下的实时可行性和鲁棒性。在NVIDIA Jetson Orin Nano上，模型推理和过滤受益于GPU加速；而在Raspberry Pi 5上，工作负载可以在CPU和连接的加速器之间分配以进行神经推理。帧以典型的操作分辨率（例如1280 × 720）和实时帧率进行处理。该实现被设计为在并行线程或进程中运行感知模块，以减少管道延迟，并确保即使在个别模块执行时间有变化时，也能以稳定的频率产生控制输出。系统集成了时间戳记录功能，以捕获相机采集时间、感知输出、手势和意图决策、FSM状态以及机器人反馈，从而支持离线分析和可重复性。

**3.12. 评估指标**
系统性能通过四个互补的方面进行了评估，这些方面直接对应于所提出的交互流程和报告的实验结果：手部派生控制信号的稳定性、静态手势识别的可靠性、动态手势识别的鲁棒性以及在边缘硬件上的运行时行为。所有定量指标都是从实验期间记录的时间同步日志中得出的，包括相机时间戳、手部标志点坐标和置信值、原始和过滤后的控制点轨迹、时间稳定化前后的手势输出，以及主要处理模块和完整流程的运行时测量值。对于手部控制信号，目标是确定过滤是否足以提高稳定性，以确保机器人的安全引导。为此，操作员进行了保持静止和运动试验，并使用工作空间平面中控制点的标准差来量化静止段期间的位置抖动。如果**????** 和 **????** 表示长度为**??** 的静止间隔内的采样工作空间坐标，则抖动计算为**????=√1???1???∑??=1(??????ˉ??)2** （公式15）和**????=√1???1???∑??=1(??????ˉ??)2** （公式16），其中**ˉ??** 和 **ˉ??** 是相应的平均值。这些量对于原始的MediaPipe派生控制点以及在低通和卡尔曼平滑后获得的过滤估计值都进行了评估，从而量化了过滤引入的帧间波动的减少。除了这些数值指标外，还定性地比较了运动段期间的原始和过滤后的轨迹，以验证平滑处理是否在不破坏预期路径几何形状的情况下抑制了噪声。

**静态手势词汇的可靠性** 使用手动注释的GTM手势集（包括手掌打开、握拳、指针、拇指向上和捏合）进行了评估。由于该模块的实际用途不仅限于孤立的帧级分类，而是用于稳定切换机器人控制状态，因此评估旨在同时捕捉类级识别性能和时间稳定化对最终命令流的影响。首先使用混淆矩阵总结了识别结果，这允许直接检查主要的正确分类以及视觉上相似的手部配置之间的混淆情况。然而，由于仅靠混淆矩阵无法完全量化每个手势类的实际可靠性，特别是在与安全相关的命令情况下，因此通过计算精度、召回率和F1分数来扩展评估。对于给定的手势类别，这些指标分别计算为**P?r?e?c?i?o?n=??????????+?????**（公式17）、**R?e?c?a?l?l=??????????+?????**（公式18）和**F?1=2?P?r?e?c?i?o?n?R?e?c?a?lP?r?e?c?i?o?n+R?e?c?a?l′**（公式19），其中**?????**、**?????** 和 **?????** 分别表示真正例、假正例和假负例的数量。这些指标提供了互补的信息：精度表示预测的手势标签正确的频率，召回率表示真正例被检测到的 consistency，F1分数总结了两者之间的平衡。对于手掌打开手势尤为重要的是，因为它作为启用机器人运动的“安全离合器”，其实际可靠性直接影响只有在实际存在预期命令时才能激活运动。同样，握拳手势也被用来抑制运动，因此也需要稳定和明确的识别。

由于手势识别器用于实时控制而不是离线标签分配，因此除了每类指标外，还评估了时间行为。更具体地说，检查了应用停留时间和滞后稳定性之前的手势时间线，以确定由短暂标志点噪声、中间手形或短暂几何模糊引起的短暂标签闪烁是否在命令传递给控制逻辑之前被成功抑制。通过这种方式，评估共同评估了（i）静态手势类别的可分性，（ii）通过精度、召回率和F1分数评估每个命令的定量可靠性，以及（iii）有限状态手势到运动控制器使用的最终手势流的时间一致性。

**动态手势识别** 特别针对波浪手势进行了评估，因为它是一个故意的高级交互命令。在这种情况下，相关的性能不能仅通过帧级分类来完全捕捉，因为LSTM分类器在标准化的标志点序列的短时间窗口上操作，最终事件仅在阈值化和时间接受逻辑之后发出。因此，动态手势模块在事件级别进行了评估。检测延迟定义为从标注的波浪运动开始到系统发出有效波浪事件的时间间隔，即**?????????????=??????????????????????????????**（公式20），其中**??onset** 表示手势开始时间，**??emit** 表示接受逻辑之后的事件时间戳。除了检测延迟外，还记录了非波浪运动序列中每分钟错误发出的波浪事件数量。为了验证平滑处理是否在不破坏预期路径几何形状的情况下抑制噪声，还定性地检查了LSTM输出的代表性概率轨迹。

为了评估所提出方法在边缘部署中的适用性，在NVIDIA Jetson Orin Nano和带有加速器的Raspberry Pi 5上收集了运行时测量数据，包括感知和交互流程的主要组成部分。测量的模块包括基于YOLO的对象检测、基于MediaPipe的手部跟踪和卡尔曼平滑、基于MediaPipe的动态手势推理（使用LSTM模型）以及完整的集成处理流程。对于这些模块中的每一个，运行时定义为处理步骤开始到其输出产生之间的计算时间，即**??????????=??????????????????**（公式21），其中**??in** 是处理开始时间戳，**??out** 是输出时间戳。对于完整流程，测量的量表示在边缘设备上执行的集成实现的总感知到决策的运行时间。对于动态手势模块，只有LSTM推理的运行时间被包括在运行时比较中，因为完整的波浪事件延迟还取决于时间序列累积和接受逻辑，因此不能直接与独立的计算运行时间进行比较。通过平均值和重复运行时的运行时分布总结了收集的测量数据，从而可以比较两个边缘平台之间的执行速度和运行时稳定性。

**4. 实验和结果**
所有实验都在实验室工作空间中进行，使用了一个xArm协作机器人和安装在机器人手腕（第6个关节）上的单个RGB相机。完整的感知–决策–控制流程在边缘硬件（NVIDIA Jetson Orin Nano和带有加速器的Raspberry Pi 5）上执行，运动命令通过标准的UR接口传输到机器人控制器。使用ArUco/ChArUco板校准工作空间平面，以建立图像坐标和工作空间坐标之间的平面映射，所有指令目标都被限制在预定义的安全操作区域内。实验期间记录了时间同步的日志，包括相机时间戳、手部标志点置信度、原始和过滤后的控制点轨迹、手势输出（稳定化前后）以及系统端到端延迟和模块运行时的测量数据。

**4.1. 跟踪鲁棒性和平滑处理**
该实验量化了时间过滤如何提高手部控制信号的稳定性并减少会传播到机器人运动中的抖动（图7）。操作员被指示将手部固定在工作空间上方多个时间段，然后沿着缓慢和中等速度的平面路径移动。对于每次运行，都记录了原始的MediaPipe派生控制点p??和过滤后的估计值^p??（经过低通过滤和卡尔曼跟踪），包括在图像坐标和工作空间坐标中的表示。除了对轨迹的定性检查外，我们还在保持静止的段落计算了抖动指标，以量化高频噪声的减少。图7显示了原始和过滤后的手部轨迹的比较，展示了工作空间平面中的保持静止抖动减少（左上角）、X和Y坐标随时间的平滑（右上角和左下角），以及最终的原始和过滤后的XY路径（右下角）。在保持静止的试验中，原始的MediaPipe控制点在工作空间平面形成了一个分散的云状图案，而过滤后的信号聚集成一个紧凑的簇，表明位置抖动明显减少。这通过过滤后的抖动统计数据（???? 和 **????**）的显著下降得到了证实，确认高频标志点噪声被大幅衰减，而没有传递到控制循环中。在运动试验中，???(??) 和 **???(??)** 的时间序列显示，过滤后的轨迹抑制了帧间波动和短暂峰值，同时保持了整体路径形状，即预期的方向变化几乎不受影响，只有最小的平滑延迟。这些发现共同表明，低通+卡尔曼阶段在静止段提高了稳定性，并在运动期间产生了更清洁、更可靠的目标更新，从而直接支持更平滑、更安全的远程操作行为。

**4.2. GTM命令的静态手势识别可靠性**
该实验评估了手势到运动控制器使用的静态手势词汇的可靠性，重点关注安全关键的离合器手势。在现实操作条件下收集了一个小型数据集，操作员在相机视野内的不同位置和方向上重复执行每个静态手势（手掌打开、握拳、指针、拇指向上和捏合）。通过手动注释记录的序列获得了真实标签。使用标志点几何规则（相对距离和手指配置）进行了静态手势分类，并应用时间稳定化（停留时间和滞后）来减少由于抖动和过渡手形引起的快速切换。静态手势的结果在图8、图9和表2中进行了总结。大多数预测集中在混淆矩阵的主对角线上，表明所有手势类别的识别都是稳定的。表现最好的是与安全相关的姿势——开放式手掌和拳头，其对角线计数分别为94和96。这对于控制非常重要，因为开放式手掌作为允许运动的“安全离合器”，而拳头则抑制运动。相应的指标进一步证实了这种行为：开放式手掌的准确率为0.904，召回率为0.895，F1分数为0.900；而拳头的准确率为0.970，召回率为0.960，F1分数为0.965。这些结果表明，允许运动和抑制运动的命令具有很高的实际可靠性。图8显示了静态手势集的识别性能。图9显示了五个评估的静态手势的精确度、召回率和F1分数的雷达图。表2提供了静态手势类别的精确度、召回率和F1分数。其余类别也显示出了良好的识别性能，尽管结构化的混淆更为明显。主要的混淆出现在“点”和“捏合”之间，其中“点”最常被误分类为“捏合”（6例），而“捏合”被误分类为“点”（5例）。这反映在类别指标上，“点”的F1分数最低（0.881），而“捏合”则稍微稳健一些（0.905）。开放式手掌和“拇指向上”之间也存在较小但明显的混淆，这表明基于规则的几何特征对拇指的突出度和手的方向敏感。总体而言，静态手势识别器的准确率为91.3%，宏观平均精确度、召回率和F1分数都约为0.913。此外，稳定的手势时间线显示，停留时间和滞后过滤抑制了由短暂的地标噪声和中间手的形状引起的短暂闪烁，为有限状态控制器提供了更一致的任务流。4.3. 深度感知补偿验证该实验评估了所提出的深度感知校正是否能够在手高于校准的工作平面时改善平面的手部定位。如第3.6节所述，基线逆向单应性仅对位于参考平面上的点有效，而抬高的手部位置引入了依赖于深度的平面偏差。因此，该实验的目的不是验证完整的3D手部重建，而是量化所提出的单目补偿是否能在预期的操作范围内减少残余的XY误差。为此，操作者的手控制点被放置在 calibration 工作平面以上几个大约已知的高度，使用了一个简单的参考装置。测试的高度分别为5厘米、10厘米、20厘米和30厘米。在每个高度，手被放置在一组预定义的工作空间参考位置上，这些位置分布在交互区域的中心和外围。对于每个放置，工作空间坐标通过两种方式估算：（i）仅使用标称的逆向单应性；（ii）使用所提出的深度感知校正。然后将得到的平面估计与相应的参考工作空间位置进行比较。为了量化定位误差，计算了工作空间平面的均方根误差（RMSE）：RMS????=√∑(?????^????)2+(?????^????)2 (22)，其中 (????,????) 表示参考工作空间位置，(^????,^????) 表示未校正或校正后的估计位置。除了RMSE之外，还计算了每个测试高度后的相对改进。表3中的结果显示，所提出的深度感知校正始终减少了测试的手部高度范围内的平面定位误差。相对改进保持在中等水平，大约为12–17%，这与该模块作为轻量级单目偏差减少机制而非完整3D重建方法的预期作用一致。随着手离校准的工作平面越来越远，两种情况下的绝对误差都会增加，而在测试的操作范围内，校正后的估计值始终更为准确。4.4. 动态手势识别（挥手）使用LSTM在所提出的控制框架中，挥手手势不用于连续轨迹生成，而是一个有意的高级命令。该实验评估了动态手势模块识别挥手手势作为一个有意的高级命令的能力。收集了一个序列数据集，操作者在其中执行了速度、幅度和视角有所变化的手势，以及可能被误认为是挥手的非手势动作（例如，无振荡的侧向平移）。每个样本包括一个固定长度的标准化地标序列窗口，LSTM分类器生成了挥手与非挥手的类别概率。为了获得稳健的事件触发，系统应用了一个时间接受规则：只有当预测的挥手概率超过决策阈值?? =0.7并且持续时间至少为130毫秒时，才会发出挥手事件。图10中的实验结果表明，动态手势识别模块可以可靠地区分有意的手势与其他手部动作，同时保持稳定的运行时行为。挥手检测延迟分布显示，大多数检测发生在大约140–220毫秒内，峰值在170–190毫秒左右。这个范围反映了LSTM分类器和时间接受逻辑积累足够证据以确认动作对应于有效挥手模式所需的时间。图10显示了挥手检测延迟的分布（左）和错误激活率的分布（右）。错误激活率分布表明，非故意的触发相对罕见。大多数序列每分钟产生的错误激活次数少于0.05次，表明分类器结合时间稳定性约束有效地抑制了由手部侧向平移或不规则运动引起的意外检测。图11中的概率轨迹进一步说明了这一行为：在真正的挥手序列期间，LSTM输出概率急剧上升并保持在决策阈值以上一段时间，从而实现了稳定的事件触发；而在非挥手动作期间，概率始终远低于阈值，仅因噪声而略有波动。这些结果共同表明，时间过滤策略成功地将连续的分类器输出转换为适用于实时交互的手势到动作控制流程中的可靠高级事件。由于这些指标依赖于选定的接受参数，应将它们解释为面向应用的事件触发性能，而不是直接可比较的帧级手势识别结果。4.5. 边缘性能：延迟、吞吐量和资源利用率为了证明边缘部署的可行性，我们在相同的操作条件下测量了两个边缘平台上的吞吐量、端到端延迟和运行时稳定性。端到端延迟是通过相机帧获取时间??????????与相应机器人命令发出时间??????????之间的时间差来计算的，即??=????????????????????? (23)。为了评估所提出的基于边缘的交互流程的计算性能，分别收集了两个测试平台上的主要软件组件的运行时测量数据：NVIDIA Jetson（JetPack 6.2，Ubuntu 22.04）和Raspberry Pi（Ubuntu 22.04）。测量的模块包括：（1）基于YOLO的对象检测脚本，（2）基于MediaPipe的手部跟踪模块及卡尔曼平滑处理，（3）使用LSTM分类器的基于MediaPipe的动态手势模块，以及（4）完整的端到端流程。对于基于YOLO和MediaPipe的模块，运行时是处理开始到产生相应输出之间的经过的时间。对于基于LSTM的动态手势模块，仅考虑了模型自身的推理运行时间，因为挥手事件延迟包括序列累积和时间接受逻辑，这与单独模块的运行时间不可直接比较。图12显示了结果，NVIDIA Jetson在所有测量模块和整个集成流程中的性能都优于Raspberry Pi。在分组条形图中，YOLO对象检测是两种设备上计算要求最高的独立模块，其次是MediaPipe +卡尔曼跟踪阶段，而LSTM推理的独立运行时最低。然而，对于每个模块，Raspberry Pi所需的执行时间明显长于Jetson，这种差距在整个过程测量中尤为明显，Raspberry Pi大约需要0.28秒，而Jetson大约需要0.16秒。箱线图确认了这种差异不仅存在于平均值中，而且在多次运行中都保持稳定：Jetson的总运行时间分布更低且更紧凑，而Raspberry Pi的中位数更高且分布范围更广。总体而言，这些结果表明，尽管两个平台都能执行该流程，但Jetson提供了更快、反应更灵敏的边缘实现，使其成为实时人机交互的更合适选择。图12显示了各个模块和整个过程的平均运行时间；（右）多次运行中总过程运行时间的分布。报告的边缘平台比较关注所提出的感知-决策流程的运行时行为和延迟，这是实时可行性的必要指标。然而，运行时本身并不能完全表征工业环境中的部署适用性。当前研究没有包括功耗、温度变化或持续运行下的长时间热节流的直接测量。这些因素对于实际边缘部署非常重要，特别是当系统预计在封闭或资源受限的环境中连续运行时。因此，当前结果应被解释为计算可行性的证据，而不是完整的硬件级部署特性。当前研究不应被解读为正式的工业安全认证或故障安全性能的定量验证。特别是，对于跟踪丢失的反应时间、在严重遮挡下的行为以及故障后的恢复性能，并没有作为专门的安全基准进行单独测试。因此，当前结果支持控制器作为一个具有安全意识的研究原型，但在工业部署之前还需要进一步的安全评估。5. 结论本文提出了一个可在边缘部署的基于视觉的人机交互和控制框架，它将对象理解和手部理解结合成一个单一的闭环系统。使用安装在机器人手腕上的RGB相机和边缘计算平台，所提出的流程在本地处理场景，使用MediaPipe提取手部地标，使用基于YOLO的模型检测任务对象，并整合了三种互补的手部解释流：静态手势识别、基于序列的动态手势识别以及通过低通和卡尔曼滤波稳定的轨迹估计。通过将手控制点和对象位置映射到机器人工作平面，系统超越了仅基于手势的控制，实现了也考虑了通过手-对象时空关系的上下文的交互逻辑，产生了适合驱动机器人运动和离散机器人动作的统一“交互智能”信号。实验结果支持了该方法在共享工作空间中的实时远程操作和交互的可行性和实用性。平滑阶段在保持静止阶段显著减少了抖动，并提高了轨迹稳定性，同时在不影响响应性的前提下改善了运动性能，这对于安全的协作机器人行为至关重要。静态手势词汇在现实操作条件下实现了可靠的性能，时间稳定性产生了适合有限状态控制的清晰命令状态。使用轻量级LSTM的动态手势识别实现了如挥手这样的有意高级命令，应用了接受逻辑后错误激活率较低，检测延迟与交互使用兼容。最后，边缘部署结果证明，完整的感知-决策-控制循环可以在廉价的边缘平台上实时运行，提供了无需依赖云处理的响应性能，从而提高了可部署性、隐私性和在实际人机交互设置中的鲁棒性。这项工作的主要贡献是将边缘计算与多分支手部理解流程和对象感知意图推理集成在一起，形成了一个轻量级、可解释的形式，并符合协作机器人操作的约束。通过将感知和决策保持在机器人附近，所提出的框架减少了延迟并简化了集成，同时结合手势、轨迹和对象上下文提供了比纯基于姿势的命令集更自然的交互渠道。从这个意义上说，所提出的系统代表了朝着使人机交互（HRI）更加直观和易于使用迈出的一步，尤其是在可靠性、简洁性和实时响应是首要要求的工业场景中。该框架特意采用了仅基于边缘的计算架构来实现实时感知-决策-控制循环，因为稳定的手势驱动机器人操作依赖于低延迟、本地执行以及减少对外部通信的依赖。在涉及多个机器人、工作单元或同时进行的HRI会话的更大规模工业应用中，采用更广泛的边缘-云协同策略可能带来重要的系统级优势。在这种环境下，对延迟敏感的功能（包括手部特征点处理、手势解释和机器人命令生成）将保留在边缘设备上，而非实时任务（如长期数据聚合、定期重新训练、模型版本管理和群体级分析）可以委托给云基础设施[43]。此外，为虚拟化云多媒体环境开发的能源感知资源分配策略为未来分布式HRI生态系统中的边缘响应能力和云端能源效率平衡提供了一条可能的路径[44]。从另一个角度来看，如果多个HRI会话竞争有限的计算和网络资源，一个具备准入控制或服务质量（QoS）意识的协调层可以通过根据应用约束（例如最大可容忍延迟或最小可接受帧率）来优先处理对延迟敏感的控制流，从而帮助维持机器人的稳定运行；在饱和条件下，可以推迟、拒绝或降级低优先级的请求。在这方面，为IMS云计算开发的负载均衡呼叫准入控制模型在预防过载、资源感知决策以及在受限的CPU和内存容量下保持服务连续性方面提供了有用的概念类比[45]。尽管这些扩展超出了当前单边缘原型的范围，但它们代表了未来大规模工业应用的有意义的方向。

从安全角度来看，所提出的控制器设计了多种保守机制，以确保在共享的人机工作空间中的行为可预测性。只有在对离合器激活有信心时才允许移动；当跟踪性能下降时，状态机（FSM）会切换到安全保持模式；在没有操作员重新指令的情况下，临时恢复感知后不会自动恢复移动。这些设计选择降低了由于瞬态特征点噪声、不稳定手势识别或短暂视觉遮挡导致意外移动的风险。然而，本研究应被视为一种具有安全意识的研究实现，而不是完整的工业安全验证，因为反应时间、遮挡引起的故障行为及恢复性能并未作为独立的安全基准进行评估。未来的工作将重点加强所提出的基于边缘的HRI框架的鲁棒性和部署准备度。在硬件方面，这将包括在长时间工作负载下对边缘平台进行持续评估，明确测量功耗、热行为和潜在的节流效应，以便更好地评估长期工业运行情况。在感知方面，将特别关注由机器人手臂、被操纵物体本身或人体运动引起的手部和物体的部分或完全遮挡，因为这些效应可能会降低手部跟踪和物体检测的准确性，并可能导致意图估计不明确。为了解决这个问题，我们将研究包括时间重新识别、多假设跟踪、模块间基于置信度的融合以及能够在短暂视觉中断期间保持稳定交互估计的轻量级预测模型在内的遮挡感知策略。此外，虽然手部-物体融合逻辑已经在框架层面集成，但其独立贡献在目前的研究中尚未单独量化；因此，未来的评估将包括比较仅基于手势的控制和基于上下文的控制的消融实验，特别是在交互模糊的情况下。这些方向的结合将进一步增强系统在实际操作任务和工业工作空间中更紧密的人机协作中的实用性。