利用双LSTM网络和跳跃运动实现手部动作震颤的实时抑制并保持轨迹结构

《Robotics and Autonomous Systems》：Real-time reduction of hand motion tremors and preservation of trajectory structure using Bi-LSTM network and leap motion

　　摘要：生理性手部震颤是微创机器人手术中亟需解决的关键技术难题之一。这类无法控制的震颤会降低运动轨迹的精确度。本文提出了一种概念验证型的有限延迟近实时系统，该系统将双向长短期记忆网络与Leap Motion 2控制器相结合，用于抑制全三维手部追踪数据中的生理性手部震颤。该系统的目标是减少震颤引发的轨迹波动，同时保持自主运动的轨迹。实验结果表明，与传统单向长短期记忆网络相比，双向长短期记忆网络能将轨迹重建误差从3.5434毫米降至0.4282毫米。频谱分析显示，在4–25赫兹频率范围内，X轴方向的噪声降低了13.75分贝，Y轴方向降低了12.67分贝，Z轴方向降低了13.09分贝。此外，与传统的经验模态分解方法相比，这种基于双向长短期记忆网络的螺旋轨迹动态时间弯曲相似度指数提升了多达69%。在与自适应卡尔曼滤波器的对比中，双向长短期记忆网络在不同速度条件下都能实现更低的重建误差且具有更好的稳定性。在没有图形处理单元加速的情况下，平均预测时间为40.95±4.38毫秒；考虑到10帧的延迟，端到端延迟为148.59±7.97毫秒，这证明了在普通硬件上实现有限延迟近实时处理的可行性。Leap Motion 2控制器与双向长短期记忆网络的结合有效抑制了手部震颤，使得能够以有限延迟的方式近实时构建运动路径。这种精准、经济且无需接触的方法有望应用于机器人手术、远程操作和增强现实领域，不过还需进一步进行临床验证。

引言：与开放手术相比，微创手术通过减少组织损伤、缩短恢复时间以及降低失血量，为现代外科技术带来了显著进步[1]。机器人的引入进一步提升了微创手术的优势，提高了手术精度并减少了震颤现象[2]。尽管微创手术和机器人手术具有诸多优势，但无意的手部震颤仍会严重影响运动的准确性[3]。机器人手术中的手部震颤源于多种因素，包括生理性波动、疲劳导致的不稳定性，以及特发性震颤和帕金森病等神经系统疾病。即便在健康人群中，肌肉疲劳、压力以及长时间手术也可能会加剧震颤的程度。神经外科、显微外科和视网膜手术等高精度手术尤其容易受到手部震颤的影响[4]。早期用于减轻机器人手术中震颤的方法包括区分自主运动与非自主运动、使用机械稳定装置以及信号处理滤波器。Chilo等人[5]指出，卡尔曼滤波器、有限脉冲响应滤波器以及带阈值处理的移动平均法相结合，可以有效抑制生理性手部震颤以及机器人手臂控制中Leap Motion传感器的固有噪声。他们的研究结果表明，虽然卡尔曼滤波器在估算手部位置方面效果不错，但仅靠它不足以消除非自主震颤。此外，多项研究还表明，这些方法可能会引入信号处理问题以及不同的时间延迟，从而影响手术系统的实时性能[6]。另外，要实现机器人系统的无缝集成，就必须处理好轨迹层面的震颤过滤与控制层振动抑制之间的平衡，因为手术机器人的结构灵活性以及动态负载的变化要求有更为完善的振动管理机制[7]。此外，传统的滤波方法，包括低通滤波器和经典卡尔曼滤波器，都无法有效区分自主运动与非自主运动。除了传统滤波器之外，Zhou等人[8]还提出了一种基于粒子群优化的无迹卡尔曼滤波器，专为微创手术机器人设计，通过自适应调整噪声参数来更好地抑制震颤。然而，当震颤模式快速变化时，这种基于粒子群优化的参数调整方法可能会出现问题，从而导致在手术过程中不必要的控制运动被抑制[9]。尽管自适应神经模糊推理系统能够通过结合模糊逻辑与神经学习方法来分离运动的自主成分与非自主成分，但该系统也存在计算成本高、需要频繁调整，以及在面对复杂或突然变化的运动路径时适应性差等问题[10]。随着深度学习与人工智能技术的发展，数据自适应模型被用于抑制手部震颤，这类模型的性能优于传统滤波方法。其中，长短期记忆网络因其能够模拟时间依赖关系并准确预测非自主震颤，而被证明特别有效[11]。有研究显示，双向长短期记忆网络通过分析运动模式，能够较好地预测相关事件的发生[12]。Vysocky等人[13]也强调了Leap Motion在实时模拟手部动作方面的应用价值。这款传感器可用于采集手部运动数据，由于其高精度，非常适合用于机器人控制、人类动作研究以及人机交互等领域中的手部和手指动作分析。通过该传感器获取的数据包括手部和手指的3D坐标，可用于模拟和分析手部动作。像Leap Motion 2控制器这样的光学运动追踪系统也被用于测量和减少手部运动的震颤。Majdoub Bhiri等人[14]指出，尽管光学追踪可以提高振动抑制的精度，但该方法仍然容易受到噪声、外部干扰以及校准误差的影响。Korayem和Vahidifar[15]利用Leap Motion传感器检测了在操控腹腔镜剪刀和手术机器人手臂时的手部震颤，随后他们还设计、制造并使用了基于Leap Motion传感器的腹腔镜机器人[16]。此外，他们还通过结合Leap Motion控制器与卡尔曼滤波器，提升了手术机器人手臂的控制精度[17]。因此，近期的研究多集中在将光学追踪方法与基于人工智能的信号处理滤波器相结合。在生理性震颤抑制领域，最新的研究趋势是采用将信号分解与先进机器学习预测模型相结合的混合框架。例如，Rasheed等人[18]提出了RSSA-RVFL方法，该方法将递归奇异谱分析与随机向量函数链接网络相结合，从而实现实时震颤隔离，并大幅降低延迟。为了解决3D手术机器人中跨维度耦合建模的问题，Rasheed等人[19]提出了SSA-QELM框架，该框架利用四元数极值学习机来捕捉空间轴之间的内在关联，其建模精度优于传统的独立轴处理方式。此外，像BMFLC-EMD-RVFL这样的混合集成框架[20]也证明了将经验模态分解与基于学习的预测模型相结合，对于处理生物医学运动信号中高度非平稳且不规则的动态特性具有显著效果。虽然这些基于分解的高级方法能够提供高精度结果，但它们通常需要多阶段的计算流程。相比之下，我们提出的双向长短期记忆网络架构则提供了一种统一的时间重建方案，避免了手动或经验性信号分解所带来的复杂性。在本研究中，我们选择了双向长短期记忆网络来平滑运动数据，而非采用移动平均或卡尔曼滤波器等传统方法。选择这种网络是因为它具备处理运动方向快速复杂变化、保持运动连续性，以及从手部运动数据中学习长期依赖关系的独特能力[21]。像移动平均和卡尔曼滤波器这样的方法，仅在运动变化缓慢且呈线性特征的情况下才能表现出良好性能。而在运动方向出现快速变化的情况下，比如螺旋形运动，这些方法的性能就无法与双向长短期记忆网络相媲美。移动平均法在不考虑复杂时间依赖关系的情况下对数据进行平滑处理，因此无法在复杂的环形路径中很好地保持运动的连续性。而当系统模型和噪声情况不明确，或者数据复杂性较高时，卡尔曼滤波器的性能也可能不佳[22,23]。Leap Motion 2控制器用于追踪手部动作，相比之前的版本，它的精度和检测范围都要高得多。这使得无需物理接触即可高分辨率地记录手部和手指的运动情况。由于其高采样率，该传感器能够捕捉到细微的运动波动。不过，作为一款光学追踪设备，它的测量结果可能还会包含传感器噪声、追踪抖动以及偶尔出现的异常信号。因此，所观察到的高频成分可能既包含生理性震颤，也有一小部分是由传感器本身引起的波动。虽然传统的信号处理方法，如经验模态分解[24]，在分离不同频率成分方面表现良好，但在某些情况下也会面临一些问题。尤其是，由于缺乏稳定的分析结构，且需要根据数据的统计特性来经验性地确定重建阈值，这使得该方法在面对振动模式的动态变化时稳定性较差。此外，在运动路径复杂或出现突然变化时，还存在意外去除部分自主运动成分的风险。本研究提出了一种有限延迟近实时系统，该系统利用双向长短期记忆网络与Leap Motion 2光学传感器相结合，既能抑制生理性手部震颤，又能保持自主3D运动轨迹的精度与连续性。该系统能够在不牺牲运动完整性的前提下实现低延迟运行，因此有望在需要高精度的任务中得到应用，比如机器人辅助下的微创手术，前提是满足该任务特定的延迟要求。本文共分为四个部分。第二部分介绍了所提出的模型，内容包括双向长短期记忆网络模型的架构、模型理论，以及从Leap Motion 2控制器获取数据后的预处理和运动数据准备流程。这部分还阐述了模型的训练流程、最优参数以及评估标准。第三部分是分析部分，其中介绍了该模型在重建圆形、螺旋形和方形路径时的性能表现。这部分不仅比较了该模型在实验条件与仿真条件下的性能，还与传统的经验模态分解方法进行了详细对比，同时还将该模型与自适应卡尔曼滤波器作为基准，进一步分析了其在有限延迟近实时手部轨迹估计方面的性能。在这一部分，我们使用了均方根误差、动态时间弯曲指标以及信噪比等可量化指标来评估重建质量。最后，本文讨论了所提出模型的优点、局限性以及未来的发展潜力。

方法与概念框架：本研究开发了一种双向长短期记忆网络架构，旨在利用来自Leap Motion 2控制器的运动数据来抑制手部震颤并过滤手部运动轨迹。本部分介绍了数据收集流程、预处理步骤以及所设计的模型结构。

仿真与实验结果：本部分通过基于Leap Motion 2控制器获取的数据，评估了双向长短期记忆网络在减少手部震颤以及精确重建运动轨迹方面的性能。由于双向长短期记忆网络在处理序列数据方面表现优异，因此被用来抑制由震颤引发的噪声，从而生成更加平滑的运动路径。为此，我们选择了圆形、螺旋形和方形路径作为测试用的运动模式。实验结果表明，双向长短期记忆网络……

讨论与结论：本文提出了一种非接触式的有限延迟近实时系统，该系统利用双向长短期记忆网络与Leap Motion 2光学传感器相结合，能够有效抑制震颤并精确重建手部运动轨迹。与卡尔曼滤波或经验模态分解等一些常见的滤波方法不同，后者在面对突然或非线性的运动变化时往往难以应对，而我们所提出的双向长短期记忆网络则能够通过双向时间分析，有效区分自主运动与非自主运动成分。

CRediT作者贡献声明：A.N.H. Pashaki：写作——审稿与编辑、写作——初稿撰写、可视化、软件工具、方法论、形式分析、数据整理、概念构思。M.H. Korayem：写作——审稿与编辑、项目监督、项目管理、概念构思。A.N.H. Pashaki | M.H. Korayem