基于集成Transformer框架的手指关节角度预测研究

《Scientific Reports》：Ensemble transformer-based framework for predicting finger angles

　　

超过50%的上肢截肢者拒绝使用假肢装置，主要原因是功能性、舒适性和直观控制方面的局限。手指关节角度的准确估计是比例假肢控制的关键要求，因为它能够生成连续、自然的手部运动，从而更接近地模拟生物手功能。然而，由于肌电信号与关节运动之间的非线性关系，以及嵌入式假肢系统相关的计算约束，手指关节角度的实时预测仍然具有挑战性。此外，肌电信号质量受到皮肤特性、骨骼结构、肌腱和肌肉变异性等生物因素的影响。本研究利用从健全受试者采集的多模态肌电和惯性测量单元信号来预测掌指关节角度。提取了方差、均值、中位数和肌肉协同等特征，并应用滑动窗口技术以提高训练稳定性和输出平滑性。采用最小冗余最大相关性方法进行降维，并采用了混合卷积神经网络–Transformer架构。为了捕捉不同手指运动范围之间的相似性和差异性，研究人员采用集成学习策略将手部分为三个功能区域。在测试中，所提出的模型使用150个样本的窗口大小、25个样本的重叠和18个选定特征，实现了0.90的决定系数和7.92°的均方根误差。所提出的框架具有应用于比例假肢控制相关领域的潜力。

基于集成Transformer框架的手指关节角度预测研究：方法、结果与意义

一、研究背景与问题

上肢截肢伴随着较高的假肢拒绝率，尤其是在机械性和装饰性假肢中，拒绝率超过50%。拒绝的主要原因包括功能受限、日常活动困难、重量过大和舒适性不足。随着传感器技术和信号处理的发展，现代假肢已转向由肌电（EMG）信号控制的智能系统。EMG控制的假肢经历了四代演变：第一代依赖信号幅度实现简单开合；第二代引入状态机控制；第三代采用机器学习算法进行手势分类；第四代则致力于实现单指的比例和连续控制，即独立连续的手指运动，以模拟人手自然生物力学特性。

然而，手指关节角度的实时预测面临多重挑战。首先，EMG信号与关节运动之间存在非线性关系，且信号本身受皮肤特性、骨骼结构、肌腱和肌肉变异性等生物因素影响。其次，高密度EMG系统虽能减少电极放置依赖并捕获更全面的肌肉激活模式，但产生的高维数据需要复杂深度学习架构，增加了计算负担，难以满足嵌入式假肢系统的低延迟和计算效率要求。此外，传统机器学习方法对电极位置和解剖变异高度敏感，限制了模型泛化能力。现有研究虽已探索混合CNN–Transformer架构，但仍需在保持高精度的同时实现计算可行性。因此，本研究提出一种结合CNN与集成Transformer的混合估计框架，利用多模态EMG和惯性测量单元（IMU）数据进行手指关节角度估计，旨在提高估计精度并保持计算可行性。

二、研究开展内容与主要结论

研究人员使用公开数据集，包含五根手指的独立屈伸运动，每根手指在6秒内完成12次循环运动。数据采集使用Qualisys运动捕捉系统（14个反光标记和9台摄像机）获取掌指关节（MCP）角度真值，同时使用Delsys Trigno系统（14个无线传感器）记录EMG和IMU信号，共14个EMG通道和42个IMU特征。研究人员提出了两种模型：混合CNN–Transformer模型和CNN–集成Transformer模型。集成模型根据手指功能相似性将手部分为三个区域（拇指；食指和中指；无名指和小指），每个区域训练独立的浅层子模型。实验表明，集成模型在测试集上取得了0.90的决定系数（R2）和7.92°的均方根误差（RMSE），相比混合模型（R2=0.83，RMSE=8.21°）精度提升7.9%。该框架在预测延迟方面满足实时假肢控制要求，为比例假肢控制提供了可行的技术方案。

三、关键技术方法

研究人员使用了以下主要技术方法：（1）信号预处理：对EMG信号应用10–450 Hz带通滤波，将关节角度数据从300 Hz二次插值上采样至2000 Hz以实现时间对齐；（2）特征提取：在时域提取平均绝对值（MAV）、均值、中位数和方差，并利用主成分分析（PCA）提取肌肉协同特征，保留约80%累计方差的8个主成分；（3）特征选择：采用最小冗余最大相关性（MRMR）方法，仅基于训练数据选择18个最具信息量且冗余度低的特征，同时加入高斯白噪声增强鲁棒性；（4）模型架构：构建混合CNN–Transformer模型（4层卷积+9层Transformer编码器）和CNN–集成Transformer模型（浅层子模型，4层Transformer编码器），使用Adam优化器、ReLU激活、L2正则化和早停策略；（5）数据集划分：按时间顺序将数据分为训练（60%）、验证（20%）和测试（20%），避免随机划分造成的时间依赖破坏和信息泄漏。

四、研究结果

（一）滑动窗口与特征评估

研究人员通过实验确定最优窗口大小和特征数量。使用CNN–集成模型进行测试，在六种特征数和窗口大小组合下达到最高R2值0.90。考虑到预测时间随特征数和窗口大小增加而增加，最终确定18个特征和150个样本窗口（重叠25个样本）为最优配置。实验还发现，增加特征数量并不必然提升精度，高冗余或强相关特征反而会降低预测性能。

（二）模型评估

两种模型均训练200个epoch。混合CNN–Transformer模型测试R2为0.83，RMSE为8.21°；CNN–集成Transformer模型R2提升至0.90，RMSE降至7.92°。集成模型采用早停技术（耐心30个epoch），输出每根手指的估计角度和对应R2值，所有手指角度数据归一化至[0,1]范围。

（三）预测时间分析

在相同硬件（Intel Core i5-13400F CPU，32 GB RAM，NVIDIA RTX 4060 GPU，CPU-only模式）上测试，测试文件维度为1874×18。CNN–集成模型预测时间较长，但精度提升7.9%。值得注意，集成架构每个子模型独立运行，天然适合并行计算。串行模式下全手抓取预测需1.9秒，并行执行则降低至约0.63秒，满足实时假肢控制通常所需的200毫秒至2.5秒延迟范围。

（四）与现有方法对比

研究人员将所提模型与文献中报道的至多三自由度比例控制方法进行了比较，使用相关系数（R）、RMSE和归一化均方根误差（NRMSE）作为评价指标。结果表明，集成Transformer模型在报告角度误差的研究中取得了最低的RMSE之一，同时保持了高相关系数，证明了其在手指关节角度估计中的有效性。各手指均从集成方法中获益，其中无名指和小指的相对改善幅度更大，而拇指因基线精度已较高（R2>0.90）而提升空间有限。

五、讨论总结与结论

研究讨论指出，滑动窗口大小和特征数量显著影响预测性能。窗口过小导致时间信息不足，过大则引入无关信息增加冗余；特征数量存在最优平衡点，超过该点后计算复杂度增加但精度提升有限。预测轨迹与真实轨迹的对比显示，模型在明显屈伸阶段具有较好的时间对齐和幅度重建精度，但在低幅度运动段和过渡区域误差较大，这主要是由于相关EMG活动较弱且易受噪声影响。

研究存在以下局限性：训练数据仅包含单指孤立运动，未涉及多指同时运动；模型计算和内存需求较高，在微控制器嵌入式系统上的部署仍需优化；当前研究为离线估计，未在假肢装置上进行物理实施或闭环控制测试。未来研究方向包括在经桡动脉截肢者上验证模型，探索残余肌肉的最佳电极放置策略，评估不同截肢水平和肌肉条件下的泛化能力，以及使用包含多指同时运动、复杂手势和多受试者的更大数据集进行验证，并最终在边缘设备上部署以实现实时推理。

研究结论：本研究提出了一种结合卷积神经网络（CNN）与集成Transformer的混合估计框架，利用多模态EMG和IMU数据准确估计手指运动学参数，这是比例假肢手控制的基本要求。所提出的模型能够在完全屈伸过程中估计每根手指的掌指关节（MCP）关节角度。基于最小冗余最大相关性（MRMR）方法的特征选择有效识别了最具信息量的信号，在降低计算复杂度的同时提高了估计精度。实验结果证实了集成Transformer架构的优势，凸显了IMU数据对预测性能的积极作用，并验证了利用肌肉协同降低EMG维度而不丢失必要信息的有效性。与现有先进方法相比，所提出的框架取得了优越的预测性能，表明其作为实时假肢控制系统构建模块的潜力。然而，当前研究侧重于离线估计，尚未在假肢装置上进行物理实施或闭环控制测试。