基于深度迁移学习的传感器融合神经肌肉接口，实现连续手指关节角度估计

《IEEE Transactions on Neural Systems and Rehabilitation Engineering》：Toward Sensor Fusion Neuromuscular Interface for Continuous Finger Joint Angle Estimation via Deep Transfer Learning

　　

摘要：

准确解码生物信号中的运动意图，是实现直观的上肢假体控制界面的重要步骤。我们提出了一种新颖的高维多模态深度学习框架，该框架结合表面肌电图和B模式超声图像，能够持续估算掌指关节及近端指间关节的角度。该框架采用共享的编码器-解码器-回归架构，整合了卷积神经网络、转置卷积、以指令动作作为查询的动作条件多头交叉注意力模块，以及长短期记忆层，从而共同捕捉两种模态下的时空特征。为提升跨受试者通用性并减少新用户所需数据量，我们采用了参数冻结的迁移学习策略。在七名健康受试者的数据上进行的实验表明，与仅使用表面肌电图或仅使用超声的基准模型相比，融合模型将测试局部均方根误差分别降低了2.187°（23.385%）和0.890°（11.054%），同时将测试局部相关性（皮尔逊相关系数）分别提高了0.069（10.02%）和0.039（5.48%）（p < 0.05），这证明了多模态融合在未来假体控制界面中的应用潜力。在对一名截肢者的初步验证中，也表明该框架在残余肢体感知条件下具有可行性。消融研究进一步证实，完整的CNN+LSTM+ATT模型性能最佳，能使测试局部均方根误差降低0.933°（11.524%），测试局部相关性提高0.033（4.56%）（p < 0.05）。此外，仅用新受试者数据的25%对预训练模型进行微调，其性能就能与完全重新训练相当，体现了该框架的高数据效率。