FRFNet：一种用于手部运动意图识别的疲劳鲁棒脑电–肌电融合网络

《Frontiers in Human Neuroscience》：FRFNet: a fatigue-robust EEG–EMG fusion network for hand movement intention recognition

　　

引言：准确的运动意图识别对智能康复系统、可穿戴辅助装置和人机交互至关重要。脑电图（electroencephalography，EEG）反映皮质运动意图与认知调控，表面肌电图（surface electromyography，sEMG）提供与运动执行相关的外周肌肉激活信息。EEG–EMG融合可从中枢与外周神经系统提供互补信息，但肌电信号在长时间或高强度康复任务中易受肌肉疲劳影响，出现幅度衰减、信噪比下降和模态可靠性失衡。 方法：为此，研究人员提出疲劳鲁棒脑–肌融合网络FRFNet。该框架包含用于EEG编码的多尺度自适应时间卷积网络（multiscale adaptive temporal convolutional network，MS-ATCN）、用于EMG表示的双路径疲劳解耦编码器（dual-path fatigue disentanglement encoder，DP-FDE），以及疲劳感知动态加权自适应门控融合机制（dynamic weighted adaptive gating fusion，DW-AGF）。EEG分支通过多尺度时间建模与时空注意力捕获较稳定的运动相关皮质模式；EMG分支将疲劳不变动作特征与疲劳敏感退化信息分离，无需显式疲劳标签即可实现隐式疲劳估计；动态加权自适应门控模块依据模态质量与疲劳状态调节EEG和EMG贡献。 结果：实验在涉及直觉性上肢运动任务的公开多模态EEG–EMG数据集上进行，并引入10%至90%的合成疲劳相关EMG退化水平进行受控鲁棒性评估。在受试者内方案中，FRFNet在90%退化下准确率为60.0%，分别超过E2FNet、DCA Fusion和DMEFNet-adapted 12.7、15.2和11.7个百分点；在严格留一受试者评估中，FRFNet在同一水平下达57.0%准确率，并在六种方法中保持最高总体性能。部署推理路径含116.6万参数，单试次前向延迟为5.321±0.934 ms。 结论：结果表明，退化感知自适应融合可抑制不可靠EMG特征，并改善渐进性EMG退化下的EEG–EMG运动解码。因此，FRFNet为受评估合成EMG退化条件下的疲劳感知康复与自适应人机交互提供了鲁棒多模态解码框架。

论文解读：《Frontiers in Human Neuroscience》刊载的FRFNet研究面向智能康复、可穿戴辅助装置与人机交互中的手部运动意图识别。EEG来自中枢神经系统，可反映运动准备与运动意图；sEMG来自外周肌肉系统，可直接表征运动执行。现有EEG–EMG融合方法多从动作分类目标学习固定或隐式模态关系，未显式建模肌电信号在渐进性疲劳下的样本级退化状态。长时间抓握、重复康复训练会使sEMG出现幅度衰减、频谱向低频偏移、传导速度下降和信噪比退化，导致中枢–外周模态可靠性失衡。若退化肌电仍被赋予过高融合权重，多模态解码会受污染。因此，研究人员需要建立一种能把动作信息与疲劳退化信息分开、并能按信号质量重新分配模态贡献的脑–肌融合框架。

研究人员在公开多模态EEG–EMG数据集上开展研究，该数据集由Jeong et al. (2020)发布，包含直觉性上肢运动任务下同步采集的EEG、EMG与EOG记录。研究通过引入10%至90%的合成疲劳相关EMG退化水平，系统评估模型在渐进性肌电退化中的鲁棒性。结论上，FRFNet以退化感知自适应融合抑制不可靠EMG特征，在受试者内与留一受试者条件下均保持优于对照方法的性能，为疲劳感知康复和自适应人机交互提供可部署的多模态解码方案。

关键技术方法上，研究人员采用三类组件：MS-ATCN用不同膨胀率的一维时间卷积、通道自适应缩放、时空注意力和可学习多尺度融合提取稳定EEG表示；DP-FDE将EMG分为疲劳不变路径与疲劳敏感路径，前者用z-score归一化和L2归一化降低幅度缩放影响，后者保留均值中心化信号的能量变化并估计内部EMG退化指标r_f；增强协同注意力（enhanced co-attention）模块用EEG与EMG的全局平均、最大和标准差统计进行双向调制；DW-AGF由模态置信度、基础门控权重与r_f共同计算EEG权重w_E和EMG权重w_M，使严重退化时中枢模态贡献上升。

研究结果如下。

2 Methods

研究人员给出FRFNet整体架构：EEG输入X_EEG∈?^B×C_E×T，EMG输入X_EMG∈?^B×C_M×T，经并行编码、跨模态增强、疲劳感知加权与分类映射为手部运动类别y。

2.1 Overall architecture of FRFNet

研究人员以双模态并行编码和自适应融合组织网络，先提取EEG与EMG特征，再经协同注意力交互，最后由DW-AGF重新分配模态权重并分类。

2.2 EEG encoder: multiscale adaptive temporal convolutional network

研究人员用三支不同膨胀率Conv1D提取局部、中等和长程时间依赖，以GELU和批归一化增强非线性与稳定训练；空间注意力A_s和时间注意力A_t分别突出运动皮质相关通道与关键时间片段；可学习多尺度融合用全局平均池化（global average pooling，GAP）统计向量经多层感知机（multilayer perceptron，MLP）与Softmax得到w₁、w₂、w₃，再加权得到EEG表示Z_E。结论是EEG分支可在噪声条件下聚焦稳定运动意图特征。

2.3 EMG encoder: dual-path fatigue disentanglement modeling

研究人员设疲劳不变路径接收z-score归一化EMG，经多尺度时间卷积、L2归一化和可学习通道缩放β得到Z_M；疲劳敏感路径接收均值中心化EMG，经1×1卷积和时间卷积提取H_f，再由GAP后的L2能量E与参考能量E_ref计算r_f=clip(1?E/(E_ref+ε),0,1)。结论是动作特征与退化因素被解耦，r_f作为无标签内部EMG退化指标服务融合。

2.4 Enhanced co-attention interaction module

研究人员用GAP、全局最大池化（global max pooling，GMP）和标准差（standard deviation，STD）构造g_E与g_M，经跨模态MLP与层归一化（layer normalization，LN）生成A_E与A_M，并以残差方式得到Z_E′和Z_M′。结论是跨模态互补性增强，且任一模态不会被过度抑制。

2.5 Fatigue-aware dynamic weighted adaptive gating fusion

研究人员先由MLP与Sigmoid得到EEG置信度q_E和EMG置信度q_M；再由拼接全局特征经MLP与Softmax得基础门控g_E⁰、g_M⁰；随后用q_E、q_M归一化得w?_E、w?_M；最后以疲劳偏置系数λ_f与r_f调整w_E=clip(w?_E+λ_fr_f,w_min,w_max)，w_M=1?w_E。结论是基于模态质量与疲劳状态的闭环调节，使EMG严重退化时EEG贡献增加。

讨论部分总结：研究人员指出，常规融合方法未显式表示样本依赖的EMG退化状态，而FRFNet把疲劳不变动作表示、疲劳敏感退化估计和可靠性感知门控连成闭环。DP-FDE降低幅度衰减对动作特征的污染，DW-AGF把内部退化指标转化为模态权重，使模型在10%至90%合成退化区间内性能下降更缓。该方法不依赖显式疲劳标签，对未见受试者仍具较好泛化，适用于疲劳感知康复机器人、混合脑机接口和外骨骼控制中的自适应解码。

结论部分翻译：结果表明，退化感知自适应融合可抑制不可靠EMG特征，并改善渐进性EMG退化下的EEG–EMG运动解码。因此，FRFNet在为受评估合成EMG退化条件下的疲劳感知康复与自适应人机交互提供鲁棒多模态解码框架方面具有价值。