基于表面肌电的跨受试者手势识别独立与融合深度学习模型统一基准研究

《Array》：A Unified Benchmark of Standalone and Fusion Deep-Learning Models for Cross-Subject Hand-Gesture Recognition Using Surface Electromyography

　　

表面肌电（surface electromyography, sEMG）信号可用于监测神经肌肉活动，近年来已被广泛应用于人机交互（human–machine interaction, HMI）、人机界面（human–computer interaction, HCI）、人-机器人交互（human–robot interaction, HRI）及仿生应用等领域。近年来，肌电信号已被用于许多利用生物机器人手进行手势识别的辅助技术中。基于肌电的手势识别系统的一个关键特性是，其能够在同一会话内以及不同受试者执行的不同会话之间均以高识别精度识别手势。由于个体间差异，sEMG系统的识别精度可能下降，这些差异可能由多种因素引起，包括手部形态、皮肤表面电极位置、肌肉疲劳、会话漂移以及其他变异来源。此外，运动伪迹也可能影响系统性能。即使对多通道sEMG进行静态特征分类，这已经是一个具有挑战性的问题，更不用说同时对通道间的时空关系进行建模。多通道sEMG手势识别已采用多种深度架构进行研究，包括用于学习肌电信号局部形态的卷积神经网络（convolutional neural network, CNN）、用于建模序列和层次时序信息的循环神经网络（recurrent neural network, RNN）如双向长短期记忆网络（bidirectional long short-term memory, BiLSTM）和时间卷积网络（temporal convolutional network, TCN），以及用于对紧凑的手工特征向量进行分类的多层感知机（multilayer perceptron, MLP）。该领域长期存在的一个方法论问题是，研究人员往往采用随机划分数据为训练集和测试集，而非使用受试者独立评估方法（如留一受试者交叉验证，leave one subject out, LOSO）。在实践中，模型应以最少的校准工作量迁移到新用户，但高精度的“随机划分”模型在受试者独立评估中可能精度较低。分类前的信号预处理和表示也是肌电模式识别中影响分类精度的主要因素。这意味着尚不清楚混合模型所展示的改进是否能迁移到评估协议中，还是仅归因于特定模型和表示。作者先前的研究提出了一种混合CNN-BiLSTM方法，利用CNN编码多通道肌电手势识别问题中的空间维度，并利用BiLSTM建模时间方面。当前工作填补了这一更大的空白：比较多类深度学习算法（及其组合）在多通道sEMG手势分类上的性能，以及当评估协议改变时它们在性能排名中的位置。为此，在单一且连贯的实验框架中研究了四个独立模型、四个学习家族（MLP、CNN、TCN和BiLSTM）的四种独立架构以及三种混合模型（TCN-BiLSTM、CNN-BiLSTM、MLP-BiLSTM）。实验在40名受试者的八种手势（REST、EXTENSION、FLEXION、ULNAR、RADIAL、GRIP、SUPINATION和PRONATION）的四通道sEMG数据上进行。组件消融实验估计了各架构在受试者内和跨受试者情况下每个单独组件的贡献，基于随机划分和LOSO两种协议，并同时使用两种精度类型来估计受试者内和跨受试者精度。以往多通道sEMG手势识别文献中，受试者独立泛化评估仅使用少量受试者，通常没有正式的统计检验，且仅使用有限的四种sEMG数据表示。据研究人员所知，这是首个在三种互补sEMG表示下比较四种独立和三种混合深度学习架构，并在40名受试者上进行受试者独立泛化评估且进行正式统计检验的研究。

# 基于表面肌电的跨受试者手势识别深度学习模型统一基准研究：论文解读

## 一、研究背景、问题与意义

表面肌电（surface electromyography, sEMG）信号能够反映神经肌肉活动，已被广泛用于人机交互、仿生假肢控制和生物机器人手等辅助技术中。基于sEMG的手势识别系统需要在同一受试者内以及不同受试者之间均保持高识别精度。然而，由于手部形态、电极放置位置、肌肉疲劳、会话漂移以及运动伪迹等因素，受试者间变异性会导致系统识别性能下降。多通道sEMG手势识别已有大量深度学习方法，包括卷积神经网络（CNN）、循环神经网络（如双向长短期记忆网络，BiLSTM）、时间卷积网络（TCN）和多层感知机（MLP）等。但该领域存在一个突出的方法论问题：许多研究采用随机划分训练/测试集，而非受试者独立的评估协议（如留一受试者交叉验证，LOSO）。随机划分得到的“高精度”模型在面向新用户时可能显著退化。现有混合模型（如CNN-BiLSTM）的改进是否能在受试者独立评估中保持，也缺乏系统性验证。此外，以往跨受试者泛化研究往往仅使用少量受试者，缺少正式统计检验，且sEMG数据表示方式有限。为此，研究人员在40名受试者的四通道sEMG八手势数据集上，对四种独立架构（MLP、CNN、TCN、BiLSTM）和三种混合架构（TCN-BiLSTM、CNN-BiLSTM、MLP-BiLSTM）进行了统一基准研究，采用随机划分和LOSO两种验证协议，并结合组件消融、统计检验和多种sEMG表示，系统比较各架构的性能与跨受试者泛化能力。

## 二、研究设计与关键方法

研究人员使用了来自伊兹密尔卡蒂普切莱比大学公开数据集（DOI: 10.17632/ckwc76xr2z.2）的四通道sEMG记录，包含40名受试者的八种手势（REST、EXTENSION、FLEXION、ULNAR、RADIAL、GRIP、SUPINATION、PRONATION），原始采样率2 kHz。数据预处理针对每种模型输入格式分别设计，包含带通滤波、陷波滤波、中值滤波，并生成四种表示路径：路径A为每400 ms窗口的116维时域自回归（TDAR）特征向量；路径A′为保持有序序列的相同特征；路径B为每200 ms帧每通道16特征（共64维）的序列；路径C为200 ms原始四通道波形。模型训练中采用多种正则化与增强手段（如高斯噪声、MixUp、随机掩蔽等）。评估采用两种协议：随机划分（按受试者-手势-重复块分层，80/10/10，五个种子）和LOSO（40折，每折留出一个受试者作为测试集，内验证集从39个训练受试者中抽取）。统计检验包括重复测量方差分析（ANOVA，Greenhouse–Geisser校正）、Friedman检验以及21对两两比较的Holm校正配对t检验和Wilcoxon符号秩检验。所有模型选择均基于验证集，测试集不参与任何选择。

## 三、主要研究结果

### 3.1 独立模型消融研究结果

研究人员对四种独立架构分别进行组件消融。MLP的基线配置达到98.12%±0.88的手势级验证精度，最终配置为98.00%±0.52，所有组件增减的差异置信区间均包含零，无任何对比达到显著，表明MLP的性能主要由其输入表示决定，而非所测试的架构组件。CNN基线手势级精度为89.38%±2.80，最终为91.25%±1.53；仅多尺度残差主干显示出一致正向贡献，加入后提升4.25个百分点（置信区间[+0.43, +8.07]），删除后降低4.75个百分点（置信区间[?8.65, ?0.85]），但经Holm校正后均不显著。TCN基线为97.88%±1.30，最终为97.50%±0.99，唯一排除零的对比是删除特征组注意力（+0.88，区间[+0.18, +1.57]），但未通过Holm校正，结论不确定。BiLSTM是唯一有组件在校正后仍显著的架构：输入批归一化的加入带来5.50个百分点的提升（Holm校正p=0.0497），删除导致2.12个百分点损失（Holm校正p=0.037），最终配置达到98.50%±0.71，较基线提升6.25个百分点。综合来看，四种架构中仅BiLSTM的输入归一化模块被确认为关键贡献组件。

### 3.2 重复运行分析与统计比较

在随机划分协议下，所有架构在相同的160个测试重复上评估。TCN以97.88%±1.05%的平均精度位列第一，MLP为97.62%±1.49%，TCN-BiLSTM为97.62%±1.20%，CNN-BiLSTM为97.25%±0.84%，MLP-BiLSTM为95.75%±1.73%，BiLSTM为94.75%±1.51%，CNN为90.75%±3.60%。前四名平均精度仅相差0.63个百分点，而标准差远大于模型间差异，置信区间重叠。重复测量ANOVA显示架构效应显著（F(6,24)=11.74, p=3.9×10^?6，Greenhouse–Geisser校正后p=6.9×10^?3），Friedman检验同样显著（χ2(6)=19.52, p=3.4×10^?3）。但所有21对两两比较经Holm校正后均不显著，说明随机划分无法有效区分排名靠前的模型。

### 3.3 混合模型对比评估

三种混合模型在相同数据划分和协议下训练500个周期。TCN-BiLSTM测试精度97.62%±1.20%，CNN-BiLSTM为97.25%±0.84%，MLP-BiLSTM为95.75%±1.73%。训练动态上，MLP-BiLSTM验证损失最低（约0.05），且中位选择周期最早（第53周期）；TCN-BiLSTM约0.065，中位选择周期253；CNN-BiLSTM验证损失最高（约0.09），衰减更慢且有尖峰。MLP-BiLSTM训练损失约0.17，明显高于其他两者（约0.06），这是因为其MixUp增强构造了无法完全最小化的混合样本，训练损失不可跨模型直接比较。

### 3.4 跨受试者泛化：LOSO结果

LOSO验证中，每个模型在40折上评估。TCN平均精度最高（89.81%±9.58%，宏F1=88.94%），TCN-BiLSTM紧随其后（89.56%±9.79%），CNN-BiLSTM（85.69%）、BiLSTM（85.44%）、MLP-BiLSTM（84.50%）居中，MLP（79.12%）和CNN（70.06%）泛化能力较差。最优最低折精度由TCN-BiLSTM和CNN-BiLSTM获得（62.50%），TCN为60.00%，而MLP和CNN最低折仅42.50%和37.50%。所有模型均存在左偏分布（高精度集中、困难受试者拖尾）。按手势类别看，TCN在SUPINATION（F1=94.9±11.4）、FLEXION（94.1±9.8）和PRONATION（93.7±10.3）上跨受试者F1最高且最稳定，而ULNAR（78.7±25.5）和GRIP（84.3±26.3）个体间差异最大，可能源于肌肉协同激活重叠，但该假设未经嵌入或通道激活分析确认。七个架构在相同困难受试者上表现较差（如受试者38平均仅63.93%），且信号质量与通道幅度指标（饱和度、直流偏置、信噪比等）与平均跨受试者精度相关分析中无一在多重比较校正后显著，表明困难受试者更可能反映生理/解剖/电极放置差异而非记录质量问题。

### 3.5 统计验证

对LOSO折级指标，Shapiro–Wilk检验显示7个架构中有5个不满足正态性（左偏）。Mauchly球性检验拒绝球性假设，因此ANOVA采用Greenhouse–Geisser校正。重复测量ANOVA对精度（F(6,234)=33.54, 校正后p=4.7×10^?18）、宏F1、召回率和精确率均显著，偏η2介于0.40–0.47，表明架构解释了40–47%的受试者间方差。Friedman检验同样显著（精度χ2=95.98, p=1.7×10^?18）。Holm校正后的两两比较将模型分为四组：{TCN, TCN-BiLSTM}、{CNN-BiLSTM, BiLSTM, MLP-BiLSTM}、{MLP}、{CNN}。TCN与TCN-BiLSTM之间差异不显著，而CNN和MLP与其他所有架构差异显著。

### 3.6 计算成本与模型复杂度

参数量从BiLSTM的1.43 M到MLP-BiLSTM的6.50 M，跨度4.5倍，但参数量不决定精度排序。CNN每样本MACs最低（0.66 G），但训练墙钟时间最长（3545秒/周期），因其处理大量窗口（每周期约150,000样本、1,170步）；而重复级架构每周期仅1,280样本、10步。BiLSTM虽总MACs低（约5 P），但循环计算受延迟限制，训练需43分钟。峰值内存从MLP的243 MB到TCN-BiLSTM的4.54 GB，受序列长度和编码器宽度驱动。推理方面，五个重复级架构分类一个手势重复均少于0.2 ms，但CNN因需分类117个窗口，约需90 ms。特征提取成本较高，五个重复级流水线在整个数据集上需1,387–3,121秒。

### 3.7 单模型与集成比较

仅MLP使用了三成员集成和每窗口十次测试时增强。集成后手势精度（97.62%±1.49%）与最佳单模型（97.88%±1.51%）和所有模型平均（97.67%±1.58%）相比并未提升，且测试时增强也未带来增益。集成和测试时增强使单手势推理时间从0.16–0.23 ms增加到0.68–6.79 ms（三十次前向），但模型排名并未基于不平等的推理预算。

### 3.8 与先前工作比较

在五个种子上，TCN-BiLSTM在40名受试者上取得97.62%±1.20%的手势级测试精度（宏F1为97.60%±1.24%），与文献中基于注意力的CNN-BiLSTM在10名受试者上的97.29%相当。其40折LOSO均值为89.56%±9.79%，与文献中LOSO的88.17%±5.39%相当。本研究通过omnibus检验和Holm校正两两比较确认了架构对跨受试者精度的影响，而所列文献未报告此类正式统计验证。

## 四、讨论与结论

讨论部分指出：随机划分下，TCN和深度残差MLP为最强的独立架构，但置信区间重叠且两两比较不显著，无法区分优劣。深度残差MLP无显式时序建模，与TCN持平表明手工设计的116维表示已捕获该数据集大部分判别信息。组件消融中MLP、CNN、TCN无任何组件通过Holm校正，支持输入表示是精度主要决定因素；BiLSTM例外，其性能主要归功于输入批归一化。三种混合架构均优于独立BiLSTM，但MLP-BiLSTM采用差异最大的双输入表示并未获得最高精度，说明输入互补性本身不足以解释融合优势。LOSO排名与随机划分排名明显不同：TCN双协议均居首，MLP从随机划分第二跌至LOSO第六，CNN始终垫底。TCN类架构的跨受试者鲁棒性可能源于沿特征序列的膨胀卷积归纳偏置，能提取跨受试者幅值差异下的短期瞬态和收缩包络；而基于统计池化（MLP）或原始信号局部形态（CNN）的模型对分布变化更敏感。统计验证将模型分为四组，组间差异可信。研究局限性包括：八类任务排除两类、可能比十类简单；各架构输入/预处理/窗口/架构不同，比较的是完整流水线而非纯架构，且参数未匹配；开发中曾记录测试精度但未用于选择，仍可能产生间接影响；五个随机种子统计功效有限；LOSO内验证集来自39个训练受试者，非完全受试者分离；零相位滤波、双向循环、集成和TTA使当前实现为离线分类器，实时嵌入式部署仍需未来工作。结论为：在随机划分下，TCN（97.88%）和深度残差MLP（97.62%）是最准确的独立架构，TCN-BiLSTM是最佳混合架构（97.62%），但所有两两比较均未通过Holm校正；在LOSO下，TCN（89.81%）和TCN-BiLSTM（89.56%）是最佳泛化架构且彼此不可区分，MLP降至第六（79.12%）。一个协议的排名无法预测另一个协议，因此受试者独立评估对多通道sEMG手势识别模型选择至关重要。未来工作将涵盖跨会话与跨数据集验证、领域自适应以减少受试者校准、多模态感知以区分生物力学重叠手势，以及面向嵌入式实时应用的轻量级模型。