基于纺织传感器融合与复值残差卷积神经网络（CV-CNN）的12类运动活动识别

《Advanced Intelligent Systems》：Sports Activity Recognition Using Textile-Based Sensor Fusion and Complex-Valued Residual Convolutional Neural Networks

　　

传统可穿戴技术中的人体活动识别（Human Activity Recognition, HAR）系统通常将传感模态分离，使用机械传感器进行运动检测，并使用诸如心电图（ElectroCardioGram, ECG）等生物物理传感器进行健康监测。本研究通过证明经纺织电极采集的心电信号本身编码活动特异性信息，挑战了这一划分，因为传统上被视为噪声的运动诱导信号变形携带有判别性模式。研究人员开发了一种智能纺织系统，集成纺织基心电电极和电容式应变传感器，用于12种运动相关活动的多模态识别。该框架采用分层传感器融合策略：传统机器学习模型分析应变数据以进行姿态识别，而残差复值卷积神经网络（residual complex-valued convolutional neural networks, CV-CNN）处理心电信号，标志着其在此背景下的新颖应用。该网络作用于小波变换后的复信号，提取幅度和相位信息，并纳入逐分量最大池化（component-wise max pooling）以提高计算效率而不损害精度。实验验证在受试者内（intrasubject，3名受试者）和受试者间（intersubject，7名受试者）条件下进行，显示出强单模态结果。基于应变的分类器达到受试者内96.73%和受试者间89.62%的准确率。融合元分类器（fusion meta-classifiers）在残差复值网络的贡献下取得最高性能，达到受试者内97.82%和受试者间95.54%的准确率，证明了稳健泛化并证实运动诱导心电特征用于活动识别的价值。

研究背景：可穿戴技术通过连续、无创监测改变人体活动识别（HAR）。电子纺织品（e-textiles）将传感元件集成到织物中，较刚性可穿戴设备更舒适。现代可穿戴设备包含加速度计、陀螺仪、应变传感器，以及 ECG、光电容积描记（PhotoPlethysmoGraphy, PPG）等生物物理传感。问题在于：运动/姿态传感器广泛用于活动识别，而生物物理传感器主要限于健康监测；ECG、PPG 用于活动识别多限于少量活动或需与惯性测量单元（Inertial Measurement Unit, IMU）融合。电子纺织品活动识别主要依赖应变、压力等机电器件。已有研究分别考察传统 ECG 运动信息和纺织传感器活动追踪，但据作者所述，尚无工作将纺织 ECG 电极与纺织应变传感器结合、且不含刚性惯性组件，用于融合多模态运动活动识别。Yang et al. 指出，纺织电极多用于监测心肺参数，运动信息通常由刚性 IMU 获取。ECG 电极和机械应变传感器已集成于许多智能服装，但未充分利用。因此，研究人员提出范式转变：ECG 除心脏监测外，其运动伪迹、噪声模式和波形变形编码活动信息，不应仅滤除，而应作为判别特征。中央假设是，纺织电极 ECG 的变形和伪迹并非随机噪声，而含与特定身体活动相关的系统模式，来源包括电极位移、肌电活动、呼吸效应和姿态改变。为处理此类信号，引入复值卷积神经网络（Complex-Valued Convolutional Neural Network, CV-CNN）。研究意义在于将 ECG 作为心脏与活动信息库，实现传感器再利用，无需刚性组件，支持纺织设计，并可服务医疗同步心血管与活动监测、运动表现评估和电子纺织品功能优化。

研究人员开展了智能运动T恤与多模态融合识别研究：开发集成纺织 ECG 电极和电容应变传感器的服装，采集12类运动活动，采用姿态与 ECG 双分支决策级融合。结论显示，ECG 单独可判别活动，复值网络优于实值网络，融合后受试者内最高97.82%、受试者间最高95.54%。

关键技术方法概述（不超过250字）：研究人员开发无缝针织智能运动T恤，集成3个纺织ECG电极和3个电容应变传感器；样本为7名健康成年女性受试者（经伦理批准），3名用于受试者内，7名用于受试者间。12类活动各记录2分钟，100 Hz同步采样；数据切为2 s窗，重叠滑窗增强，按80%/10%/10%划分。姿态用XGB；ECG用Morlet连续小波变换（Continuous Wavelet Transform, CWT）复系数输入残差CV-CNN，含复数卷积（Complex Convolution, CConv）、复数批归一化（Complex Batch Normalization, CBN）、复数漏式修正线性单元（Complex Leaky ReLU, CLReLU）、残差连接与逐分量最大池化；第二层用支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest, RF）、XGB和K近邻（K-Nearest Neighbor, KNN）元分类器进行决策级融合。

研究结果：

3.1 智能T恤的制作：采用无缝针织嵌入3个5×5 cm纺织ECG电极，主纱为93%聚酰胺和7%弹性纤维，导电纱为 Shieldex 78/18 dtex + B 银镀纱；两个电极位于胸前区，一个为右腿驱动（RL-driven）电极位于上腹右侧。双层结构中内层电极接触皮肤，海绵界面加压以提高接触稳定性。三个电容应变传感器同样无缝集成，位置经物理治疗师咨询确定：两个24 cm×4 cm位于双侧肩缝，向前延伸并越肩倾向肩胛区；一个17 cm×2 cm横向位于肩胛间区。介质为 Ecoflex 00-30 硅弹性体，厚70 μm，固化24 h。结论是该设计可实现稳定信号采集与姿态监测。

3.2 运动活动与传感器性能：定义12类活动，包括坐、站、走、慢跑、弯腰、胸伸展、俄罗斯转体、双臂交叉、坐姿肩推、空中划船右臂、空中划船左臂和躺下。应变传感器对静态姿态呈稳定低变异波形，幅度差异可反映姿态；动态活动呈复杂时序特征，走和慢跑有明显波动，肩推捕捉肩部节律。ECG 经纺织电极采集总体无高频噪声，静态和低强度活动较干净；动态活动出现基线漂移、波形变形、瞬态噪声、肌肉收缩及电极微滑，慢跑比走扰动更明显，俄罗斯转体变形较大。研究人员刻意不滤波、不归一化、不剔除伪迹，保留原始信号，以检验系统在日常使用中的鲁棒性。结论是运动诱导噪声本身编码活动信息。

3.3 系统设计：系统含应变分支和 ECG 分支，前者提供显式姿态信息，后者提供隐式运动线索，输出经决策级融合。ECG 采用复值CWT表示以保留相位，并输入残差CV-CNN学习幅度-相位联合特征；应变采用传统机器学习。因两种模态异质且各自不完美，采用决策级融合校准类概率。3.3.1 传感器融合：第一层基分类器分别处理应变和ECG，应变候选包括逻辑回归（Logistic Regression, LR）、多层感知机（Multilayer Perceptron, MLP）、SVM、RF和XGB，ECG候选包括残差CNN、残差CV-CNN、1D-CNN、2D-CNN和长短期记忆（Long Short-Term Memory, LSTM）。基分类器输出概率向量拼接后输入第二层元分类器，候选为SVM、RF、XGB和KNN。评估包括受试者内和受试者间；受试者内3人分别贡献大、中、小数据量，受试者间合并7人数据。3.3.2 CV-CNN架构：输入经Morlet CWT变换为复数；CConv保留复数乘法代数；CBN分别处理实部与虚部；CLReLU分别作用于实部与虚部；残差连接维持梯度流；池化比较逐分量池化和幅度池化。完整网络由初始CConv、四个复值残差块、取幅度后的三层全连接分类头组成，输出12类。

3.4 信号滤波对ECG分类的影响：比较0.5 Hz高通和40 Hz低通滤波与未滤波信号。残差CNN和残差CV-CNN在三个受试者中均表现为未滤波准确率更高；Subject 1的残差CNN F1从71.19%降至45.89%；逐分量残差CV-CNN未滤波相对滤波的F1增益随数据量减少而增大。结论：保留运动诱导噪声有利于活动识别，后续采用未滤波数据。

3.5 受试者内基模型结果：姿态XGB基模型F1均高于88%，Subject 1达96.73%；MLP在小数据上退化，LR表现差且不稳定。ECG基模型F1约68%–81%；残差CV-CNN优于实值残差CNN；逐分量池化与幅度池化准确率相当，但逐分量池化计算成本更低、训练更快，因而选为ECG基模型。RF在原始信号和CWT幅度上均差，LSTM最差，1D-CNN具竞争力。结论：ECG单独可判别活动，支持核心假设；复值表示与高效池化有优势。

3.6 受试者内元模型结果：以XGB姿态模型和残差CV-CNN ECG模型输出概率训练元分类器。四种元分类器F1均不低于88%，RF最佳，Subject 1为97.82%、Subject 2为96.38%、Subject 3为92.18%。Subject 3较低可能与其应变基模型F1约88%和数据量小有关。结论：融合稳定提升性能，小数据下仍有效。

3.7 受试者间结果：合并7人单次数据后，姿态SVM最高F1为91.86%，XGB为89.67%；ECG残差CV-CNN逐分量池化优于实值模型和幅度池化，1D-CNN有竞争力。融合元分类器F1在93%–96%，XGB最佳达95.54%。结论：融合在受试者间仍有效，支持标准化智能服装设计潜力。

讨论总结：残差CV-CNN较实值网络提升，Subject 1 F1为75.36%对71.19%。两种池化性能相当，原因是CConv虽具相位等变性，但逐分量激活非解析并扭曲相位，削弱幅度池化的理论优势；逐分量池化计算更低、梯度更直接，故采用。1D-CNN在原始ECG上有竞争力，说明活动判别信息在原始波形中显著，支持运动诱导内容富含活动信息的假设。结果构成系统验证：滤波与未滤波比较验证核心假设，实值与复值比较隔离相位表示贡献，池化消融确定下采样策略，基模型与融合比较表明单模态不足。姿态误分类受服装合身性、传感器张力和动作执行差异影响；ECG误分类集中于 Class 5–11 上身和胸部运动，源于信号失真或短暂接触丢失，Class 6 在各受试者中一致混淆但配对不同。未剔除坏段，ECG单独性能可能接近由保留信号故障决定的实际上限，融合可补偿瞬态单模态失效。训练动态显示损失曲线跨受试者相似，收敛epoch分别为7、9、53。ECG基模型训练与测试差距较大，但决策级融合使受试者内F1达97.82%、96.38%、92.18%，受试者间达95.54%，并降低受试者间方差。与已有纺织传感器研究相比，受试者内97.82%具竞争力；受试者间95.54%优于部分研究报告。

结论部分翻译：在本研究中，研究人员提出一种新型可穿戴系统，利用嵌入纺织传感器的智能T恤实现12类运动活动识别。该系统集成两类无缝嵌入的织物传感器：（1）三个电容应变传感器，策略性放置以监测肩部和背部姿态；（2）用于ECG信号采集的纺织电极。研究人员假设，ECG信号除传统生理用途外，还通过身体运动诱导的信号扰动和噪声伪迹编码活动特异性信息。因此，ECG数据可作为活动分类任务中的互补模态。该研究系统采用两层传感器融合框架。第一层使用XGB基分类器分析来自应变传感器的姿态相关特征，同时使用残差CV-CNN处理ECG数据。第二层元分类器在基模型输出的类概率向量上训练，融合预测以产生最终活动分类。研究人员在受试者内和受试者间两种实验范式下评估系统。在受试者内实验中，所有基于姿态的XGB分类器准确率均超过89%，最高达96.73%。对于基于ECG的分类，研究人员比较了实值CNN与其复值对应模型；残差CV-CNN在所有受试者中持续优于实值模型；Subject 1中其准确率为75.70%，而实值CNN为71.16%。此外，研究人员研究了残差CV-CNN的两种池化策略：逐分量最大池化（分别应用于实部和虚部）和幅度池化。两者在不同受试者间准确率相当；逐分量池化因计算成本更低和梯度行为更稳定而被采用，且未损失分类性能。重要的是，通过元模型融合基分类器带来了显著性能提升。对于受试者内分类，所有融合模型准确率均不低于88%，表现最佳的元分类器达到97.82%。在由七个个体会话构建的受试者间场景中，融合方法仍然有效。虽然基XGB姿态分类器达到89.62%准确率，基残差CV-CNN达到73.98%，但融合元分类器将性能提升至95.54%，表明融合策略在个体间变异存在时仍具鲁棒性。尽管本研究使用的数据固有地包含ECG信号噪声，主要来自服装运动，但必须承认，噪声还可能因环境条件等其他因素呈随机变异。本工作的一项关键局限是隐含假设所有信号噪声均有信息并因此保留为输入特征。未来更严谨的方法需要收集跨多样环境和用场景的大规模数据集，并开发能够区分活动相关噪声与无关成分的噪声模型。此外，本研究未考虑受试者之间耐力和持久力差异；一些受试者更擅长运动，能在记录期间更一致地完成活动，而另一些受试者因疲劳导致动作变形。这可能造成数据流不一致，并可能导致与模型学习无关的误分类。展望未来，未来工作将聚焦推进基于ECG的分类，包括探索更深、更具表现力的复值架构，以及研究能更好捕捉ECG中细微且活动依赖性变形的替代复值变换。此类进展可增强对模式化身体活动如何独特调节人体电生理图景的理解。