基于旋转时序一致性的暹罗掩码重建方法用于基于惯性测量单元的人体活动识别

《Scientific Reports》：Siamese masked reconstruction with temporal rotation consistency for inertial-based human activity recognition

　　

基于惯性传感器的人体活动识别（Human Activity Recognition, HAR）旨在从可穿戴惯性传感器数据中推断个体所执行的活动。然而，由于不同个体与条件下数据的异质性，HAR常面临对未知用户泛化性差的问题。虽然收集与整理大规模标注数据集可缓解该局限，但成本较高。为在不依赖大量标注数据的前提下缩小这一差距，研究人员提出了一种自监督框架，其立足于IMU信号在旋转下的变换特性：施加旋转矩阵会改变运动在各传感器轴上的投影方式，但不改变底层运动本身。因此，训练模型对齐原始信号与其旋转后对应信号的表征，可促使其捕捉运动内容而非传感器坐标系模式。研究人员利用该性质，训练一个暹罗掩码卷积自编码器，通过重建被掩码输入来学习，同时对齐原始信号与旋转版本信号的表征，并进一步由时序一致性损失正则化，以强制每个窗口内原始与旋转表征的时序结构一致。研究在涵盖日常活动（Activities of Daily Living, ADL）与运动活动四类公开HAR基准上采用跨受试者评估，该方法在线性探测与多层感知机（Multi-Layer Perceptron, MLP）探测下分别较最强基线平均提升1.4与1.2个百分点（跨数据集与传感器位置平均）。研究进一步表明，在低数据场景下该方法与全监督基线相比具竞争力。代码已开源于指定仓库。

研究背景与动机

基于惯性测量单元（Inertial Measurement Unit, IMU）的人体活动识别（Human Activity Recognition, HAR）利用加速度计与陀螺仪信号推断人体活动，因硬件成本低、信息量大被广泛用于健康监护、临床评估与人机交互。然而，监督式深度学习模型在跨受试者场景下泛化能力弱，根源在于受试者间动作执行差异、传感器佩戴位置与硬件差异带来的数据异质性；大规模标注数据获取昂贵。自监督学习（Self-Supervised Learning, SSL）通过代理任务从无标注信号中提取可迁移表征成为研究热点，但现有方法或将掩码重建、或将视图对齐分开使用，且多采用抖动、缩放等几何含义不清的增强，未把“三维旋转即参考系变换且保运动时序”这一物理结构用作显式监督。

研究人员开展的工作与结论意义

研究人员提出一种旋转感知的自监督预训练框架，将三维旋转作为结构化自监督信号，与掩码重建、暹罗对齐、时序Gram一致性联合优化，在单传感器单位置设定下学习对传感器坐标系不敏感、对运动内容敏感的表征。论文发表于《Scientific Reports》。在PAMAP2、MHEALTH、REALDISP、WEAR四个公开数据集、左右腕与左右踝四位位置、跨受试者折交叉验证下，该方法较最强SSL基线在线性头与MLP头分别平均提升1.4与1.2个百分点；低标注数据下微调可超越从头监督基线。意义在于把IMU几何先验转化为可计算约束，缩小跨用户泛化差距且降低标注依赖。

主要关键技术方法（队列与样本来源）

研究人员采用单IMU、单位置（右腕、左腕、右踝、左踝；REALDISP以下臂/小腿代腕/踝，WEAR仅加速度计C=3，其余C=6）设定，窗口128样点@50Hz、50%重叠。无标注预训练集来自各折训练受试者（防泄露）。预训练中对每窗采样K=4个随机轴角旋转（角度均匀[-180°,180°]）得旋转视图；各视图独立以ρ=0.3时间掩码零化后送共享权重卷积编码器得隐表征，解码器仅对掩码位算MSE重建损失?_rec；隐表征经投影头得u，原始视图仅投影+池化，旋转视图再经预测头，以停止梯度原始端、余弦距离优化单向暹罗损失?_siam；对投影特征沿特征维L2归一化算时间×时间 Gram矩阵G=u^?u，以Frobenius距对齐原始与旋转视图Gram得?_gram；总损失?_ssl=λ_rec?_rec+λ_siam?_siam+λ_gram?_gram（λ依次为1.0、0.5、10.0）。下游冻结编码器，训练线性或浅MLP头，宏F1评估，每折5随机种子。

研究结果

跨受试者分类性能

在24种“数据集×位置×头”配置中，该方法19次居SSL第一、4次第二；四位位置平均较最近SSL竞争者线性头+1.4%、MLP头+1.2%；线性头下12配中11次第一，说明表征线性可分性强；MLP头下各法差距缩小，证明强头可补偿弱表征但线性评估更直反映质量。

低数据效率分析

每类10/20/40/80窗及全量下，冻结编码器+MLP头已可与从头监督竞争，全微调则普遍优于监督基线；WEAR（仅加速度计）上监督基线在低数据高方差，而该方法标准差更低，提示旋转自监督在缺陀螺仪时提供更稳初始化。

消融研究

?_rec单用即强（尤踝位）；?_rec+?_gram在24配中14次前两，?_rec+?_siam+?_gram21次前两；单向?_siam单独较弱，结合重建才显效；?_siam对腕位助益大于踝位。结论：重建、表征级对齐、时序关系一致性三者互补。

对称体位与活动级分析

研究人员比较左右对称肢体（如右腕vs左腕）各类活动F1，发现所学表征在对称体位间具备一定不变性，但部分数据集存位置偏置；该分析刻画了方法对佩戴侧别的敏感度。

讨论与结论翻译

讨论指出，现有SSL常把旋转仅当增强，本文把它升格为带代数结构的显式约束：旋转是SO(3)参考系变换，保运动时序、仅重分配轴间能量，因此原始与旋转视图的时序Gram应一致、全局嵌入应相近、掩码上下文应可互重建。三部分损失各捕不同层面——重建捕局部上下文、暹罗捕全局运动内容、Gram捕时序关系。跨数据集增益非均匀，腕位得益大于踝位，可能因踝位运动轴更受地心系约束、旋转视图与原视图动态差异更小。低数据下微调稳赢监督，说明几何自监督提供更好初值而非仅特征解耦。结论上，研究人员提出将IMU旋转几何纳入SSL目标，在单传感器跨受试者HAR下以暹罗掩码重建配时序旋转一致性，获得比掩码重建或纯暹罗更强的迁移表征，跨四位佩戴点平均提升1.4（线性）/1.2（MLP）百分点，且在少标注场景接近全监督，代码已公开。