破碎时间，稳定模型？评估多可穿戴人体活动识别中的去同步鲁棒性

《Frontiers in Computer Science》：Broken time, stable models? Evaluating desynchronization robustness in wearable human activity recognition

　　

基于可穿戴设备的人体活动识别（HAR）已成为在康复、职业工效学、运动及人机交互（HCI）等领域捕获活动的有价值方法。虽然利用多个互补传感器可显著提升识别性能，但该方法要求所有设备的时间基准精确同步。尽管既往关于HAR同步的研究认为亚秒级精度可取而亚100毫秒精度非必需，但时间差异对机器学习模型的具体影响迄今未被探索。研究人员通过引入一种实验范式来系统评估多可穿戴HAR中时间差异的影响以填补此空白，并在两个实验中进行了评估。在第一个实验中，研究人员以多阶段时序卷积网络（MS-TCN）用于序列到序列动作分割为例，通过有理重采样模拟时间偏移（time offset）和时钟偏斜（clock skew）。评估跨越30025次训练与验证运行，不同模型配置总计超百万核时计算。结果显示训练数据中时间偏移大于167毫秒应避免，偏移超过333毫秒已能显著降解典型日常生活活动（ADLs）的HAR性能。随后研究人员开展第二个实验，聚焦时间偏移对基于同步数据集训练模型推理的影响。评估涵盖时序卷积网络、LSTM及Transformer架构，含五种架构配置，每种采用两种不同时长输入。结果表明用于动作分割的LSTM对去同步更鲁棒，而其他架构在去同步偏移超过167毫秒时表现出明显性能降解。研究发现对多可穿戴HAR系统的设计与部署具有启示，并可扩展至其他多传感器场景。

研究背景与动机

多可穿戴人体活动识别（HAR）通过分布身体多处的惯性测量单元（IMU）捕获互补信号，能提升复杂动作识别能力；但各设备时钟自主运行，固有不准确度（如CMOS MEMS振荡器±500 ppm）会在长录制中累积为可观时间失配。既往Bannach等人给出经验法则“亚秒同步足够、亚100毫秒非必需”，然而该结论未经过机器学习模型端到端实证。研究人员指出，时间偏移（offset）、时钟偏斜（skew，频率差导致随时间线性漂移）与漂移（drift，二阶变化）会破坏多通道信号在时间轴上的对齐，进而让时序卷积、循环或注意力模型学到模糊关联。为量化“多大不同步才伤模型”，论文在《Frontiers in Computer Science》发表此项工作。

关键技术方法

研究人员采用公开Opportunity数据集（5个身体部位IMU、硬件同步、加速度与角速度，30 Hz量级），以MS-TCN作主线，系统注入两类失配：其一是时间偏移，按采样周期整数倍平移单传感器索引；其二是时钟偏斜，借有理重采样（expander+低通+decimator）改局部采样率以模拟ppm级频率差。实验一在训练期注入均匀分配偏移/偏斜，扫30025组配置（深度、输入长度变）；实验二在推理期注入偏移，对比MS-TCN两配置、DeepConvLSTM（单向/双向LSTM）、IF-ConvTransformer，各取两种输入窗长，并以均匀、高斯、偏态正态三种跨传感器分配刻画最大跨道跨度|S|=S_max?S_min为主驱动。

研究结果

3 Methodology（方法论）

研究人员建模offset为常值t_off=N·T_s（N整数），skew借f′_s=f_s·N_up/N_down有理重采样；为贴近现实，实验一用均匀分配P_unif(x)，实验二改用高斯正态P_norm及偏态正态P_skew(x)（含位置ξ、尺度ω、偏度α），并以dithering（?∈[?0.5,0.5]）消整数量化误差，证明噪声均值收敛至目标跨度|S|_real。

实验一（训练期失配）

在MS-TCN上扫偏移0–500 ms与skew达±500 ppm、输入长达2000样点（66.67 s）。结论：skew在所见范围内几乎无损；offset＞167 ms应避用训练集，offset≥333 ms令0.5重叠F1降6.6%、编辑距离降3.9%、准确率降2.7%，证实ADL识别对静态偏移极敏感。

实验二（推理期失配）

五架构×两窗长×偏移扫描显示：LSTM系（DeepConvLSTM）直至传感器间最大偏移~500 ms仍无明显掉落；MS-TCN类CNN、IF-ConvTransformer在偏移＞167 ms即显著退化，Transformer对微偏更脆；性能主驱动是跨传感器最大跨度|S|而非均值或分布形态。

讨论与结论翻译

讨论指出，Bannach“亚秒够用”法则对规则启发式或滑窗分类尚可，但对序列到序列动作分割深度学习模型偏宽——167 ms是更稳妥的工程红线，333 ms已是明显损伤阈。研究人员主张多可穿戴HAR部署前应报告同步精度（ppm与offset），离线对齐若仅达300 ms（如早期动作事件法）不满足MS-TCN/Transformer推理；LSTM因门控递归对通道间常数平移具一定不变性故更鲁棒，可作高不同步场景备选。结论：多可穿戴HAR须把时间基准一致性当作模型性能的一等公民，同步误差预算应依架构而定，未来数据集须随数据附时钟精度凭证，该范式亦可迁移至任意多传感器时序学习。