《Frontiers in Bioengineering and Biotechnology》：Validation of video-based event detection against laboratory-standard biomechanical measures: a synchronized multimodal study
编辑推荐：
摘要
引言：生物力学事件检测（biomechanical event detection）是临床、康复和运动领域人体运动分析的基础，但常规实验室系统在许多情境下成本高昂且难以普及。本研究利用同步多模态数据，验证了一种无标记、以视频为主的事件检测系统（mar
摘要
引言：生物力学事件检测（biomechanical event detection）是临床、康复和运动领域人体运动分析的基础，但常规实验室系统在许多情境下成本高昂且难以普及。本研究利用同步多模态数据，验证了一种无标记、以视频为主的事件检测系统（markerless, video-primary event detection system）相对于实验室参考生物力学测量的有效性。
方法：8名健康成年人在受控实验室中执行标准化上肢哑铃提举任务，同步记录视频、Vicon运动捕捉（Vicon motion capture）和表面肌电（surface electromyography, EMG）数据（共76次有效试验；304个事件标签）。研究采用结合基于阈值的峰值检测与长短期记忆（Long Short-Term Memory, LSTM）网络的混合流程，识别四个事件：动作开始（action start）、上举峰值（peak of rising）、保持结束（end of holding）和返回开始（start of returning）。运动学特征源自视频；在LSTM细化阶段额外使用两个EMG包络通道。各数据流在独立事件检测之前，通过硬件触发器（Vicon和EMG）、软件启动的视频记录以及共享运动学信号的互相关实现同步。视频事件时间戳与Vicon参考时间戳进行比较，未进行进一步的参考信息调整，评估指标包括组内相关系数（intraclass correlation coefficients, ICC）、Bland–Altman分析、平均绝对误差（mean absolute error, MAE）、均方根误差（root mean square error, RMSE）和分类指标。
结果：视频系统与Vicon参考表现出极好的一致性（ICC：0.90–0.94）、较低的时间误差（MAE：38–51 ms；RMSE：52–70 ms）和极小的系统偏差；在30 fps采集率下，误差约相当于1.1–1.5帧。所有事件的分类性能均较强（F1分数：93.4%；灵敏度：93.4%；特异度：97.8%）。EMG激活峰值与检测到的事件相关（r = 0.86–0.91）；由于EMG包络也用作LSTM输入，该结果属内部一致性检查，而非独立的生理学验证。
讨论：这些发现表明，在受控条件下，混合视频为主的方法对上肢分析可以达到与实验室参考测量相当的准确性，为传统运动捕捉系统提供了一种可扩展的补充手段。后续需进行EMG输入通道的消融实验以确定纯视频性能，并在更大、更多样化的人群和真实世界环境中进一步验证。
生物力学事件检测是临床、康复和运动科学中人体运动分析的核心环节，精确识别动作起始、峰值、保持和返回等关键时刻，对于运动功能评估和神经肌肉协调量化至关重要。传统上，基于实验室的光学运动捕捉系统和测力台被视为生物力学分析的“金标准”，但这些设备价格昂贵、安装复杂且仅能在受控环境中使用。近年来，计算机视觉和深度学习的进展使基于普通视频的无标记姿态估计成为可能，为低成本、可扩展的运动分析开辟了新路径。然而，视频系统在时间事件检测上的效度和可靠性尚未得到充分验证；此外，在验证研究中，视频、运动捕捉和表面肌电（EMG）等多模态数据的时间同步与对齐也是亟待解决的技术难题。针对这些空白，研究人员开展了一项同步多模态验证研究，旨在评估一种以视频为主、结合阈值峰值检测和长短期记忆（LSTM）网络的混合事件检测系统，其输出与实验室参考测量（Vicon）相比是否具有足够的一致性和准确性。
研究人员在受控实验室条件下招募了8名健康成年人（年龄22–28岁），执行标准化上肢哑铃提举任务，并同步记录视频（30 fps）、Vicon运动捕捉（100 Hz）和表面肌电（EMG，1000 Hz）数据，共获得76次有效试验和304个事件标签。结果表明，视频系统与Vicon参考的组内相关系数（ICC）为0.90–0.94，平均绝对误差（MAE）为38–51 ms，均方根误差（RMSE）为52–70 ms，分类F1分数达93.4%，证明在受控条件下该视频为主系统能够达到与实验室参考相近的精度。这项研究为资源受限环境（如社区康复、运动训练和远程医疗）提供了可扩展的生物力学评估工具证据，具有重要的方法论和实际应用价值。
以下简要概括关键技术方法：研究采用横断面验证设计，经云南曲靖中心医院伦理委员会批准，纳入8名健康成人。同步采集设备包括3台Logitech C920摄像机、8摄像头Vicon系统（100 Hz）和Delsys Trigno表面EMG（1000 Hz），共记录76次有效上肢提举试验。通过硬件触发器和视频软件启动建立公共时基，并利用哑铃垂直位移轨迹的互相关进行子帧级偏移校正。视频关键点由MediaPipe BlazePose提取，相关运动学特征与两个EMG包络通道共同输入两层LSTM网络，以识别四个事件。模型采用留一受试者交叉验证（LOSOCV），以Vicon基于角速度阈值定义的事件时间戳为参考，采用ICC、Bland–Altman分析、MAE、RMSE和分类指标评估。
结果部分的发现包括：
### 3.1 参与者特征
8名参与者（男女各4名，年龄22–28岁，左右利手均有）完成了标准化任务，高试验保留率表明数据采集流程稳定，样本适合受控条件下的系统验证。
### 3.2 数据同步准确性
硬件触发与互相关校正后，视频与Vicon、EMG之间的平均时间偏移约为12–14 ms，标准差为4–5 ms；叠加图显示各模态波形几乎重合，证实同步方法可靠。
### 3.3 特征提取和信号表示
提取的肩外展角、肘屈曲角及哑铃质心速度和加速度数值处于预期范围；视频导出的关节角曲线与Vicon参考曲线高度接近，光学流场在举升阶段集中于活动肌肉区域。
### 3.4 事件检测性能
示例时间戳显示视频系统与Vicon参考的差异为0.02–0.05 s；混淆矩阵表明每个事件类别有71/76个正确分类，整体准确率为93.4%，混合算法能准确识别四个事件。
### 3.5 一致性分析
四个事件的ICC（2,1）为0.90–0.94，个体水平ICC为0.87–0.97，显示跨受试者一致性强，且不是由个别受试者驱动。
### 3.6 误差分析
MAE为38–51 ms，RMSE为52–70 ms，在30 fps下对应约1.1–1.5帧的时间量化误差；误差分布以零为中心，无系统时移。
### 3.7 偏差和一致性界限
Bland–Altman分析显示各事件偏倚为?0.020至0.015 s，95%一致性界限约±0.1 s，散点无趋势，表明两系统差异为随机且临床可接受。
### 3.8 分类性能
灵敏度、精确率、F1分数均为93.4%，特异度97.8%，平均曲线下面积（AUC）为0.98，分类器在区分真实事件与干扰信号方面表现优异。
### 3.9 多模态验证见解
视频检测事件与EMG激活峰值的Pearson相关系数为0.86–0.91（p<0.001），且在受试者均值分析中一致；由于EMG同时用于LSTM输入和参考事件确认，该结果应视为内部一致性而非独立生理学验证。
### 3.10 主要结果汇总
综合所有一致性、误差、偏差和分类指标，视频主要的多模态事件检测系统在受控上肢任务中与实验室参考系统高度一致。
讨论部分，研究人员将本研究与已有文献进行对比，指出视频运动学误差（肩外展角MAE 2.3°、肘屈曲角MAE 3.1°）落在先前无标记系统的报告范围内，事件检测MAE（38–51 ms）与已有视频步态事件检测研究（20–60 ms）相当。混合方法融合了阈值法的可解释性和LSTM的时序建模能力，并首次在验证中纳入同步EMG，表明检测事件与神经肌肉激活在时间上耦合。实际应用中，该系统可作为实验室设备的低成本补充，但当前流程的细化阶段仍依赖同步EMG，因此尚不等同于纯视频系统；要成为真正低成本的视频独立方案，还需消融实验和更高帧率评估。该研究还展示了多模态数据整合到单一分析框架的可行性，符合生物力学领域向数据驱动、可及性方向发展的趋势。局限包括：样本量小且仅包含健康青年，实验室条件不能全面代表真实环境，EMG的双重角色使生理学验证不够独立，30 fps采集率限制了更高精度的时间分辨率，以及参考事件阈值存在一定主观性。
翻译研究结论部分如下：
总之，本文提供了证据表明，在同步多模态数据的辅助下，混合视频为主的事件检测系统能够达到与实验室质量生物力学测量相当的高准确度和高一致性。如此处所实现和评估的，该系统的细化阶段使用了两个同步表面EMG通道以及视频导出特征，因此结果表征的是视频为主的多模态流程，而非纯视频流程。在所有事件中，系统表现出极小的偏倚、低误差率和高分类准确率。将视频、运动捕捉和EMG数据整合到单一框架的能力是生物力学分析中的一项有价值进展，兼具方法论和实践上的益处。这些发现表明，在本文所考察的受控条件和健康成年小样本范围内，视频系统有潜力作为传统实验室技术的补充工具，尤其是在可及性和可扩展性至关重要的场所。不应将当前结果解读为系统可以取代传统实验室生物力学系统；在支持更广泛的等同或替代主张之前，需要在更大、更多样化的人群以及真实世界（非实验室）环境中进行进一步验证。要使该方法被描述为真正低成本、纯视频替代方案，还需要两个后续步骤：一是量化去除EMG输入通道时性能的消融研究，二是在比本文上肢任务更快的运动下以更高采集帧率进行评估，鉴于30 fps采集施加的33.3 m时间量化限制。总体而言，本研究为生物力学和人体运动研究向更可及、数据驱动方法的当前转变做出了贡献。
