基于视觉骨架-光流融合的脑卒中后异常步态识别与多模态分析新方法

本研究针对传统步态分析方法依赖穿戴设备、操作繁琐且难以量化细微异常的问题，开发了一种基于视觉的骨架-光流融合深度学习框架。通过BlazePose提取人体关节点，结合Lucas-Kanade光流算法和膝关节屈曲/踝关节背屈角度计算，并融合ResNet-50深度空间特征，最终采用LSTM网络实现脑卒中患者与健康人群的步态分类。在开放数据集和临床数据集上分别达到87.94%和87.78%的准确率，为临床提供了一种非接触、高精度的客观评估工具。

　　

脑卒中作为全球第二大死亡原因，每年导致超过1370万人发病，其中四分之一发生在25岁以上人群，不仅造成高死亡率，更会引发运动功能障碍和长期残疾。传统临床步态评估主要依赖6分钟步行测试和10米步行测试等简单方法，这些方法只能提供有限的步行能力表征，缺乏对异常步态的精细量化能力，难以捕捉脑卒中患者康复过程中细微的运动功能变化。

随着计算机视觉技术的快速发展，基于视觉的人类姿态估计(Human Pose Estimation, HPE)技术为步态分析带来了新的可能性。与传统穿戴式传感器相比，视觉方法具有非接触、低成本、易于部署等优势，但单一模态分析往往难以全面捕捉复杂步态特征。特别是当人体部位被遮挡时，骨架点信息容易丢失，而光学流信息能通过周围像素运动趋势推断被遮挡部位的运动状态，两种模态具有天然互补性。

为了解决多模态信息融合的挑战，南京医科大学团队在《Journal of NeuroEngineering and Rehabilitation》发表了创新性研究，开发了一种基于骨架-光流融合的时间序列网络。该研究招募了70名脑卒中患者和70名健康对照者，通过单目摄像头采集矢状面步行视频，利用BlazePose提取33个骨架点，计算关节点光学流信息和下肢关节角度变化，同时使用ResNet-50提取深度空间特征，最终通过LSTM网络实现分类。

关键技术方法包括：使用BlazePose轻量卷积神经网络从矢状面视频中提取骨架序列；基于Lucas-Kanade方法计算骨架点光学流信息；计算膝关节屈曲和踝关节背屈角度；利用ResNet-50提取深度空间特征；采用特征级融合策略整合多模态信息；使用LSTM网络处理时间序列数据进行分类。所有数据均来自南京医科大学第一附属医院康复科采集的临床数据集和KTH开放数据集。

骨架点空间分布特征提取

研究采用BlazePose而非OpenPose进行姿态估计，因其在保持精度的同时大幅提升处理速度（Lite版本可达31 FPS）。从每帧视频中提取33个骨架点，排除面部等非步态相关点后，保留16个关键关节点用于后续分析。这些点能清晰描述人体结构在图像帧中的表现，为详细步态分析提供基础。

光学流信息提取

通过Lucas-Kanade光学流算法计算连续视频帧间的表观运动，量化步态动态运动模式。以目标像素为中心选择5×5邻域窗口，假设窗口内所有像素具有相同运动向量，建立25个光学流方程，通过最小二乘法求解像素运动速度。将传统角点替换为骨架序列提取的关节点，增强了算法的解释性和跟踪适用性。

膝关节屈曲和踝关节背屈角度计算

基于髋、膝、踝关节和足部的二维坐标，计算膝关节屈曲角（髋-膝-踝形成）和踝关节背屈角（膝-踝-足形成）。通过向量夹角公式计算实际角度，并将弧度转换为度数，确保角度值在0°-180°范围内。这些角度参数是衡量轻中度功能障碍者运动功能的重要指标。

深度空间特征提取

使用ResNet-50模型从每帧视频中提取补充空间特征，相比VGG-19和GoogLeNet，ResNet-50在参数量较少的情况下能构建更深层、更准确的神经网络，解决梯度消失问题。首先分割视频帧中参与者周围区域，减少背景噪声干扰，然后将处理后的图像输入模型进行特征提取。

多特征融合与步态分类

比较了简单拼接和多头注意力两种融合策略。拼接方法将特征按顺序组合成长向量，保留原始数据且计算成本低；多头注意力机制通过多个并行注意力头捕获特征空间的不同方面。最终选择拼接融合，因其在计算效率（平均视频处理时间0.002秒）和分类性能（准确率近88%）上均优于多头注意力（0.02秒处理时间，46%准确率）。使用LSTM网络分析融合特征，其门控机制能选择性保留和过滤信息，有效捕获步态动态特征。

研究结果表明，基于2层128隐藏单元LSTM网络的分类器在开放数据集和临床数据集上分别达到0.8794±0.0447和0.8778±0.0347的准确率。光学流信息结合膝关节屈曲和踝关节背屈角度变化提高了分析框架的可解释性，使临床医生能更清晰理解模型决策过程。多模态融合方法整合了不同模态信息，不仅拓宽了分析视角，更有助于临床医生深入了解患者步态特征。

与现有研究相比，该方法创新性地使用骨架点代替传统角点进行光学流计算，解决了遮挡导致的光学流估计误差问题；计算的运动学参数与步态量表评估标准一致，为临床诊断提供了量化基础；特征级多模态融合全面涵盖了运动动态信息、关节位置变化和身体轮廓空间关系；LSTM网络有效捕捉了步态的时间动态特性。

该研究的临床应用前景广阔，相比基于标记物的运动捕捉系统和穿戴式惯性传感器，视觉方法具有设备简单、成本低廉、易于部署等优势，更适合临床机构广泛使用。未来研究将集成深度学习光学流算法替代传统Lucas-Kanade方法，加入步态事件（如足跟触地、脚尖离地）自动检测，并结合惯性磨损传感器进行多视角（矢状面+额状面）步态数据采集，以全面评估脑卒中患者步态特征。

这项研究为脑卒中后步态异常识别提供了一种新颖的计算机视觉解决方案，通过多模态特征融合和深度学习时间序列分析，实现了高精度、非接触的步态分类，为临床康复评估提供了客观、量化的新工具。