Fusion VLM-Gait：视觉语言模型中的RGB-D融合技术，用于实现可解释的多任务帕金森病患者步态分析

《Scientific Reports》：Fusion VLM-Gait: RGB-D fusion in vision-language models for explainable multi-task Parkinsonian gait analysis

　　

摘要

帕金森病（PD）的步态分析需要识别细微的局部运动异常以及全身性的运动变化。然而，许多现有的方法仍然依赖于单一模态的感知或传统的多模态融合策略，这些方法并未明确保留这些互补的信息；而且很少有方法能够在临床相关环境中提供无接触、多任务处理、可解释的RGB-D视觉-语言处理流程来辅助步态评估。在这项工作中，我们提出了FusionVLM-Gait，这是一个用于帕金森病患者步态分析的无接触RGB-D视觉-语言框架。该方法使用基于YOLOv11的独立RGB和深度编码器，随后通过多尺度局部-全局提取（MLGE）模块将在肢体层面的局部运动信息与全身姿势层面的步态信息区分开来，再进行多模态融合。这些表示结果通过跨空间颈部融合（CSNF）机制进行组合，以改善层次化的跨模态对齐和基于症状的特征融合。融合后的表示结果支持分类、检测以及以症状为导向的预测，并通过一个预训练的大型语言模型转化为人类可读的描述。在模拟的帕金森病步态数据上的实验结果表明，所提出的局部/全局分解和跨模态融合设计相较于单模态及传统融合方法在表示质量和可解释性方面有所提升。这项研究证明了使用视觉-语言框架进行可解释的无接触RGB-D步态评估的可行性。