帕金森病跌倒相关脆弱性的横断面分层:基于语音、步态、面部表情与上肢运动的多模态融合研究

《Frontiers in Digital Health》:Cross-sectional stratification of fall-related vulnerability in Parkinson’s disease through multimodal fusion of speech, gait, facial expression, and upper-limb movement

【字体: 大 中 小 】 时间:2026年09月23日 来源:Frontiers in Digital Health 5.2

编辑推荐:

  专业术语翻译摘要:跌倒构成帕金森病(Parkinson’s disease, PD)发病的重要原因,但当前针对跌倒相关脆弱性的横断面评估方法往往依赖于单模态运动指标,其表征该病多维表现的能力有限。本研究提出一种多模态深度学习(deep learning, DL

  
专业术语翻译摘要:跌倒构成帕金森病(Parkinson’s disease, PD)发病的重要原因,但当前针对跌倒相关脆弱性的横断面评估方法往往依赖于单模态运动指标,其表征该病多维表现的能力有限。本研究提出一种多模态深度学习(deep learning, DL)架构,整合面部表情、语音、步态动力学和上肢运动,基于当前姿势不稳状态及既往跌倒史对PD患者的横断面跌倒相关脆弱性进行分类。研究数据来源于147例患者,研究人员对每种模态特异性模型进行系统性剪枝,以在保持分类性能的同时减小模型规模、推理延迟和计算需求,并在实验环境中对其计算效率进行了初步评估。研究采用留一受试者交叉验证(leave-one-subject-out cross-validation)评估了多种融合策略,包括晚期融合、中间融合、基于注意力的融合、基于Transformer的融合以及大语言模型辅助融合。其中大语言模型辅助分析属于探索性分析,每种受试者-模态配置仅基于单次记录的API运行结果。剪枝在未显著降低准确率的情况下带来了可观的效率提升,其中步态模态展现出最高的鲁棒性。不同融合方法和模态组合的性能存在差异。基于注意力的面部+步态融合观测宏F1值(macro-f1)达到91.67%。探索性的大语言模型辅助面部-上肢配置在单次记录运行中观测宏F1值为93.75%;但由于未建立重复运行稳定性和精确模型版本的可复现性,该结果不应被解读为可重复优越性的证据。Transformer融合在纳入全部四种模态时观测宏F1值为85.02%。值得注意的是,语音特别是面部表情表达性为常规步态和上肢评估提供了补充信号,凸显了尚未充分探索的轴向特征作为与跌倒相关脆弱性相关的互补数字标志物的潜力。上述发现支持进一步研究多模态人工智能用于PD跌倒相关脆弱性的横断面分类。前瞻性跌倒预测、外部泛化性以及在目标设备上的性能有待未来独立研究评估。
论文解读文章:

帕金森病(Parkinson’s disease, PD)是第二大常见神经退行性疾病,预计到2030年将影响全球近1560万人。晚期PD及其终末期带来沉重的残疾负担和经济消耗,跌倒作为PD患者中常见的多因素临床事件,严重影响生活质量、增加住院率和死亡率。然而,当前对跌倒相关脆弱性的横断面评估大多依赖步态等单模态运动指标,难以全面刻画其多维临床表现。尽管已有机器学习模型通过单一模态(如步态、语音、面部视频、手部运动)对PD症状进行分类,但将多种基于传感器的模态整合为一个统一评估框架的研究仍相对有限。此前的研究团队已分别开发了针对面部视频、语音、压力鞋垫步态和腕部加速度计数据的四种单模态深度学习架构,但这些工作关注的临床终点各异且均为单模态设计。本研究的创新之处并非提出四种新的单模态模型,而是在同一队列中针对一个三分类横断面临床终点(基于当前姿势不稳状态和前六个月跌倒史划分的不同跌倒相关脆弱性水平)进行任务特异性再训练和患者级整合,并系统比较五种融合范式、实施模态特异性压缩、通过消融分析评估各模态的增量贡献。

研究人员从希腊两所医院的运动障碍门诊招募了147例PD患者(ON药物状态评估),所有受试者均完成了面部视频、语音、步态和上肢运动四类数据的采集。根据MDS-UPDRS第三部分第3.12项(姿势不稳)和NMSQ第21项(前六个月跌倒史),将受试者分为三组:A组(无姿势不稳且无跌倒史)、B组(有姿势不稳但无跌倒史)和C组(至少一次跌倒史,不论姿势不稳与否)。临床特征分析显示,三组在年龄、病程、左旋多巴等效日剂量、运动症状严重度、非运动症状及生活质量方面存在描述性差异,病程在C组显著长于A组,表明该分组策略所反映的横断面脆弱性梯度与临床进展方向基本一致。

研究的主要技术方法包括:其一,对四个预训练单模态DL模型分别实施结构化剪枝(L1或L2范数剪枝,剪枝比例10%至90%),在保持分类性能的同时减小模型规模、推理延迟和计算成本(以GFLOPs衡量),并对剪枝后模型进行微调;其二,采用五种融合策略,即晚期融合(LF)、中间融合(IF)、基于注意力的融合(ABF)、多模态Transformer融合(MTF)和基于大语言模型的辅助融合(LLMF),全部在患者水平上采用留一受试者交叉验证(LOSOCV)评估;其三,通过消融实验逐一移除模态,考察不同融合机制对缺失模态的鲁棒性和各模态的增量贡献。LLMF作为探索性方法,使用OpenAI Chat Completions API(模型别名为gpt-5)对每个受试者-模态配置仅进行一次查询,未固定生成参数,也未评估重复运行稳定性。

研究结果包括以下几个方面。在临床特征与分组关联方面,三组受试者在运动、非运动及生活质量指标上呈现描述性递变趋势,验证了分组策略的临床相关性。在模型剪枝方面,步态模型对剪枝表现出最强的鲁棒性,50%剪枝时f1-score仍达83.06%,接近基线83.45%;面部和上肢模型在剪枝超过60%和50%后性能明显下降;语音模型对剪枝最敏感,各剪枝水平下f1-score在45%至54%之间波动。剪枝普遍降低推理延迟和估计计算成本,步态模型GFLOPs从2.66降至1.49,面部模型从0.19降至0.13;语音和上肢模型因本身轻量而绝对变化不大。剪枝还带来模型体积的显著缩减,语音和面部模型在90%剪枝时分别减少96.80%和92.02%,步态和上肢模型分别减少33.90%和6.34%。最终为融合实验选定的剪枝配置为面部10%、步态50%、语音80%、上肢50%。在融合与模态消融方面,LF在面部+步态组合中取得78.62%的f1-score,加入上肢后提升至79.46%,但加入语音常导致性能下降;IF在多数配置下未超过单模态基线,面部+步态最高为79.64%,四模态融合仅59.90%;ABF在面部+步态和面部+步态+上肢组合中分别取得91.67%和87.34%的macro-f1,明显优于对应单模态基线;MTF在四模态融合时达到85.02%的f1-score,且不同组合性能相对稳定;探索性LLMF在面部+上肢配置的单次记录运行中获得93.75%的宏观f1,但该结果不能被视为可重复优越性的证据。在注意力权重分析方面,ABF面部+步态模型中面部平均权重为0.555、步态为0.445,存在明显的受试者水平变异性(SD=0.308),且三组之间无显著类别效应;MTF则几乎将所有注意力集中于面部(平均权重0.981),步态仅0.019。在临床基线对比方面,包含年龄、性别、病程、左旋多巴等效日剂量和剔除第3.12项后的MDS-UPDRS-III评分的多分类逻辑回归基线,macro-f1为50.10%,而ABF面部+步态模型达到91.67%,配对比较显示差异具有统计学意义(Holm校正后p<0.001)。探索性的临床变量+ABF概率堆叠模型获得94.70%的macro-f1,但因堆叠流程未采用完全嵌套交叉拟合,该结果可能偏乐观。

讨论部分指出,面部表情和语音作为较少被探索的轴向功能障碍标志物,可能提供步态和上肢运动之外的补充信息。面部表情与PD的多种运动和非运动表现(如运动减退、轴性功能障碍、认知和情绪状态)相关,而语音障碍的病因基础更广且常有非PD特异性成分。步态和上肢信号对跌倒脆弱性的区分能力最强与其直接的运动基础相符。不同融合策略的性能差异提示,简单的特征拼接或决策集成无法有效处理模态间的异质性和可靠性差异,而基于注意力的机制能自适应调节不同模态的权重。LLMF方法尚不具备可重复性,仅作为概念验证。研究局限性包括:未在可穿戴或边缘设备上测试计算性能、外部泛化性未验证、横断面设计不能预测未来跌倒、临床+ABF堆叠分析可能偏乐观、LLMF单次运行无法保证稳定性。此外,LOSOCV虽保证患者级数据隔离,但剪枝比例的选择基于聚合LOSOCV结果而非完全嵌套的选择流程,可能存在选择偏倚。结论认为,选定的剪枝配置在保持分类性能的同时减小了模型规模与计算需求;ABF面部+步态组合取得91.67%的观测宏观f1,探索性LLMF面部+上肢组合在单次记录运行中达到93.75%的数值,但后者不能证明可重复优越性;面部和语音信号在选定融合配置中提供了额外信息,但尚不能独立作为临床生物标志物。未来需在独立队列中验证外部泛化性,并结合前瞻性随访数据评估框架对实际跌倒事件的预测能力,再考虑临床或居家应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号