一种基于多尺度特征对齐的多模态聚合网络,用于通过手部震颤分析评估帕金森病的严重程度

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:A Multiscale Feature-Aligned Multimodal Aggregation Network for Parkinson’s Disease Severity Assessment via Hand Tremor Analysis

【字体: 大 中 小 】 时间:2026年07月25日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •提出MfamaNet,通过手写震颤实现多模态帕金森病严重程度评估。•借鉴Choquet积分思想,采用自适应聚合方法实现高效跨模态融合。•多尺度特征对齐损失提升模态内及模态间区分度。•在NewHandPD及临床数据集上表现更优,可用于无创帕金森病诊断。引言帕金森病是一种常见于中老

  
  • •
    提出MfamaNet,通过手写震颤实现多模态帕金森病严重程度评估。
  • •
    借鉴Choquet积分思想,采用自适应聚合方法实现高效跨模态融合。
  • •
    多尺度特征对齐损失提升模态内及模态间区分度。
  • •
    在NewHandPD及临床数据集上表现更优,可用于无创帕金森病诊断。

引言

帕金森病是一种常见于中老年人的慢性神经退行性疾病,其核心特征为运动神经系统逐渐受损[1]、[2]。静止性震颤是帕金森病最常见症状之一,约70%的患者最先出现此症状[3]。该症状表现为患者在试图控制的情况下,手部仍会出现震颤。随着病情发展,震颤频率和强度都会增加,进而影响患者的精细动作能力,如书写、拿取物品、穿衣等,严重降低患者的生活质量。因此,准确识别和量化手部震颤对于早期发现和管理帕金森病至关重要。虽然MDS-UPDRS[4]可作为量化帕金森病手部震颤的有效临床标准,但由于依赖专家观察,该方法具有主观性且耗时较长,因此有必要开发基于计算机的客观高效评估方法。
由于帕金森病患者的手部震颤属于自发且无法控制的状况,他们在进行书写任务时会出现异常表现。在以往的研究[5]、[6]、[7]中,帕金森病患者的书写内容以及书写过程中手部动作产生的各类传感器时间信号被视为评估震颤的有效生物标志物。为此,人们使用了多种数字设备来采集和识别手部数据,包括数字平板、带有多种传感器的智能笔,这些设备能够获取RGB格式的书写图像以及各类传感器信号。其中,书写图像具有非接触、直观便捷的优势,而传感器获取的时间信号则能较好地保留手部震颤的运动特征及书写时长信息。
目前,关于人工智能辅助帕金森病书写分析的研究主要沿着两条不同的方法路径展开。
第一条路径聚焦静态书写图像分析。这类方法包括纹理分析、霍夫变换等传统图像处理技术,以及从传统机器学习分类器(如支持向量机[8]、决策树[9]、随机森林[10]、K近邻算法[11])到更先进的卷积神经网络[12]等基于模型的方法,这类网络可直接从数据中学习具有辨识度的空间特征。尽管这些方法在捕捉空间异常方面效果不错,但本质上忽略了书写过程重要的时间动态特征。
第二条路径利用动态书写信号,通过装有传感器的笔来捕捉书写的运动特性,如压力、加速度、持续时间等[6]、[13]、[14]。为分析这类序列数据,研究人员主要使用长短期记忆网络[15]、门控循环单元[6]等循环结构来捕捉局部时间依赖关系,同时自注意力机制模型[16]也因能够捕捉整个序列的全局依赖关系且具备良好的并行处理能力而被广泛应用。尽管这些方法在时间建模方面优势明显,但往往无法充分整合最终书写结果中存在的丰富空间特征。
因此,目前仍存在一个重要缺陷,即未能实现空间(静态)与时间(动态)这两种互补模态的无缝高效整合,从而无法形成更为全面的帕金森病书写评估方法。要实现准确的手部震颤识别,就需要捕捉那些细微且因个体差异而不同的生物标志物。
为此,我们的研究利用多模态数据更灵敏地识别帕金森病的手部震颤事件并量化其严重程度,构建了一套完整的计算机辅助临床工作流程(如图1所示)。我们提出了多尺度特征对齐多模态聚合神经网络(MfamaNet),用于探索输入的书写图像与多传感器信号之间的内在模式与关联,同时评估时空特征在帕金森病识别中的有效性。我们设计了时间关系提取器(TRE),用于分析多输入传感器信号中的序列内相关性(特定时间序列中的固有模式)以及序列间相关性(不同时间序列之间的依赖关系)。空间特征提取器(SFE)则主要分析输入图像的局部纹理,通过多尺度卷积层获取丰富的细粒度特征。最后在融合模块(FM)中,借助所提出的自适应聚合方法,能够高效且针对不同实例进行特征融合,从而实现跨模态、跨尺度信息的优质整合。这样得到的融合特征更具代表性,也有助于对整个模型进行端到端的优化。总体而言,本研究的主要贡献如下:
  • •
    非对称多模态架构:我们提出的MfamaNet整合了专门的时间学习和空间学习分支,能够明确建模动态传感器运动特征与静态书写扭曲之间的高度非线性关联。这种设计既充分利用了多尺度特征的互补性,又保留了各模态自身的固有模式。
  • •
    受Choquet积分启发的自适应聚合:为解决临床数据中存在的固有不确定性及语义模糊性问题,我们设计了一种计算效率较高的聚合模块。该模块借助受Choquet积分启发的可学习权重,能够动态实现跨模态、跨尺度表示之间的实例特异性融合,其性能远优于传统的线性融合方法。
  • •
    多尺度特征对齐机制:我们设计了专门的特征对齐目标函数,用于解决跨模态之间的严重语义差异问题。通过在训练过程中强制实现各模态内部以及模态之间的特征分布对齐,这一损失函数显著提升了类别内的紧凑性以及整体的诊断区分度。
除了方法层面的贡献外,这项研究还搭建了人工智能驱动的多模态融合技术与实际临床应用之间的坚实桥梁。该框架在公开的NewHandPD[5]测试集以及包含58名经专业评估的帕金森病患者的专用双模态数据集上均得到了严格验证。值得注意的是,在一家神经科门诊开展的两周实验应用中,采用MfamaNet辅助的工作流程将每位患者的震颤评估时间减少了74%(从约50分钟缩短至13分钟)。此次应用属于平行观察验证,并未干扰医生的正式诊断决策,实验证明我们的框架能够提供高效的无创决策支持,同时有效减轻医生工作负担以及患者的身体疲劳。

章节摘要

相关研究

帕金森病诊断中手写数据的应用已得到广泛研究。本节将从书写图像、时间信号以及多模态书写识别三个维度,梳理过去十年中的相关算法,涵盖传统机器学习方法以及前沿的深度神经网络技术。

研究方法

要诊断和识别帕金森病患者的手部震颤,就需要在宏观和微观层面整合相关信息。为此,在我们提出的多尺度特征对齐多模态聚合神经网络(MfamaNet)中,我们对各种模态特有的特征进行了跨尺度、跨模态的交互与建模,旨在让模型能够同时捕捉手部震颤在宏观和微观层面的细微特征。在本节中,我们将

实验部分

本节将针对真实的临床数据集,系统验证所提出的MfamaNet模型。我们会全面分析其多模态融合的效果以及表征的鲁棒性,并将其诊断性能与多种先进的基准模型进行对比测试。

帕金森病评估中多模态协同作用的机制

MfamaNet在NewHandPD和BimodalPD数据集上均表现出优异的性能,这揭示了帕金森病病理的一个核心特征:运动功能衰退具有多重维度,仅依靠单一的观测视角是无法全面掌握的。我们的交叉视角评估(同步的书写图像与信号)表明,空间几何变形与高频运动微波动是紧密关联、协同作用的生物标志物。此外,

结论

在本研究中,我们提出了多尺度特征对齐多模态聚合网络(MfamaNet),用以应对帕金森病运动功能衰退的多维度特征问题。鉴于帕金森病的病理特征无法仅通过单一观测视角来完全了解,MfamaNet整合了时间关系提取器(TRE)和空间特征提取器(SFE),能够系统地从空间几何变形以及高频运动特征中提取出协同作用的生物标志物。

局限性及未来工作方向

尽管这项研究取得了不错的成果,但仍存在一些局限性。首先,目前的框架主要在与书写相关的运动表现上进行了验证,因此其能否推广到帕金森病的其他运动及非运动症状,还有待进一步研究。其次,虽然所提出的多模态架构性能优异,但其复杂的组件设计或许可以进一步简化,以提高在资源有限的临床环境中的计算效率。

伦理审批与数据可用性

专用BimodalPD数据集的数据收集方案是完全按照《赫尔辛基宣言》制定的,并已获得青岛大学附属医院伦理委员会的批准(批准编号为QYFYWZLL29976)。所有参与者在纳入研究之前都签署了书面知情同意书。
为确保符合患者隐私保护法规及伦理标准,所有可识别个人身份的信息都已

CRediT作者贡献说明

余兴林:撰写——初稿、研究方法、实验部分。杨博涵:实验部分、数据整理。牛雪森:研究方法、实验部分。邢欣月:实验部分。余晓贝:实验部分。唐然轩:实验部分。赵爱特:撰写——审稿与编辑、研究指导、资金申请、概念构思。谢安沐:资源协调。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
Xinglin Yu|Bohan Yang|Xuesen Niu|Xinyue Xing|Xiaobei Yu|Ranxuan Tang|Aite Zhao|Anmu Xie
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号