一种基于更快区域卷积神经网络和循环神经网络的方法,通过分析步态来诊断帕金森病
《Engineering Applications of Artificial Intelligence》:A Faster region convolutional neural network and recurrent neural network based approach of Parkinson’s disease diagnosis by analyzing gait
【字体:
大
中
小
】
时间:2026年06月14日
来源:Engineering Applications of Artificial Intelligence 8
编辑推荐:
西卡·达斯|拉吉布·戈什
印度巴特那800005,帕特纳国立技术学院计算机科学与工程系,阿肖克·拉吉帕特路
摘要
帕金森病是一种进行性神经退行性疾病,会严重影响人类的运动功能,尤其是步态模式。尽早且准确诊断帕金森病对于及时采取临床干预措施至关重要。然而,通过视觉观察
西卡·达斯|拉吉布·戈什
印度巴特那800005,帕特纳国立技术学院计算机科学与工程系,阿肖克·拉吉帕特路
摘要
帕金森病是一种进行性神经退行性疾病,会严重影响人类的运动功能,尤其是步态模式。尽早且准确诊断帕金森病对于及时采取临床干预措施至关重要。然而,通过视觉观察步态来进行手动诊断既耗时又容易出错。为实现更快更准确的诊断,本文提出了一种结合快速区域卷积神经网络与卷积循环神经网络的人工智能系统,该系统可通过分析视频中的人类步态来诊断帕金森病。在所提出的框架中,采用带有ResNet50骨干网络的快速R-CNN来检测并提取每帧视频中的人体,从而在不同背景和光照条件下实现可靠的人体定位。随后,通过卷积层从检测到的人体中提取空间步态特征。这些帧级特征被聚合起来,形成代表整个视频的序列。这些序列特征被输入双向长短期记忆网络,以建模帧与帧之间的时间依赖关系,并预测视频的最终类别标签。实验结果表明,该框架在四个常用的公开数据集上分别实现了91.85%、99.30%、99.70%和97.82%的分类准确率,这些数据集分别是膝关节骨关节炎-帕金森病-正常组、IST步态数据集、IT步态数据集以及多模态视频数据集,其性能优于多种现有的基于步态的帕金森病诊断方法。这些结果表明,将强大的人体检测技术与时空深度学习相结合,能够提升通过步态视频诊断帕金森病的准确性,且在实际临床筛查中具有巨大潜力。
引言
帕金森病是人类最常见的神经退行性疾病之一,影响着全球数以百万计的人群,严重损害患者的生活质量。帕金森病的主要症状包括震颤、运动不能、动作迟缓、肌肉僵硬以及肌肉动作、控制能力和平衡能力的异常,而步态异常则是该疾病的关键指标。人类的行走模式通常被称为步态,通过分析步态可以识别不同的病理状况。帕金森病多发生在60岁及以上的老年人身上,且随着患者年龄的增长,病情会愈发严重。不幸的是,帕金森病往往在晚期才被诊断出来,这使得阻止疾病进展变得十分困难。尽早发现帕金森病至关重要,因为及时的医疗干预能够减缓疾病发展,提高患者的生活质量。然而,传统的临床诊断主要依赖于医学专家的手动观察,这种方法往往耗时、主观性强且容易出错。
近年来,人工智能技术的进步使得自动化疾病诊断系统得以发展,这类系统相比传统的手动诊断方法,能够提供更快更准确的预测结果。特别是在帕金森病诊断方面,步态分析已成为计算机视觉领域的重要研究方向。人类步态模式具有独特的运动特征,有助于区分患有帕金森病的人与健康人群。以往基于步态的帕金森病诊断方法主要依靠手工设计的特征提取技术。多项研究通过统计方法提取运动学特征,并应用机器学习分类器来检测帕金森病。然而,手工设计的特征往往存在信息丢失、特征冗余的问题,而且由于光照变化、背景干扰以及摄像机视角变化等因素导致的噪声,还会降低特征的稳定性。此外,时空特征的高维度性会增加计算复杂度,当训练数据量有限时还可能引发维度灾难。也有不少研究尝试使用机器学习分类器来通过步态数据诊断帕金森病,例如将统计步态特征与支持向量机或随机森林分类器结合使用,但这些模型在基于视频的步态分析方面存在固有缺陷,随机森林分类器无法有效捕捉序列数据中的时间动态,而支持向量机则难以学习连续帧之间的时间依赖关系,在处理大规模视频数据集时表现不佳。
深度学习的最新进展显著提升了多种医学应用领域的性能,包括疾病诊断、医学图像分析以及临床决策支持系统。近期研究证明了特征融合和集成学习框架在提升自动化医学诊断性能方面的有效性。这些基于深度学习的医学成像方法在提高自动化疾病诊断系统的准确性和可靠性方面取得了良好效果。这些发展凸显了基于人工智能的方法在自动诊断帕金森病等神经系统疾病方面的巨大潜力。为克服手工设计特征的局限性,已有不少基于深度学习的方法被提出,用于通过步态数据检测帕金森病。特别是,一些基于步态模板和注意力机制的轻量级步态识别框架被开发出来,用以提升特征表示和识别性能。尽管取得了这些进展,许多现有方法仍主要侧重于空间特征提取,往往无法捕捉步态视频序列中的长期时间依赖关系。此外,还有一些方法依赖于基于骨架的表示或手工设计的步态模板,这类方法需要精确的姿态估计,且对遮挡、光照变化以及背景噪声较为敏感。还有基于图的模型,如稀疏自适应图卷积网络、双流时空注意力图卷积网络以及时空图卷积网络,也被用来建模基于骨架的步态表示中的时空关系。不过,这些方法需要精确的骨架提取以及大量的标注数据,而在实际应用中很难获得这些资源。此外,基于图的方法由于需要同时处理复杂的图结构及多帧数据,计算成本较高。循环神经网络在建模序列数据的时间信息方面展现出良好潜力,但传统RNN在处理长序列时会出现梯度消失问题。长短期记忆网络通过引入能够捕捉长期依赖关系的记忆单元,解决了这一限制。不过,LSTM仅能沿时间顺序向前处理序列数据,这可能限制其从步态序列中获取完整上下文信息的能力。双向LSTM网络则通过同时学习过去和未来帧的时间依赖关系,克服了这一局限,非常适合用于建模动态步态模式。因此,要实现可靠的帕金森病诊断,就需要一个强大的基于视觉的框架,既能准确检测行走主体,又能有效捕捉步态的长期时间动态特征。
为解决这些局限性,本文提出了一种混合深度学习框架,该框架将快速区域卷积神经网络与卷积循环神经网络架构相结合,用于通过步态视频诊断帕金森病。在所提出的框架中,快速R-CNN被用来准确检测并提取输入视频中每帧的行走主体。通过将人物与背景分离,该方法减少了无关视觉信息的影响,从而更可靠地提取与步态相关的特征。与许多直接处理原始视频帧或依赖骨架表示的现有基于视觉的帕金森病诊断方法不同,所提出的框架会在特征提取之前先明确检测每帧中的人物,从而提升了步态分析过程的稳定性。在检测到每帧中的人物后,再通过一系列卷积层从检测到的区域中提取空间步态特征。这些特征随后被整理成序列特征向量,用以表示行走模式的随时间变化情况。为有效建模步态的时间动态特性,这些提取出的特征序列会被输入RNN架构中。其中,双向LSTM网络因其能够通过正向和反向处理序列来捕捉长期时间依赖关系,而被用作主要分类器。这种双向学习机制使模型能够利用过去和未来帧的上下文信息,这对于分析人类行走模式尤为有利。为了进行对比分析,本文还使用了基于LSTM和门控循环单元的分类器进行了实验。虽然这些模型也被广泛用于序列数据建模,但双向LSTM通过整合双向上下文信息,提供了更优的时间表征能力。通过将强大的人体检测技术与时空特征学习相结合,所提出的框架为通过步态分析诊断帕金森病提供了一种有效的解决方案。此外,该方法还能够实现运动症状的自动化、无创监测,有助于早期发现帕金森病并及时采取医疗干预措施。在四个公开的步态数据集上进行的大量实验表明,该框架的性能优于多种现有方法。据我们所知,这是首批将基于快速R-CNN的人体检测框架与基于双向LSTM的时间建模技术相结合,用于通过步态视频序列诊断帕金森病的研究之一。
本文的主要贡献如下:
• 首次在文献中提出一种混合深度学习框架,该框架将快速R-CNN与ResNet50骨干网络相结合,用于在行走视频的帧中实现精准的人体检测,同时结合双向LSTM进行步态的时间建模,从而实现帕金森病的诊断。
• 提出了一种基于帧的数据增强和特征聚合策略,旨在优化步态序列的表示方式,进一步提升帕金森病诊断的稳定性。
• 提出了一种基于人体检测的步态分析策略,该策略能够从每帧视频中检测出行走主体,并提取时空步态特征,从而实现可靠的帕金森病分类。
本文的其余结构如下:第2节阐述该领域的相关研究进展;第3节介绍本研究使用的各类数据集;第4节详细说明用于从正常人群中识别帕金森病患者的所提方法;第5节分析实验结果并评估性能;最后,第6节对全文进行总结,并指出未来研究的方向。
相关研究
如前所述,已有不少研究探讨了利用计算机视觉和机器学习技术,通过步态分析来诊断帕金森病。下面简要总结现有关于基于计算机视觉的步态分析帕金森病检测方法的研究成果。早期的研究主要依赖于手工设计的步态特征与传统的机器学习分类器相结合。例如,Cho等人(2009年)和Chen等人(2011年)探索了诸如主成分分析之类的特征提取方法。
数据集描述
与非基于视觉的方法相比,目前可用于通过计算机视觉的步态分析来诊断帕金森病的公开数据集相对较少。为评估所提框架的稳定性和泛化能力,本研究采用了四个公开的步态数据集:KOA-PD-NM数据集、IST步态数据集(Loureiro和Correia,2020年)、IT步态数据集(Albuquerque等人)。
所提方法
本研究旨在通过分析视频中的人类步态模式,开发一种用于诊断帕金森病的新模型。所有收集到的步态视频都经过了预处理,预处理步骤包括调整帧的大小以及去除每帧中的噪声。快速R-CNN被用来检测每帧视频中的行人,将其视为视频中的目标物体。之后,还采用了数据增强策略来增加数据集中的视频数量。
实验结果与分析
如第3节所述,本研究使用了四个常用的公共数据集,对每帧视频中的人体检测以及帕金森病诊断进行了实验。这四个数据集的所有受试者都被纳入了训练集和测试集中。
结论与未来工作
本文提出了一种基于人工智能的框架,该框架通过分析视频序列中的人类步态来实现帕金森病的自动化诊断。所提出的框架整合了快速R-CNN用于人体检测、CNN层用于空间特征提取,以及基于双向LSTM的RNN用于运动模式的时间建模。配备了ResNet50骨干网络的快速R-CNN能够准确定位每帧视频中的主体,从而实现行走特征的可靠提取。随后,CNN层……拉吉布·戈什:写作——审稿与编辑、可视化、验证、监督、方法论、概念构建。资金状况:目前尚未获得任何资金支持以开展这项研究工作。利益冲突声明:作者们不存在与本文内容相关的利益冲突或需声明的竞争性利益。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号