基于深度特征与GAT分类器的非对称双流Transformer视觉人体运动评估

《Symmetry》:Asymmetric Dual-Stream Transformers for AI-Driven Vision-Based Human Movement Assessment via Deep Features and GAT Classifier

【字体: 大 中 小 】 时间:2026年09月18日 来源:Symmetry 2.2

编辑推荐:

  将基于AI的视觉感知与人体运动分析相结合已成为智能感知系统的关键要素,使得能够自动解读人体运动、活动模式和复杂视觉行为。然而,由于低空间分辨率、背景杂乱、遮挡以及身体姿势的巨大差异,从单目空中和地面视角视频进行准确的功能性运动评估仍面临挑战,这限制了AI辅助未

  
将基于AI的视觉感知与人体运动分析相结合已成为智能感知系统的关键要素,使得能够自动解读人体运动、活动模式和复杂视觉行为。然而,由于低空间分辨率、背景杂乱、遮挡以及身体姿势的巨大差异,从单目空中和地面视角视频进行准确的功能性运动评估仍面临挑战,这限制了AI辅助未来医疗应用的可靠性。研究人员提出了一种多层级框架,将非对称深度特征表示与基于Transformer的架构和图驱动优化相结合,用于鲁棒的基于视觉的人体运动分析。首先,采用重型注意力Transformer(Heavy Attention Transformer)增强图像质量,并通过抑制背景干扰来强调临床相关的解剖和运动模式。随后,利用全景分割(Panoptic Segmentation)和实时检测Transformer V2(Real-Time Detection Transformer V2,RT-DETRv2)进行主体定位,再使用YOLOv8提取骨骼关键点。所提框架采用非对称双流特征提取策略:通过视觉词袋(Bag of Visual Words,BoVW)、视频Swin Transformer(Video Swin Transformer)、视频掩码自编码器(Video Masked Autoencoder,VideoMAE)和TimeSformer捕获全局上下文信息,同时使用DiffPose、PoseFormer和时空图卷积网络(Spatial–Temporal Graph Convolutional Networks,ST-GCN)对局部生物力学运动动态进行建模。关键贡献在于非对称特征设计,它保留了视觉上下文和骨骼动态的不同信息结构。为减少特征冗余并选择具有判别性的临床表示,采用黏菌算法(Slime Mould Algorithm)作为元启发式优化器。随后使用图注意力网络(Graph Attention Network,GAT)对优化后的特征进行分类,以实现自动化的功能性运动评估。在UAV-Human和UCF-ARG基准数据集上的实验评估分别达到82.50%和78.20%的准确率。所提框架展示了非对称感知型AI视觉传感在复杂视角下进行强人体运动分析的潜力,并为未来医疗相关应用(如远程人体运动评估和康复监测)奠定了基础。
人体运动分析在医疗健康、康复、运动科学和辅助技术领域具有重要价值。步态、平衡、姿势和身体动力学等特征为自动化视觉监测提供了依据,但可靠的自动化分析要求感知方法客观、可扩展且无创,并能在多种条件下捕捉运动变化。无人机感知具有灵活视角、大范围观测和非接触监测等优势,然而临床验证仍不足。与此同时,从单目空中和地面视频进行功能运动评估面临低空间分辨率、背景杂乱、遮挡和姿态变化等挑战,限制了AI辅助医疗应用的可信度。此外,全局外观和局部骨骼动态是两种不同的信息结构,需要互补而非统一的特征表示。因此,研究人员提出了一种非对称双流表示框架,以分别建模视觉上下文和骨骼动态,并通过图注意力网络实现鲁棒的运动评估。

研究人员构建了一个多阶段智能健康感知框架:首先用重型注意力Transformer增强图像,用全景分割和RT-DETRv2定位主体,再用YOLOv8提取13个骨骼关键点;在特征学习阶段,采用非对称双流策略——全局流使用视觉词袋、视频Swin Transformer、视频掩码自编码器和TimeSformer,局部流使用DiffPose、PoseFormer和时空图卷积网络;随后利用黏菌算法进行特征优化,最后通过图注意力网络完成分类。在UAV-Human和UCF-ARG数据集上,该框架分别取得82.50%和78.20%的准确率。这一结果表明,非对称感知型AI视觉传感能够在复杂视角下有效进行人体运动分析,为远程康复监测等医疗应用打下了基础。

在关键技术方法上,研究人员采用UAV-Human和UCF-ARG两个公开基准数据集,前者包含多种动作和复杂视角,后者由低空无人机录制,涵盖不同高度和视角。主要技术包括:基于重型注意力Transformer的图像预处理;基于全景分割和RT-DETRv2的多目标检测;基于YOLOv8的13关键点提取;非对称双流特征提取——全局流(BoVW、Video Swin Transformer、VideoMAE、TimeSformer)与局部流(DiffPose、PoseFormer、ST-GCN);基于黏菌算法的特征选择与降维;基于图注意力网络的分类。整个流程经过消融实验、复杂度分析和对比实验验证。

研究结果部分如下:

4.1 数据集描述:UCF-ARG数据集由低空无人机录制,包含行走、跑步、打斗等互动和群体活动,存在尺度变化、运动模糊和遮挡等挑战。UAV-Human数据集是空中监视环境下的大规模基准,动作多样,包含室内外不同光照和天气条件,并提供动作标签、边界框和姿态等丰富标注。

4.2 模型评估与实验结果:研究人员在两个数据集上独立评估框架性能。通过混淆矩阵、每类精确率、召回率和F1分数等指标,验证了分类的一致性和可靠性。消融实验分析了双流特征、优化模块和分类器等组件的贡献;复杂度分析考察了计算效率;与当前先进方法的对比实验进一步检验了框架的有效性。结果显示,全局视觉特征和局部骨骼特征具有互补性,所提出的非对称双流设计能够有效整合异构信息,在UAV-Human和UCF-ARG上分别达到82.50%和78.20%的准确率。

在讨论部分,研究人员将实验结果与框架设计联系起来,强调非对称双流表示的核心作用。该设计将全局视觉外观和局部骨骼动态整合为单一运动表示,同时利用特征优化和图注意力机制增强了判别能力。研究结论部分翻译如下:本研究提出了一种AI驱动的视觉健康感知框架,用于自动化健康导向的运动分析,集成了先进计算机视觉、深度分割、非对称特征表示、Transformer学习和图注意力网络。该多阶段流程包括基于重型注意力Transformer的图像增强、全景分割、RT-DETRv2主体定位、YOLOv8骨骼关键点提取、非对称双流时空特征学习、基于黏菌算法的特征优化和图注意力网络分类,以实现鲁棒的功能性人体运动分析。本工作的主要贡献是非对称双流表示策略,即先分别表示全局视觉外观和局部骨骼动态,再将其结合为统一的运动表示。所特征提取网络、黏菌算法优化和图注意力分类器相互补充而非独立贡献。在UAV-Human和UCF-ARG基准数据集上的实验结果表明,所提出的非对称双流Transformer-图框架在鲁棒人体运动分析中达到82.50%和78.20%的准确率。该框架融合了全局视觉属性和局部骨骼运动属性,从而在多变视角和挑战性环境下编码了人体动作的互补属性。通过基于Transformer的特征学习、基于图的运动建模和特征优化,实现了复杂运动模式的判别性表示。所提方法为未来医疗领域的运动分析应用(如与临床标注数据集集成和真实世界验证)奠定了基础,可进一步探索其在康复监测、患者个体化评估和临床运动评估中的潜力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号