基于双通路时空图卷积网络(ST-GCN)与注意力增强双向长短期记忆网络(Attention-Enhanced BiLSTM)时空拓扑编码的人体姿态鲁棒优化方法

《Alexandria Engineering Journal》：Spatio-temporal topological encoding via dual-pathway ST-GCN and attention-enhanced BiLSTM for robust human pose optimization

　　

摘要：由于遮挡和低光照等因素，跨场景下准确识别人体姿态仍是计算机视觉领域的重大挑战。本文提出多场景自适应姿态识别（Multi-scenario Adaptive Pose Recognition, MAPR）框架，将时空图卷积网络（Spatio-Temporal Graph Convolutional Network, ST-GCN）与注意力增强双向长短期记忆网络（Attention-Enhanced Bidirectional Long Short-Term Memory, Attention-BiLSTM）相结合。该系统采用两条ST-GCN通路从骨架数据中提取多尺度空间特征，同时由Attention-BiLSTM捕获长期时序模式，使模型能够同时理解单帧内关节关系及帧间变化。在MPII数据集上，MAPR表现良好，标准条件下PCKh@0.5达0.892，曲线下面积（Area Under the Curve, AUC）为0.919；低光照（40%照度）下AUC仍保持0.863，仅下降6.1%。消融实验表明MAPR持续优于HRNet基线及单一组件版本。该框架可为运动分析、康复及智能环境中的可靠姿态识别提供支持。

论文解读：基于双通路ST-GCN与Attention-Enhanced BiLSTM的时空拓扑编码用于鲁棒人体姿态优化

研究背景与意义

传统基于卷积神经网络（Convolutional Neural Network, CNN）的人体姿态估计方法主要关注空间特征，难以有效建模人体骨架的非欧氏空间拓扑关系及关节间的生物力学约束；而传统循环神经网络（Recurrent Neural Network, RNN）虽可捕获时序依赖，却忽略骨架图结构。标准时空图卷积网络（Spatio-Temporal Graph Convolutional Network, ST-GCN）能有效建模局部空间关系和短时帧间变化，但对长时依赖及关键运动相位（如起跳最高点、投掷释放点）的建模能力不足；双向长短期记忆网络（Bidirectional Long Short-Term Memory, BiLSTM）擅长捕捉序列双向上下文，但不考虑骨架拓扑。现有混合架构多采用简单串联或特征拼接，无法充分融合空间约束与动态时序变化，在光照变化、遮挡等复杂环境下跟踪性能下降。为此，研究人员提出了多场景自适应姿态识别（Multi-scenario Adaptive Pose Recognition, MAPR）框架，通过深度级联的双通路ST-GCN与注意力增强BiLSTM实现空间拓扑与时序动力的联合优化，以提升多运动场景及恶劣环境下的姿态识别鲁棒性。该研究成果发表于《Alexandria Engineering Journal》。

主要关键技术方法

研究人员将人体单帧姿态建模为无向时空图G=(V,E)，节点V为关节点，边E含帧内骨骼连接与帧间时序链接，邻接矩阵A_ij描述解剖连接。采用双通路ST-GCN并行提取多尺度空间—短时时序特征（空间图卷积SConv配合归一化拉普拉斯矩阵L=D^-1/2AD^-1/2，一维时序卷积TConv，关节划分策略为向心/离心/自连接三分区，并引入运动敏感空间注意力），输出经拼接融合后送入带多头时序注意力的BiLSTM（隐层512，三层堆叠，多尺度时序注意力融合），自动加权关键帧。采用多任务损失函数联合优化：动作分类交叉熵损失L_cls、运动平滑度损失L_smooth（基于相邻帧二阶差分指数衰减）及动作质量回归损失L_reg，总损失L_total=L_cls+γ₁L_smooth+γ₂L_reg。实验基于MPII Human Pose数据集，从原始视频提取64帧时序窗口构建骨架序列，以HRNet为空间基线，通过消融（去除双通路ST-GCN或Attention-BiLSTM）及低光照（40%照度）对照验证性能，评价指标含PCKh@0.5、AUC、MPJPE（Mean Per Joint Position Error）。

研究结果

3.1. Experimental description

选用广泛使用的HRNet作为基线，因其仅进行空间特征提取而无法建模帧间时序动力学，可凸显所提时空融合方法的优势。

3.2. Dataset description and temporal context extraction

MPII数据集含约25,000幅图像及40,000余标注人体实例，覆盖410类日常与运动活动。研究人员利用MPII源自连续视频的特性，提取目标帧前后相邻帧构成64帧时序窗口，为ST-GCN与BiLSTM提供完整宏观时序上下文与关节轨迹。

3.3. Benchmarking performance under standard operating conditions

在标准光照下，MAPR取得最低平均MPJPE（25.0 mm），PCKh@0.5=0.892，AUC=0.919，较HRNet（AUC=0.793）提升12.6个百分点；去除双通路ST-GCN使AUC降至0.837，去除Attention-BiLSTM使AUC降至0.865，证明空间图拓扑与时序注意力二者缺一不可，且级联融合显著优于单模块或纯空间方法，尤其在快速及复杂多关节运动中误差降低明显。

3.4. Pose recognition performance in dim environment

于40%照度低光条件下，MAPR的AUC仍保持0.863（仅较标准条件降6.1%），而HRNet下降14.7个百分点至约0.704；各消融变体在低光下亦出现更大幅度精度跌落。雷达图与MPJPE对比显示MAPR在所有运动类别（含快速、复杂运动）定位误差最低，表明时空联合建模可利用时序上下文补偿视觉特征退化，增强对环境扰动的容错性。

3.5. Comparison with state-of-the-art methods

与近期代表性方法（Zhou et al. PCKh@0.5=88.2%、Qi et al. 89.1%等）及HRNet基线对比，MAPR获最优指标：PCKh@0.5=89.2%，MPJPE=25.0 mm，AUC=0.919，复杂动作MPJPE=27.0 mm，快速动作MPJPE=25.0 mm，验证了双通路ST-GCN与Attention-BiLSTM级联集成在关键点定位精度与环境鲁棒性上的综合优势。

3.6. Discussion

讨论指出MAPR通过ST-GCN与Attention-BiLSTM深度级联较好平衡了空间关系建模与长时时序捕获，标准及低光结果均优于单模块方法。局限性包括级联结构增加推理时延、当前采用静态特征拼接而非自适应融合、参数量较大可能存在小样本过拟合风险、极低光照（＜10%照度）及极高自由度扭曲姿态下尚有改进空间。作者建议未来引入自适应时空融合门控、知识蒸馏轻量化单流架构及多粒度关节采样层以提升效率与极端环境适应性。

结论（翻译）

本文提出多场景自适应姿态识别（MAPR）框架——一种专为应对环境挑战与复杂运动变化的自动化姿态跟踪深度学习系统。实验表明MAPR在各场景下均表现良好；光照降至40%时AUC为0.863，显著优于HRNet基线（0.704）及单一组件版本。该算法亦可处理多种躯体运动类型，凸显其在分析复杂空间模式与时机把握上的优势。性能衰减测试显示MAPR对环境变化具强适应性，精度降幅小于对比模型。本研究推进了姿态注意力算法发展，并为传统应用中处理环境变化提供了新途径。尽管MAPR展现了高时空精度与低光鲁棒性，其深层级联架构带来较大计算开销与推理延迟，限制其在实时边缘设备部署；此外静态特征拼接在接近零照度（＜10%）或高自由度复杂骨骼运动中可能降低跟踪质量。未来研究将聚焦于结合结构知识蒸馏的轻量单流架构、基于视频流质量自适应调节时空特征权重的跨模态融合门控机制，以及集成多粒度关节采样层以兼顾计算效率与高跟踪精度。