面向听力障碍人群的智能手势理解式情绪识别系统:基于时空图卷积网络技术

《Scientific Reports》:Smart comprehend gesture based emotions recognition system for people with hearing disability utilizing spatio temporal graph convolutional network techniques

【字体: 大 中 小 】 时间:2026年01月24日 来源:Scientific Reports 3.9

编辑推荐:

  手语(Sign Language, SL)对于听力或言语障碍个体之间的交流至关重要。当手语与面部情绪识别相结合时,面部情绪识别在提升表达分析与辅助技术方面发挥关键作用,尤其适用于患者监测、心理分析以及人机交互等领域。这些应用可直接促进智能通信与照护系统的发展。

  
手语(Sign Language, SL)对于听力或言语障碍个体之间的交流至关重要。当手语与面部情绪识别相结合时,面部情绪识别在提升表达分析与辅助技术方面发挥关键作用,尤其适用于患者监测、心理分析以及人机交互等领域。这些应用可直接促进智能通信与照护系统的发展。手势识别(Gesture Recognition, GR)能够通过增强此类交互来促进机器与人类之间的交流。机器学习(Machine Learning, ML)是人工智能(Artificial Intelligence, AI)的组成部分之一,其核心在于开发依赖数据的方法。手势检测面临的主要挑战在于机器无法即时解释人类语言。该能力对于实现交流至关重要,尤其能够使失聪者和老年人通过手势发出指令。因此,本文提出一种新型面向听力障碍人群的智能手势理解式情绪识别系统,采用时空图卷积网络(Spatio-Temporal Graph Convolutional Network, ST-GCN)方法,即 SCGERS-STGCN。SCGERS-STGCN 方法能够识别手势与情绪,从而增强听力障碍个体的交流能力。首先,SCGERS-STGCN 模型在图像预处理阶段采用高斯滤波(Gaussian Filtering, GF)以降低噪声并提升输入图像质量。随后,在特征提取阶段采用视觉 Transformer(Vision Transformer, ViT)模型,以捕获手势及表征情绪的面部表情中的复杂模式与关系。此外,采用时空图卷积网络(ST-GCN)方法进行面部情绪检测与分类。最后,利用所开发的非洲秃鹫优化算法(Developed African Vulture Optimization Algorithm, DAVOA)对 ST-GCN 模型参数进行调优。SCGERS-STGCN 模型在情绪检测数据集上开展实验。比较分析表明,SCGERS-STGCN 模型相较于现有技术取得了 98.53% 的更优准确率。
该论文发表于《Scientific Reports》,围绕听力障碍人群交流支持中的手势—情绪联合识别问题,提出了一种融合图像预处理、Transformer特征提取、时空图建模与智能优化的混合式识别框架 SCGERS-STGCN。研究背景在于,全球听力障碍人群规模庞大,而手语(Sign Language, SL)虽是其核心交流媒介,却难以被普通人直接理解,导致听障者在信息获取、社会参与和人际互动方面受到显著限制。与此同时,情绪是交流中的重要组成部分,仅识别手势而忽略面部表情与情感状态,会削弱智能辅助系统对真实语义和交互意图的把握。因此,如何将手势识别(Gesture Recognition, GR)与面部表情识别(Facial Expression Recognition, FER)相结合,并在动态场景中实现高精度、较高鲁棒性的自动识别,成为该领域的重要研究议题。论文指出,既有研究虽已在手语识别、情绪识别、情感分析与多模态智能感知方面取得进展,但仍存在数据集标准化不足、泛化能力有限、对受控环境依赖较强以及计算复杂度较高等问题,因此有必要构建一种兼顾识别性能与应用可行性的模型。

为解决上述问题,研究人员提出 SCGERS-STGCN 方法,用于听力障碍个体的手势与情绪识别。该方法以高斯滤波(Gaussian Filtering, GF)作为图像预处理手段,以视觉 Transformer(Vision Transformer, ViT)作为特征提取器,以时空图卷积网络(Spatio-Temporal Graph Convolutional Network, ST-GCN)作为情绪检测与分类核心模型,并以非洲秃鹫优化算法(Developed African Vulture Optimization Algorithm, DAVOA)完成超参数调优。论文的核心结论是:在情绪检测数据集上,该模型表现出优于多种对比方法的识别性能,测试准确率达到 98.53%,同时执行时间仅为 2.40 s,表明该框架在识别精度和运算效率上均具有优势。其意义在于,为面向听障群体的智能辅助通信系统提供了一种可行的技术路径,也为动态情绪识别与手势理解的融合研究提供了新的方法学参考。

从研究方法看,作者主要采用了四个关键技术环节。首先,在预处理阶段使用高斯滤波(GF)进行降噪,以改善 48×48 灰度人脸图像质量并保留关键面部结构。其次,采用视觉 Transformer(ViT)提取表情与手势的深层特征,利用自注意力(self-attention)机制建模长程依赖。再次,利用时空图卷积网络(ST-GCN)对时序面部关键点或骨架式图结构进行空间—时间联合建模,以实现情绪检测和分类。最后,以 DAVOA 对 ST-GCN 的参数进行优化。实验基于 Emotion detection dataset,共含 25,400 个样本,按 80:20 和 70:30 两种训练/测试比例进行验证。

以下结合论文主体内容进行分项解读。

研究背景与问题提出
论文首先从听力障碍人群的现实交流困境切入,指出失聪或重度听损个体常依赖手语完成日常沟通,但普通人群通常不具备手语理解能力,因此形成明显的交流壁垒。文章同时强调,情绪不仅影响表达效果,也是人类决策、认知和交往中的重要心理生理表征。对于听力障碍群体而言,外部信息接收不足可能进一步影响其对交流语境的把握,因此研究面部情绪检测能力具有实际价值。近年来,随着深度学习(Deep Learning, DL)与计算机视觉(Computer Vision, CV)的快速发展,面部表情识别(FER)获得了较大进展,但传统卷积神经网络(Convolutional Neural Network, CNN)在处理复杂动态表情、长程依赖与时间信息整合方面仍有局限。基于此,论文提出将 ViT 与 ST-GCN 结合,以提升动态情绪与手势信息识别效果。

Stage I: image pre-processing
在该部分,研究人员首先使用高斯滤波(GF)对输入图像进行预处理。论文认为,GF 能在降低高频噪声的同时较好保留关键面部边缘与结构,相较于其他滤波方式,其实现简单、计算代价较低,并且适合实时应用。通过这一处理,输入图像中影响识别的干扰因素被削弱,后续特征提取与分类过程可获得更清晰、更稳定的视觉表示。该部分的结论是,GF 为整个识别流程奠定了更可靠的数据基础,从而增强了后续情绪分类任务的鲁棒性。

Stage II: ViT using feature extractor
在特征提取阶段,论文引入视觉 Transformer(ViT)。研究人员指出,ViT 依赖自注意力机制,而非卷积或循环结构,可将整幅图像划分为若干 patch 序列并进行全局建模,从而更有效地捕捉长距离依赖关系与上下文线索。文章进一步给出了 Transformer 编码器、多头注意力(Multi-Head Attention)和 MLP head 的构成与公式表达,说明模型通过查询(query)、键(key)、值(value)映射实现相关性计算,并经 softmax 归一化后完成注意力聚合。该部分表明,ViT 能够学习更具判别性的情绪和手势特征表示,尤其适于识别面部表情中的细微差异,因此在该框架中承担关键的高层特征抽取作用。

Stage III: recognition process using ST-GCN
在识别阶段,研究人员采用时空图卷积网络(ST-GCN)建模动态情绪变化。论文将人脸关键点或类骨架结构表示为图 \(\:G=(V,E)\),其中节点表示关键点,边表示其连接关系,并进一步引入时间维度构成时空图。文章分别描述了空间图卷积和时间图卷积的建模方式,以及归一化邻接矩阵在图卷积传播中的作用。该设计的优势在于:不仅能够表达单帧面部结构关系,还能刻画表情随时间演化的动态模式。论文在这一部分的核心结论是,ST-GCN 可联合学习空间配置与时间变化,从而更精确地检测与分类内在情绪,提高动态场景下的识别性能。

Stage IV: DAVOA-based parameter tuning
在模型优化阶段,论文采用 DAVOA 对 ST-GCN 参数进行调优。该算法源于非洲秃鹫捕食行为,通过种群搜索、饥饿度建模、探索—开发平衡、Levy flight 以及对立学习(Opposition-Based Learning, OBL)等机制寻找更优参数组合。研究人员给出了种群初始化、位置更新、局部搜索和适应度函数设计过程,其中适应度选择以精确率(precision)为主要目标。论文认为,DAVOA 相比网格搜索或随机搜索更能避免陷入局部最优,并在高维复杂参数空间中实现更高效的超参数寻优。由此,该部分支持了整体框架在性能与收敛效率上的提升。

Performance validation
实验部分基于 Emotion detection dataset 展开。数据集包含 25,400 张 48×48 像素灰度人脸图像,类别包括 happy、neutral、sad、angry、surprised、disgusted 和 fearful。实验环境为 Python 3.6.5,使用 i5-8600k CPU、4GB GPU、16GB RAM,并设置学习率 0.01、50 个 epoch、dropout 0.5、batch size 为 5。论文采用 80%/20% 与 70%/30% 两种训练—测试划分,以评估模型稳定性。

在 80%TRPH 和 20%TSPH 设置下,SCGERS-STGCN 的平均 accuracy、precision、recall、F1-score 和 AUC-score 分别达到 98.45%、92.75%、87.32%、89.08% 和 93.19%;在测试阶段对应平均值分别为 98.53%、93.79%、89.49%、91.13% 和 94.30%。这些结果说明模型在不同情绪类别上均取得了较高识别效果。混淆矩阵结果进一步表明,该模型对各类情绪均表现出较好的区分能力。

在 70%TRPH 和 30%TSPH 条件下,模型仍保持较高性能:训练阶段平均 accuracy、precision、recall、F1-score 和 AUC-score 分别为 98.12%、91.83%、86.98%、88.64% 和 92.92%;测试阶段分别为 98.10%、92.49%、86.40%、88.27% 和 92.63%。这一结果显示,训练集比例变化并未导致模型性能显著下降,体现出一定稳定性。

关于训练动态,论文通过 accuracy 曲线和 loss 曲线展示模型在 0–25 epochs 范围内的收敛情况。结果显示,训练准确率与验证准确率均随迭代逐步上升,且两者始终较为接近,说明模型过拟合程度较低;训练损失与验证损失则呈持续下降趋势,反映出优化过程有效,模型可逐步逼近较优解。

Comparative outcome of SCGERS-STGCN model with existing approaches
与现有方法比较时,SCGERS-STGCN 在 accuracy 上达到 98.53%,高于 CNN-BiLSTM、1D-CNN、GPTDS、PC-TTA、Vis-Net、ViT-B/16/SAM、5-Layer、ResNet-50、CNN、GoogleNet、Inception 和 CNN-Raspberry 等方法。精确率方面,SCGERS-STGCN 为 93.79%,同样优于多数对比模型;召回率达到 89.49%,也处于领先水平。由此可见,该模型在多项核心分类指标上均表现突出。

ET outcome of SCGERS-STGCN approach with existing techniques
在执行时间(Execution Time, ET)比较中,SCGERS-STGCN 的 ET 为 2.40 s,显著低于多种对比方法。这表明该模型不仅具有高精度,也具备较好的计算效率。尽管文中将该效率描述延伸至实时 shoplifting detection 场景,但从本文研究主题出发,可以确认的是,该结果支持模型在时间敏感型实时情绪识别任务中的应用潜力。

Error analysis of the SCGERS-STGCN methodology with existing models
误差分析表明,SCGERS-STGCN 的 accuracy、precision、recall 和 F1-score 对应误差分别为 1.47%、6.21%、10.51% 和 8.87%。论文借此说明,该模型整体误差水平较低,但仍存在进一步优化空间。这一部分并未否定模型优势,而是从误差角度补充说明模型改进余地。

Result analysis of the ablation study of SCGERS-STGCN model
消融实验比较了 GF、ST-GCN 以及完整 SCGERS-STGCN 框架的性能。完整模型在 accuracy、precision、recall 和 F1-score 上分别达到 98.53%、93.79%、89.49% 和 91.13%,优于仅含局部组件的方案。该结果证明,GF、ViT、ST-GCN 与 DAVOA 的联合集成并非简单叠加,而是在整体上形成了更优的识别体系。

讨论总结
综合全文,论文的主要贡献在于构建了一个面向听障辅助交流场景的混合式智能识别框架,通过 GF 改善输入质量,通过 ViT 获得全局判别特征,通过 ST-GCN 建模时空动态,再借助 DAVOA 完成高效参数优化。实验结果支持该方法在情绪检测任务上相对于多种现有模型具有更高准确率和更低执行时间。论文同时指出其局限性,包括对相对较小且同质化数据集的依赖、在遮挡、光照变化和快速面部运动条件下可能出现性能下降,以及在低功耗边缘设备上的部署挑战。此外,现有模型主要聚焦静态面部特征,对微表情及上下文情绪线索的捕捉仍有限。这些内容构成了论文讨论与结论部分的重要组成。

研究结论翻译
本文提出了一种新的面向听力障碍人群的 SCGERS-STGCN 技术。该方法能够实现手势与情绪识别,从而增强听力障碍个体的交流能力。首先,SCGERS-STGCN 模型在图像预处理阶段采用高斯滤波(GF)以降低噪声并提升输入图像质量。随后,利用视觉 Transformer(ViT)提取手势及表征情绪的面部表情中的复杂关系与模式。此外,采用时空图卷积网络(ST-GCN)根据手势进行面部情绪检测。最后,利用 DAVOA 对 ST-GCN 分类器的参数范围进行优化,以提升系统的准确性与有效性。该模型在情绪检测数据集上进行了实验,比较分析表明,其准确率达到 98.53%,优于现有技术。论文同时指出,该模型的局限性包括对相对较小且较为同质的数据集的依赖,这可能影响其在不同人群和多样环境条件下的泛化能力;在遮挡、光照变化及快速面部运动情况下,模型检测精度可能受到影响;尽管计算需求已做优化,但在低功耗边缘设备上的部署仍可能存在挑战。此外,现有模型主要关注静态面部特征,可能尚不能充分捕捉细微表情或情境性情绪线索。未来工作可探索融合音频与生理信号等多模态数据源,以增强识别鲁棒性;同时,轻量化模型架构与实时自适应学习机制也可能进一步提升其在移动端或嵌入式环境中的实用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号