《Franklin Open》:ROBUST DYNAMIC MOTION AND POSE MODELING FRAMEWORK FOR CONTEXT-AWARE CONTINUOUS INDIAN SIGN LANGUAGE RECOGNITION
编辑推荐:
摘要专业翻译
连续印度手语(Continuous Indian Sign Language, ISL)的识别仍是一项耗时且棘手的任务,主要原因在于整个场景涉及动态手部运动、细微手指动作以及手势间时间依赖关系的复杂耦合。现有技术尚无法充分展现运动的长期模式、应对
摘要专业翻译
连续印度手语(Continuous Indian Sign Language, ISL)的识别仍是一项耗时且棘手的任务,主要原因在于整个场景涉及动态手部运动、细微手指动作以及手势间时间依赖关系的复杂耦合。现有技术尚无法充分展现运动的长期模式、应对嘈杂背景以及维持时空一致性,从而导致句子层面的识别结果参差不齐。为缓解上述问题,研究人员提出NeoGestureSign(NGS),一种高效且具备上下文感知能力的深度学习框架,用于连续ISL识别。该框架包含手势运动-姿态模块(Gesture Motion-Pose Module, GMPM),可同时建模运动与姿态,并采用混合架构NeoXtBiTNet。GMPM精确监测手部、身体及面部运动,构建由动态运动轨迹与几何姿态描述符组成的统一时空表征。NeoXtBiTNet以不同方式对空间特征进行编码与处理,兼顾长程时间依赖关系,突出信息丰富的运动线索并抑制噪声。输入帧的初始处理包括帧标准化以及概率动态背景建模(Probabilistic Dynamic Background Modeling, PDBM),确保即使在困难录制条件下也能获得一致且面向手势的输入。实验在两个标准数据集ISL-CSLTR与ISLVT上进行验证。NGS框架在ISL-CSLTR上取得99.16%的句子级识别准确率,在ISLVT上取得98.05%。相较于现有动态与混合识别模型,该结果体现了显著提升。实验结果证明了将运动-姿态建模与混合时空序列学习相结合,对于实现准确、鲁棒且具备上下文感知能力的连续ISL解读的有效性。
论文解读文章
一、研究背景与问题提出
手语是聋人与听力障碍人群的主要沟通方式,其表达力体现在手部、身体与面部的协调运动中。实现手语识别自动化是迈向包容性人机交互、无障碍工具及实时翻译系统的重要一步。然而,连续手语句子级识别——即对作为序列而非孤立符号的手势进行处理——是公认的难题,原因在于人类运动的复杂性、多变性与细微性。连续手语识别面临手势重叠与变化、复杂运动动力学、细微手指关节活动以及不同手语者个体差异等多重挑战。此外,背景运动、遮挡与光照变化等环境因素进一步增加了手势解读的难度,使得真实场景下的识别成为重大挑战。
现有方法存在诸多局限:基于静态关键点或短期运动描述符的技术无法捕捉长程时间依赖关系,导致解读碎片化或不一致;卷积神经网络擅长捕捉空间模式但常丢失时间连贯性;循环架构虽能应用序列依赖但缺乏区分细微手指运动所需的细粒度空间分辨率。同时,多数现有框架对真实世界变化(如背景变化、光照条件、遮挡及不同个人手语风格)极为敏感,极大限制了模型的泛化能力,导致在受控实验室之外的真实场景中性能波动。此外,印度手语领域缺乏大规模、多样化且公开可用的数据集,现有数据集通常仅包含少量符号且以受约束方式采集(多为单人、固定背景),削弱了深度模型学习真实世界手语运动与时间模式所需的变异性。数据稀缺之外,实时性能与计算效率也是持续挑战——先进的Transformer及混合深度学习架构虽能达到显著准确率,但往往需要高昂计算资源,不适合资源受限设备上的实时应用。
二、研究内容与核心贡献
为克服上述局限,研究人员提出NeoGestureSign(NGS)框架,其新颖性在于在单一识别架构内统一处理运动动力学、姿态关节活动与长程时间依赖建模。NGS框架引入三项关键创新:第一,手势运动-姿态模块(Gesture Motion-Pose Module, GMPM)联合建模动态运动轨迹与几何姿态描述符,实现对连续手势的全面表征;第二,NeoXtBiTNet架构将基于ConvNeXt的层次化空间编码与时间门控层(Temporal Gating Layer)及双向时间建模相结合,选择性强调信息丰富的姿态片段同时保持长程上下文依赖;第三,采用概率动态背景建模(Probabilistic Dynamic Background Modeling, PDBM)机制抑制环境噪声,提升真实录制条件下的特征一致性。这些组件的协同整合实现了鲁棒、上下文感知且计算高效的连续印度手语识别。
三、关键技术方法概述
研究人员采用的主要技术方法包括:帧标准化预处理(包括空间分辨率统一与各颜色通道强度归一化);概率动态背景建模(基于高斯混合模型逐像素建模,结合时间指数平均更新与统计离群点滤波);统一运动-姿态特征提取(基于MediaPipe Holistic提取全身姿态、面部及双手共543个关键点,经时间平滑与坐标归一化后,分别提取运动特征流——帧间位移、速度与方向——和姿态特征流——关节间距离、角度关系与几何构型,并通过可学习注意力门控机制融合);时间序列标准化(通过填充或截断统一序列长度);NeoXtBiTNet混合时空架构(ConvNeXt层次化空间编码、时间门控层自适应调节各时间步贡献、双向长短期记忆网络(BiLSTM)建模长程时间依赖、特征展平与Softmax句子级分类)。数据集来源为两个公开基准数据集:ISL-CSLTR(由印度安得拉邦Navajeevan聋人寄宿学校两名母语手语者及泰米尔纳德邦SASTRA大学四名学生志愿者录制,含700个视频、100个口语句子、7位不同手语者、共18,863个句子级帧和1,036个词级图像)与ISLVT(由专业手语者在受控光照条件下以绿幕设置录制,包含丰富的手语视频及对应的注释和文本描述)。训练采用5折交叉验证,优化器为Adam,初始学习率1×10??,批次大小16,训练100轮,启用早停,Dropout率0.5,ConvNeXt-Tiny骨干,嵌入维度512,BiLSTM每方向256个隐藏单元,输出512维。
四、研究结果
4.1 数据集描述。 研究人员选用ISL-CSLTR与ISLVT两个公开基准数据集进行实验验证。ISL-CSLTR专为句子级手语翻译与识别研究而构建,包含7位不同手语者签署的100个口语句子对应的700个完整标注视频。ISLVT数据集包含多样化的印度手语视频及其对应的注释和文本描述,遵循分层语法结构,支持区域变体(如马拉地语手语中的主-宾-动结构),由专业手语者在受控光照条件下以绿幕设置录制。
4.2 实现细节与超参数设置。 框架基于Python与PyTorch实现,在GPU支持系统上训练。所有视频序列经历相同预处理流程:帧标准化、动态背景抑制与运动-姿态特征提取。超参数通过五折交叉验证经验性调优确定,最终配置包括Adam优化器、初始学习率1×10??、分类交叉熵损失函数、批次大小16、训练100轮、Dropout率0.5、ConvNeXt-Tiny骨干、GELU激活函数、Layer Normalization、全局平均池化、线性嵌入维度512、Sigmoid时间门控激活、BiLSTM每方向256隐藏单元、2层全连接分类层与Softmax输出激活。
4.3 性能指标。 为全面评估NGS框架,研究人员采用多项性能指标:准确率(正确分类句子占比)、精确率(预测阳性中正确比例)、召回率(实际阳性中正确比例)、F1分数(精确率与召回率的调和均值)、马修斯相关系数(MCC,综合四类混淆矩阵的平衡度量)、Cohen's Kappa(κ,校正机会一致性后的预测与真实标签一致性)、特异性(正确识别阴性样本)、阴性预测值(NPV)、AUC-ROC(分类器区分正负类别能力)、AUC-PR(类别不平衡时精确率-召回率权衡)、帧转换错误率(FTER,连续手势间帧转换错误比例)以及手势边界检测准确率(GBDA,正确检测手势起止边界比例)。
五、讨论与结论
现有手语识别方法通常仅解决连续句子级识别相关挑战的子集,多数方法将空间与时间信息割裂处理,导致句子级理解薄弱。基于关键点或骨架的方法在无约束场景中因对遮挡、复杂手部姿态和重叠手势高度敏感而存在诸多弱点。数据集约束(手语者多样性有限、背景受控、词汇量小)也损害了真实场景泛化能力。此外,准确度高的混合与Transformer模型通常因计算需求过高而不适合资源受限系统的实时部署。相比之下,NGS框架在单一统一架构内整合了背景抑制、运动-姿态融合、自适应时间门控与长程序列建模。该综合设计实现了鲁棒的姿态理解、改善的时间连贯性以及跨多样手语者和环境条件的增强泛化能力,从而确立了所提框架的新颖性与实践意义。实验结果表明,NGS框架在ISL-CSLTR上达到99.16%的句子级识别准确率,在ISLVT上达到98.05%,相较于现有动态与混合识别模型有显著提升,验证了将运动-姿态建模与混合时空序列学习相结合对于准确、鲁棒且上下文感知的连续印度手语解读的有效性。