连续手语识别的跨模态交互与时空特征增强方法(CMST-Net)

《Electronics》：CMST-Net: Cross-Modal Interaction and Spatio-Temporal Feature Enhancement Method for Continuous Sign Language Recognition

　　

在连续手语识别(CSLR)中，现有方法主要采用逐帧特征提取，忽视了时间连续性和运动轨迹建模，从而难以捕获完整的时空动态。同时，全局跨模态注意力方法通常直接对文本与整个视频序列之间的交互进行建模，但缺乏结构约束，使其容易受到冗余帧的干扰，这会导致注意力分布稀释，并削弱细粒度的运动对齐能力。为了解决这些问题，本文提出了一种用于连续手语识别(CSLR)的跨模态交互与时空特征增强方法(CMST-Net)。CMST-Net包含两个主要模块：局部-全局跨模态融合模块(LGCFM)和时空特征增强模块(STFEM)。局部-全局跨模态融合模块(LGCFM)引入了一种协同建模机制，将局部滑动窗口注意力与全局注意力相结合，实现了结构化局部对齐与全局语义建模的统一融合。时空特征增强模块(STFEM)结合了多尺度空间扩张卷积和坐标注意力来提取细粒度的空间特征，同时利用通道划分和分层残差结构来增强长范围时间建模能力；这两个模块协同产生了高质量的时空特征表示。在三个公开基准数据集（PHOENIX₂₀₁₄、PHOENIX₂₀₁₄-T和CSL-Daily）上的实验表明，CMST-Net能够有效提升连续手语识别的性能，在PHOENIX₂₀₁₄和CSL-Daily数据集上实现了最先进的性能，并在PHOENIX₂₀₁₄-T数据集上取得了具有竞争力的结果。

连续手语识别(CSLR)技术旨在通过分析视频序列并输出传达完整句子的连续手语词序列，以桥接手语使用者与更广泛社会之间的交流鸿沟。该领域的研究背景在于手语本身的复杂性以及听障人士学习手语的长期困难，凸显了该技术的必要性。然而，现有主流方法在处理复杂背景、遮挡以及相邻协同发音动作之间模糊的边界时仍存在显著局限。具体而言，主流方法通常采用共享的二维卷积神经网络(CNN)进行逐帧特征提取，这种方式将视频序列分解为独立的帧进行处理，缺乏对相邻帧之间时间依赖性的显式建模，无法捕获手语动作固有的连续运动轨迹和动态变化。为了缓解这一问题，部分研究引入了三维卷积或(2+1)D卷积架构来联合建模时空信息，但其时空建模能力受限于固定大小的卷积核和有限的网络深度，感受野仍局限于局部时空区域，难以捕获长距离依赖和全局动作结构。在视频与文本模态融合方面，尽管基于Transformer的全局交叉注意力机制被广泛采用，但在长序列场景中容易受到冗余过渡帧的干扰导致注意力分布稀释，进而削弱细粒度动作边界的划分能力。针对上述问题，研究人员提出了一种跨模态交互与时空特征增强的连续手语识别方法(CMST-Net)，并在《Electronics》期刊上发表。该方法主要包含局部-全局跨模态融合模块(LGCFM)和时空特征增强模块(STFEM)，通过协同增强动作空间表示与时间建模能力，实现了跨模态语义信息的高效融合。实验结论表明，CMST-Net能够有效缓解跨模态对齐不足和时空特征建模受限的挑战，在多个公开数据集上取得了优异的识别性能。

研究人员在开展研究时主要采用了以下关键技术方法：视觉感知模块使用在ImageNet上预训练的ResNet18作为主干网络进行逐帧视觉编码；设计了时空特征增强模块(STFEM)，其内部包含结合多分支扩张卷积与坐标注意力机制的空间特征增强子模块(SFEM)，以及采用通道划分、Squeeze-and-Excitation(SE)通道注意力和三维扩张卷积的时间特征增强子模块(TFEM)；提出了局部-全局跨模态融合模块(LGCFM)，利用局部滑动窗口注意力与标准全局交叉注意力进行并行协同建模；引入基于连接时序分类(CTC)损失和跨模态对齐(CMA)对比损失的联合损失函数进行端到端优化。实验使用了三个公开基准数据集：PHOENIX₂₀₁₄、PHOENIX₂₀₁₄-T和CSL-Daily。

在研究结果方面，论文详细展示了各项消融实验与对比分析的结论。首先是LGCFM和STFEM模块的影响：通过在PHOENIX₂₀₁₄数据集上进行消融实验得出，单独引入SFEM、TFEM或LGCFM均能使词错误率(WER)有不同程度的降低，其中LGCFM带来的性能提升最为显著，验证了局部滑动窗口与全局注意力的协同建模对跨模态语义对齐的有效性；当三个模块同时引入时，模型取得最优性能，充分印证了空间细节增强、时间依赖建模与跨模态交互机制之间的协同增益。其次，关于STFEM嵌入位置的影响：实验表明将该模块嵌入Res1至Res4的任意残差阶段均能提升模型性能，且在多阶段同时引入时能产生累积效应，不同层级的特征表示在渐进增强过程中相互补充，显著提升了模型的整体表示能力。第三，SFEM分支扩张率d的消融实验：证实了多尺度扩张卷积能有效增强空间特征表示能力，适中的多尺度扩张率配置能最佳平衡局部细节与上下文信息，过大的感受野则会引入冗余信息从而削弱建模能力。第四，TFEM子块扩张率d的影响：研究得出采用四种时间尺度足以捕获手语词级别的时间依赖，继续增加或减少尺度数量会导致性能下降。第五，不同通道注意力机制在TFEM中的作用：通过对比Squeeze-and-Excitation(SE)、卷积块注意力模块(CBAM)和高效通道注意力(ECA)发现，SE机制由于能通过全连接层显式建模各通道重要性并有效捕获长距离依赖，取得了最优结果。第六，LGCFM中滑动窗口大小(K)的影响：研究发现当K=12时模型取得最优表现，此时窗口范围与手语动作的基本时间跨度高度契合，既能有效抑制冗余噪声，又能实现对关键运动片段的完整建模。第七，跨模态对齐损失权重系数的影响：消融实验表明当权重系数为0.1时，跨模态约束有效促进了视觉与文本特征间的语义一致性，提升了识别性能，而过强的约束会过度强调特征对齐从而削弱序列预测任务的学习能力。第八，LGCFM中局部与全局分支的消融：结果表明结合局部和全局分支的配置取得了最佳识别性能，证明了两者信息的互补效应。在可行性验证中，损失曲线和WER曲线显示该方法在训练中表现出更快的收敛速度和更低的错误率。在与最先进方法的比较中，CMST-Net在PHOENIX₂₀₁₄数据集上取得了17.8%/18.0%的WER，达到该数据集上的最先进水平；在PHOENIX₂₀₁₄-T数据集上取得了具有竞争力的结果；在极具挑战性的大规模中文手语数据集CSL-Daily上，取得了26.4%/26.3%的WER，显著优于以往方法。在复杂度分析中，CMST-Net在合理控制参数量和计算开销的同时实现了性能的显著提升。定性结果分析通过梯度类激活映射验证了CMST-Net能够更集中地关注与手语语义密切相关的手部、手指和面部区域，有效抑制了背景噪声的干扰。

在讨论部分与结论中，研究人员总结指出，为了应对复杂背景干扰和长视频序列导致的注意力分布稀释挑战，本文提出的CMST-Net有效克服了传统全局注意力机制缺乏局部结构约束的局限。LGCFM通过联合利用滑动窗口注意力和全局注意力，实现了细粒度局部动作与全局语义的精确对齐；STFEM则有效解耦了多尺度空间感知与长距离时间演化，在不引入大量额外计算开销的情况下，显著增强了模型对复杂手势形变和关键面部特征的鲁棒性。研究结论表明，相较于以往最先进的方法，所提方法在PHOENIX₂₀₁₄和CSL-Daily数据集的验证集/测试集上分别将WER降低了0.3%/0.7%和1.9%/0.8%。尽管如此，模型在区分复杂手势间细粒度运动差异以及快速连续运动中的时间变化方面仍有改进空间。未来的工作将探索引入手部姿态等结构化信息以增强运动表示，并开发更灵活的时间建模策略和轻量化网络设计，以期在计算资源受限的便携设备上实现部署，进一步推动手语识别技术的实际应用。