M2ETP：用于连续手语识别的均值邻近采样与多尺度监督交互

《Computer Vision and Image Understanding》：M2ETP: Mean proximity sampling and multi-scale supervision interaction for continuous sign language recognition

　　

提出均一近邻采样（MPS）以增强慢路径的稳定性。引入多尺度监督交互（MSI）以实现更好的特征融合。开发增强型时间池化（ETP）以更好地保留时间信息。引言：手语是一种通过手部动作、面部表情和身体姿态传递信息的沟通方式，主要用于聋哑和听力障碍群体内部的交流。手语识别技术能够帮助聋哑和听力障碍人士与听力正常人士更顺畅地沟通。目前的手语识别技术主要集中于孤立手语识别（ISLR）和连续手语识别（CSLR）。ISLR旨在识别具有明确起止点的单个独立手势所对应的词汇。CSLR旨在将连续手语视频转录为有序的注释序列，其中每个标注的手语单元称为一个注释词。除离线识别外，近期研究进一步探索了在线CSLR以实现低延迟推理。CSLR更具挑战性，因为视频动作之间缺乏明确的边界，它需要理解一系列连续动作和上下文语境来辨别视频表达的具体含义。常见的CSLR方法由两个组件组成：逐帧特征提取和逐注释词特征提取。逐帧特征提取模块包括单路径和多路径方法。单路径方法主要采用RGB视频输入或骨架关键点信息，通过单一主干网络提取手语的时空运动信息。多路径方法通过多个并行路径处理RGB视频的多个部分（手部形态、口型、面部表情、身体姿态等），最终通过融合特征来执行CSLR。其他研究通过在RGB视频输入中添加光流、骨架关键点信息和深度图等多模态数据来增强手语识别模型的视觉表征能力。Geo-Sign进一步探索了通过双曲对比正则化实现几何感知的骨架嵌入，用于手语翻译。尽管多模态输入为模型带来了显著改进，但多模态数据获取的难度以及根据不同输入模态设计不同特征提取路径的需要，也导致了模型复杂度的增加。SlowFast提出了一种多路径方法，其优势在于输入数据仅为RGB图像，通过两条互补的"慢-快"分支提取特征，在保留视频空间语义的同时捕捉快速变化的运动信息。SlowFastSign首次将SlowFast架构引入CSLR领域，相较于单路径输入实现了显著改进。S2Net将骨架关键点信息整合到SlowFast架构中，将"慢-快"分支投影到图空间，并进一步使用GCN网络提取特征，也取得了高度竞争力的结果。先前的研究已展示了SlowFast框架在手语识别中的潜力，但基于该框架的CSLR方法仍面临诸多挑战。首先，现有方法使用等距采样从快速帧中提取慢速帧，这种固定采样策略可能为慢路径引入不稳定的空间观测和冗余视觉模式，导致慢网络在提取空间信息方面存在不足和冗余。其次，"慢-快"分支在网络的不同深度处相互作用，由于损失函数设计相对简单，浅层网络中的这种交互往往缺乏充分的监督，导致时空信息大量丢失。为解决这一问题，我们提出了一种均一近邻采样策略（MPS），可从快速帧中选择段中心帧，减少瞬时运动干扰，从而为慢路径提供更稳定的空间输入。我们还提出了一种多尺度监督交互（MSI）方法，利用多尺度监督信息指导模型各层特征的交互。逐注释词特征提取模块主要由1D CNN、时间池化和BiLSTM组成。1D CNN和BiLSTM用于捕获不同尺度的时间信息和时间序列中的上下文信息。CVT-SLR提出使用基于跨模态对齐框架的VAE模块引入预训练语言模块，以帮助学习上下文语义信息。为了更好地利用文本信息的语义来增强模型性能，ACMC通过多粒度跨模态对比学习，在全局和局部等多个层级对齐视频视觉特征与文本语义特征。时间池化模块用于在时间维度上进行降采样，使其长度与注释词中的词汇长度相似，同时保留关键信息，这有助于降低CTC损失的计算复杂度。在现有模型中，时间池化方法主要通过简单的最大池化或平均池化实现，这些是固定的池化操作，不具备可学习性。手语视频通常由不同的手语者组成，其运动速度和空间信息处于动态变化中，因此固定池化方法会丢失信息。为解决这一问题，我们提出增强型时间池化（ETP），在最大池化或平均池化的基础上赋予其可学习和自适应的优势。值得注意的是，M2ETP的目标并非简单地组装现有的采样、监督和数据池化技术，而是在弱监督条件下重新设计基于SlowFast的CSLR流水线的三个关键阶段。具体而言，MPS在不引入额外可学习帧选择策略的情况下，为慢路径提供稳定的段中心输入；MSI通过共享分类器对多深度的慢-快交互施加语义一致的监督；ETP用轻量级可学习算子替换固定时间池化，在不需要额外池化专用损失的情况下细化降采样后的时间表示。这些设计是互补的，共同解决了现有基于SlowFast的CSLR方法中不稳定的空间输入、交互监督不足和时间信息丢失的问题。（a）我们提出了一种MPS策略。该策略旨在通过选择最接近段级均值表示的帧，为慢路径提供稳定的段中心空间观测，从而减少由固定或运动敏感采样策略引起的瞬时运动干扰。（b）我们设计了一种MSI方法。通过多尺度监督，"慢-快"分支可与网络所有层级的特征充分交互，减少时空信息的丢失。（c）我们提出ETP，一种轻量级可学习时间池化算子，可在不依赖辅助池化专用损失的情况下自适应地细化降采样后的时间表示。（d）我们在PHOENIX14、PHOENIX14-T和CSL-Daily等多个公共数据集上进行了广泛的实验验证。实验结果表明，M2ETP方法仅使用RGB图像作为输入，在多个CSLR任务上取得了竞争力的性能。这些实验验证了我们提出的方法在提高模型精度、减少冗余信息和增强运动信息提取能力方面的有效性。本文的其余部分组织如下：第2节介绍相关工作，第3节介绍所提方法，第4节介绍实验结果与分析，第5节给出结论。相关工作片段：连续手语识别：作为弱监督任务，CSLR从逐注释词标注中学习，而非详细的逐帧标签。为在此范式下增强性能，研究人员探索了若干关键策略。一种早期方法侧重于丰富输入数据，例如Two-Stream和后来的SignVTCL通过引入光流和骨架关键点等多模态输入展现了显著的性能提升。然而，多模态数据的复杂性和部署挑战问题定义：CSLR旨在从视频序列中解读手语并将其转换为对应的注释词。该过程涉及使用计算机视觉技术提取手语者手部、身体和面部表情的时空运动特征，将提取的手语视频特征转换为听力人士易于理解的形式，从而促进聋哑社区与听力社区之间的沟通。设输入为I={Ii}i=1α，表示手语数据集片段：我们在以下三个公开的手语数据集上评估模型：PHOENIX14：该数据集由在清洁背景环境中录制的手语天气预报视频组成，由九位手语者在不同时间表演。每个视频的分辨率为210×260。数据集共包含6841个句子，分为5672个训练样本、540个验证样本和629个测试样本，词汇量为1295个词。PHOENIX14-T：结论：本文提出了一种CSLR方法M2ETP，通过均一近邻采样策略、多尺度监督交互和增强型时间池化（ETP）提高了模型的识别精度和时空信息提取能力。实验结果表明，我们的方法在多个数据集上表现良好，有效减少了冗余信息并增强了运动信息提取能力。M2ETP在CSLR领域取得了显著进步。作者贡献声明：胡红翔：撰写–审阅与编辑，撰写–原稿，可视化，验证，软件，方法论，调查，形式化分析，数据整理，概念化。杨兴华：撰写–审阅与编辑，监督，资源，项目管理，资金获取，概念化。陈智伟：撰写–审阅与编辑，可视化，调查，形式化分析，数据整理。韦东：撰写–审阅与编辑，验证，调查，形式化分析。利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢：本工作得到国家自然科学基金（批准号62176236）和浙江省自然科学基金（批准号LZ24F030011）的支持。胡红翔|杨兴华|陈智伟|韦东