基于视频帧时间特征差异的自监督时间签名分割

《Neurocomputing》：Self-supervised temporal sign segmentation using the temporal feature differences of video frames

　　

**摘要** 在手语处理中，时间手语切分（temporal sign segmentation）旨在将连续手语划分为其最小词汇单元——标注（gloss），是手语识别与翻译中一项关键的预处理步骤。与通常包含明显场景切换或背景变化的典型视频不同，手语视频中的边界检测必须完全依赖签名者细微的身体动作、手势和面部表情，尤其是在协同发音（co-articulation）过程中，相邻标注会自然衔接过渡。为应对这一挑战，我们提出了基于时间特征差（Temporal Feature Differences）的时间手语切分方法（TS2-TFD），该方法将预训练的时空编码器与基于时间特征差（TFD）的边界检测模块相结合。此外，为了增强时空编码器对手语特有模式的分层，我们提出了TFD感知对比学习（TFD-aware contrastive learning），这是一种无需人工帧级标注的自监督微调技术。我们在RWTH-PHOENIX-Weather-2014（PHOENIX2014）和国家信息社会署手语（NIASL2021）数据集上的实验表明，TS2-TFD在调整后平均F1边界（AmF1B）指标上优于所有对比的无监督和有监督方法。此外，TS2-TFD的边界检测模块仅具有 $\mathcal{O}(N)$ 的计算复杂度（其中 $N$ 为输入视频帧数），不含可学习参数，且可在CPU上运行；即使其免训练变体在相同特征下也已在AmF1B上超越所有对比的无监督方法。

**引言** 手语是一种视觉手势语言，是聋人社区的主要交流方式，通过面部、手部和身体的动作传递交流意义[36]。与人们普遍认为手语仅仅是口语的视觉呈现不同，手语拥有自己的语法和语法体系。它们并不共享口语的语法特征，而是形成了各自独立且截然不同的语言体系[14]。这种语言的独立性意味着将口语句子切分为词素并不直接对应于将手语切分为其基本单元——标注。手语识别（SLR）是辅助技术与人机交互领域中一个至关重要的方向，旨在弥合聋人与听力人群之间的交流鸿沟。SLR系统识别手语手势并将其翻译为文本或语音，从而实现无缝沟通[2],[27]。时间切分是连续手语识别中的一项关键预处理步骤，该过程将连续手语划分为标注，即其最基本的词汇单元。时间手语切分面临着区别于一般视频理解任务的独特挑战。首先，视觉边界十分细微：与通常包含明显场景切换或背景变化的典型视频不同，手语视频中的边界完全依赖签名者的细微身体动作、手势和面部表情。由于协同发音的作用——即手势会影响相邻手势[7]，标注之间的过渡表现为极小的视觉不连续性。其次，时间模式不规则：签名者执行手势的速度各不相同，导致即使对于相同的标注，段长也可能因签名者和上下文的不同而不规则。第三，标注获取有限：帧级边界标注需要手语专业知识，且制作过程耗时耗力，导致大规模标注数据集十分匮乏[6]。为应对标注稀缺问题，近年来已开展无监督时间手语切分方法的研究。此处所谓"无监督"是指目标手语视频在训练阶段不需要帧级边界标注，但可以利用预训练于通用视觉任务的模型特征。代表性的无监督方法包括PELT[18]和基于变化点检测的非参数聚类（CDNC）[33]。然而，现有方法面临三大关键局限：第一，对局部变化过于敏感：PELT检查连续帧之间的统计突变，因此在手语中常见的平滑协同发音过渡中——即一个标注自然流向下一个标注——容易检测到虚假边界。第二，边界定位不精确：CDNC通过聚类将相似帧分组为段，但缺乏精确锁定边界帧的机制，因为聚类本质上关注区域分组，而非捕获细微标注边界所必需的精确过渡检测。第三，特征适应性有限：两种方法都依赖固定的预训练特征，未进行任务特定适配，因此无法捕获区分真实标注边界与标注内部动作的微妙时间变化。手语视频具有稳定的背景和单一签名者，标注边界通过手势、面部表情和身体姿态的细微变化体现。对于边界检测，我们采用了时间特征差（TFD）[22]方法，该方法比较过去与未来帧序列聚合的特征表示。这一方法直接解决了上述前两项局限：与PELT的逐帧比较不同，TFD的时间窗口分析天然能够捕捉标注之间的渐进演变；与CDNC的聚类不同，TFD通过时间差信号的局部极大值检测明确识别出精确的边界帧。在此基础上，我们提出了基于时间特征差的时间手语切分方法（TS2-TFD）用于无监督时间手语切分。TS2-TFD由预训练的DINOv2[24]（用于特征提取）和基于TFD的边界检测模块组成。为了增强时空编码器对手语特有模式的分层，我们引入了TFD感知对比学习，该学习使编码器无需帧级标注即可进行自监督微调。该方法明确训练编码器区分边界帧与标注内部帧。本研究的主要贡献总结如下：•我们提出了TS2-TFD，一种基于检测器驱动自监督的时间手语切分框架：由免训练的TFD检测器在冻结时空编码器的特征上生成的伪边界，监督同一编码器的参数高效微调，而该检测器在推理阶段又使用编码器适应后的特征。先前的无标签方法缺乏这种反馈回路的闭环。•我们提出了TFD感知对比学习，一种自监督微调方案，其中检测到的边界帧本身作为三元组负样本，标注内部帧作为锚-正样本对；在PHOENIX2014上，这种适配可显著地将编码器的注意力转移到签名者的手部和面部，并在最严格的容差下锐化边界定位。•我们表明三元组采样——故意偏向欠切分——起到了内置过滤器的作用，可筛除低置信度的伪标签：尽管NIASL2021上大约一半采样的负样本并不对应真实边界，微调仍能在两个数据集上提升性能；而在PHOENIX2014上，显式的TFD置信度过滤器未带来进一步增益。•我们在PHOENIX2014和NIASL2021上实现了最先进的无标签AmF1B。免训练的TS2-TFD基线在AmF1B上已超越在同一特征上重新调优的五个无监督基线；经TFD感知微调后，与最强基线的差距分别扩大到5.03和1.90个点，并超越了有监督的CMPL方法3.83和14.93个点。此外，无标签任务适配优于原始编码器规模：微调后的86M编码器在PHOENIX2014上超越了大至13倍的冻结编码器，在NIASL2021上与最强者持平。本文其余部分组织如下：第2节描述相关领域的若干先前研究。第3节详细介绍TS2-TFD。第4节呈现实验结果。最后在第5节总结本研究。

**章节片段**

**基于Transformer的视觉感知** 自视觉Transformer（ViT）[8]证明了纯自注意力在大规模下可以替代卷积归纳偏置以来，Transformer已成为视觉感知的统一架构。一条研究路线致力于改进骨干网络本身，例如在视觉Transformer中使用卷积投影[50]、层次化移位窗口注意力[23]，或并行运行于自注意力的并行卷积模块以增强信息丰富的局部补丁[10]。注意力机制同样有效。

**方法** TS2-TFD旨在通过利用视频帧之间的时间特征差，将句子级手语视频在时间上切分为标注视频片段。我们的方法可以部署在两种场景下。第一，作为无监督基线，TS2-TFD直接应用预训练的时空编码器，无需对目标数据集进行任何适配。第二，作为我们的主要贡献，我们提出了一种自监督扩展方法，通过TFD感知（方法在此处被截断）

**数据集** 带帧级边界标签的手语数据集十分稀缺。PHOENIX2014和NIASL2021数据集提供了帧级边界真值信息，因此适合我们的研究目的。

**结论与讨论** 在本文中，我们提出了TS2-TFD用于时间手语切分，该方法能够有效检测连续手语视频中的标注边界。TS2-TFD由预训练的时空编码器（DINOv2）（用于特征提取）和基于TFD的边界检测模块组成，后者通过局部极大值检测识别时间边界。为了增强时空编码器对手语特有模式的分层，我们引入了TFD感知对比学习，该方法能够进行自监督微调（段落在此处被截断）

**CRediT作者贡献声明** Hohyun Sim：撰写—初稿、软件、方法论、概念构思。Hyeonjoong Cho：撰写—审稿与编辑、监督、方法论、概念构思。Hankyu Lee：资源提供。

**利益冲突声明** 作者声明以下财务利益/人际关系可能被视为潜在的利益冲突：Hyeonjoong Cho报告获得了电子与电信研究院（ETRI）的财务支持。如还有其他作者，他们声明没有已知的财务利益或人际关系可能影响本文所报告的工作。

**致谢** 本研究受韩国电子与电信研究院（ETRI）资助，由韩国政府拨款支持[2022-0-00010，医疗环境下聋人手语翻译服务技术开发]。Hohyun Sim于2021年获得韩国大学计算机融合软件学士学位。目前就读于韩国大学计算机与信息科学博士学位。其研究兴趣包括手语翻译与切分、代码翻译。

**作者信息** Hohyun Sim | Hyeonjoong Cho | Hankyu Lee