基于生成式语义增强技术的视觉-语言预训练方法，用于手语翻译

《Information Processing & Management》：Generative semantic-enhanced vision-language pre-training for sign language translation

　　

• •
  分析不同文本对SLT视觉表示学习的影响。
• •
  采用语义增强方法来提供细粒度的语义监督。
• •
  利用具有手语感知能力的LLM从口语句子生成伪注释序列。
• •
  多正例对比学习设计用于鲁棒的表示学习。

引言

手语作为一种重要的人类视觉语言形式，依赖于手动和非手动渠道来产生语言信号（Dreuw等人，2007年；Stokoe，2005年）。它不仅是最主要的聋人之间的交流方式，也是他们与外界互动的重要渠道。手语翻译（SLT）旨在将手语视频转换成相应的口语句子，以消除聋人和听力正常人群之间的沟通障碍。

SLT本质上是跨模态和跨语言的转换（Alyami等人，2024年；Lin等人，2024年）。根据Camgoz等人（2018年）定义的SLT范式进行的现有研究可以分为两种不同的方法。基于注释的方法（Camgoz等人，2020年；Chen等人，2022年；Hu等人，2026年；Tan等人，2024年；Zhou等人，2021年；Zhou等人，2021年）通常使用注释，即手语语义的简化文本描述，作为中间表示来提高翻译性能。然而，获取注释的高成本限制了基于注释方法的可扩展性。最近的研究（Chen等人，2022年；Zhao等人，2024年）试图通过在预训练阶段将注释作为辅助信息来减少这种依赖性。为了利用更广泛的数据资源，无注释方法（Hwang等人，2025年；Liu等人，2024年；Maia等人，2025年；Yin等人，2021年；Zhao等人，2021年；Zhou等人，2025年）探索了仅使用口语句子作为监督的方法，从而消除了对注释的需求。由于SLT的固有复杂性，在没有明确中间指导的情况下有效提取具有辨别力的视觉特征仍然是一个重大挑战。

近年来，视觉-语言预训练（VLP）在视觉表示学习方面取得了显著进展（Jia等人，2021年；Radford等人，2021年）。受CLIP（Radford等人，2021年）的启发，Zhou等人（2023年）提出了一种无注释方法，该方法在预训练期间通过 align 视频特征与口语句子特征来建立跨模态语义连接。这种方法本质上将成对的文本视为手语视频的文本监督形式，利用文本中的固有监督信号来学习语言引导的视觉表示。先前的工作（Jia等人，2021年；Pan等人，2025年）表明，大规模数据集（通常包含数亿个样本）可以有效减轻噪声文本标签的影响，并学习出鲁棒的视觉-语言表示。然而，考虑到手语数据的有限规模（通常仅从几千到数万样本不等），文本的作用在这种数据稀缺的情况下变得更加关键。

因此，我们提出了一个核心问题：“哪种类型的文本更有利于视觉编码器学习SLT的语言引导视觉特征？”针对这个问题，我们提出了一个简单的假设：与口语句子不同，注释序列在时间上与手语视频对齐。当用作文本输入时，注释序列可以更有效地引导视觉编码器提取与视觉对齐的表示。为了验证这一假设，我们设计了一个对照实验，比较了将口语句子和注释序列作为文本编码器的输入。如图1所示，当使用注释序列进行VLP与手语视频时，微调后的SLT性能得到了提高。这表明与手语视频的时间特征更好地对齐的文本提供了更具信息性的语义监督。然而，我们也观察到直接使用注释序列只带来了适度的改进，表明它们的语义监督能力尚未得到充分利用。

现有方法（Jiao等人，2024年；Kim等人，2025年；Zhou等人，2023年）通常在视觉-语言预训练（VLP）阶段使用口语句子作为文本输入，未能解决文本数据与手语视频之间的时间特征不匹配问题。通过进一步观察，我们发现手语视频数据和注释序列在序列长度和语义密度方面存在显著差异。这些差异是提供有效监督信号的主要障碍。为了解决这个问题，我们提出了一种基于上下文的动态语义增强（CDSE）方法来丰富VLP的文本语义，如图2所示。CDSE通过结合数据驱动的统计属性和自适应扩展机制，动态调整原始注释序列的序列长度和语义密度。经过语义增强的文本与手语视频的时间特征更加精确地对齐，从而使视觉编码器能够学习到具有语义意识的视觉表示。此外，受到大型语言模型（LLM）卓越语言能力的启发，我们提出了一种简单而有效的伪注释生成方法，以降低数据成本并减少对注释的依赖。通过为现有的LLM配备精心设计的提示和特定领域的手语知识库，我们可以从口语句子生成高质量的伪注释序列。我们进一步设计了一种多正例对比学习方法，通过将每个手语视频与多个伪注释序列配对来减轻来自个别低质量伪注释的潜在偏差。整个框架是一种基于生成式语义增强VLP的无注释方法，称为GSEVLP。实验结果表明，经过语义增强的文本可以更好地利用其语义监督能力，显著提高SLT性能。

总结来说，本工作的主要贡献如下：

• •
  我们提出了一种CDSE方法，该方法调整文本数据的序列长度和语义密度，以更紧密地对齐手语视频的时间特征，从而使文本能够提供细粒度的语义监督。
• •
  为了降低注释成本，我们设计了一种利用具有手语感知能力的LLM的强大语言建模能力的伪注释生成方法，并进一步采用多正例对比学习来增强视觉-语言表示学习的鲁棒性。
• •
  在PHOENIX14T和CSL-Daily基准测试上的实验结果显示BLEU和ROUGE分数有显著提高。这表明经过语义增强的文本可以有效地发挥其监督能力。

小节片段

研究目标

我们的总体目标是增强文本特征在SLT中指导视觉特征提取的效果，并阐明与手语视频的时间特征更好地对齐的文本数据的语义监督价值。因此，我们定义了以下研究目标：

RO1：提出CDSE方法，该方法动态调整原始文本数据的序列长度和语义密度，以更好地匹配手语视频的时间特征，从而提供

基于注释的手语翻译

Camgoz等人（2018年）首次将SLT定义为神经机器翻译（NMT）任务，并提出了一个端到端的SLT框架。在此基础上，Camgoz等人（2020年）引入了一个基于Transformer的编码器-解码器框架，共同建模手语识别（SLR）和SLT。Jin等人（2022年）研究了额外先验知识在SLT中的作用。为了减轻数据稀缺的影响，Zhou等人（2021年）通过将口语文本回译成手语来扩展数据集

方法

在本节中，我们首先分析第4.1节中的VLP中的文本数据的影响。然后，在第4.2节描述CDSE方法。接下来，在第4.3节提出伪注释生成方法。最后，在第4.4节详细说明多正例对比学习方法。整个过程的概述如图3所示。

数据集

我们在两个广泛使用的SLT数据集上评估了所提出的方法。PHOENIX14T（Camgoz等人，2018年）是一个包含手语视频、注释和德语句子的德语手语数据集，内容来自天气预报广播。该数据集包含1066个手语单词和8257个视频样本，其中训练集、开发集和测试集分别包含7096个、519个和642个样本。CSL-Daily（Zhou等人，2021年）是一个大规模的中文手语

理论意义

这项工作加深了对如何在具有独特时间特征的跨模态学习任务中有效利用文本监督的理解，为文本在指导视觉表示学习中的作用提供了新的视角。与以往依赖昂贵数据增强（Zhou等人，2025年）或复杂骨干架构（Chen等人，2022年）来增强视觉表示的研究不同，我们的研究表明，与手语视频时间对齐的文本特征可以

结论

在这项工作中，我们提出了GSEVLP，这是一种语言引导的无注释SLT框架，它将语义增强的VLP与LLM的生成能力相结合。所提出的CDSE方法通过自适应调整原始注释序列的序列长度和语义密度来增强视觉和文本表示之间的对齐。我们的伪注释生成方法利用具有手语感知能力的LLM的强大能力生成具有丰富多样性的高质量伪注释序列，减少了

CRediT作者贡献声明

王立新：撰写 - 审稿与编辑，撰写 - 原稿，可视化，验证，软件，资源，方法论，调查，形式分析，概念化。方玉春：撰写 - 审稿与编辑，撰写 - 原稿，验证，监督，资源，项目管理，方法论，调查，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（资助编号：62576202）、上海自然科学基金（资助编号：25ZR1401115）、国家自然科学基金（资助编号：82430060）、国家重点研发计划（资助编号：2024YFC3306703、2024YFC3306700）、司法部法医学科学院上海法医学重点实验室（资助编号：KF202413）以及上海科技服务中心的支持

Lixin Wang|Yuchun Fang