SignMamba：用于连续手语识别的稀疏时空状态空间建模

《Neural Networks》：SignMamba: Sparse Spatial–Temporal State-Space Modeling for Continuous Sign Language Recognition

　　摘要：手语在空间和时间维度上都表现出显著的语义稀疏性。在空间上，与任务相关的动作通常集中在手和脸等区域，而广阔的静态背景通常信息量较少。在时间上，手势流中夹杂着大量冗余信息，如暂停或缓慢的过渡，这意味着关键语义被浓缩在时间轴上的少数几个稀疏时刻。然而，现有方法通常采用密集建模范式，未能充分利用这一固有特性。为此，我们提出了SignMamba，这是一个通过双重稀疏采样有效建模全局上下文的新框架。为了解决空间稀疏性问题，我们设计了一种基于Mamba的运动感知选择性扫描策略，该策略能够自主关注手和脸等高运动区域，从而过滤掉背景噪声并精确建模关键动作。为了解决时间稀疏性问题，我们进一步引入了一种时间稀疏聚合策略。该方法首先自主选择相邻帧之间最显著的空间信息以捕捉局部动态变化，然后通过关键帧采样仅在信息最丰富的帧上执行全局时间建模。这使得状态空间模型能够绕过冗余段并有效捕捉长距离语义依赖关系。在包括PHOENIX14、PHOENIX14-T和CSL-Daily在内的公共数据集上的实验表明，SignMamba取得了有竞争力的性能，支持了基于语义稀疏性的建模的有效性。

引言：作为高度可视化的交流媒介，手语通过包括手势、面部表情和身体姿势在内的多维信号传达丰富的语义，是聋人社区的主要交流方式。然而，对于非手语使用者来说，手型的微妙变化、复杂的动作轨迹和细微的面部细节往往难以直观理解，从而造成了显著的交流障碍。为了弥合这一差距，出现了连续手语识别（CSLR）领域。与孤立的手势识别不同，CSLR以端到端的方式对整个视频流进行建模，直接将其转换为遵循自然手语顺序的注释序列，从而实现从视觉输入到文本的直接转换（Camgoz等人，2020年）。这种方法更符合实际应用需求，对于促进流畅交流至关重要，但它也带来了重大挑战，如动作边界的模糊性和时空特征的高依赖性（Alyami和Luqman，2024年；Koller等人，2017年；Zhang和Jiang，2024年）。尽管CSLR取得了快速进展，但仔细研究数据会发现一个被现有方法大大忽视的关键固有特性：语义稀疏性（He等人，2024年；Meng等人，2018年）。这一特性指的是信息在空间和时间维度上的高度不均匀分布，这使手语与其他基于视频的任务区分开来。在空间上，语义信息并非均匀分布在整个帧中，而高度集中在手、脸和上半身等关键区域，而广阔的背景包含的信息很少（Ben Slimane和Bouguessa，2021年；Li等人，2022年；Sarhan和Frintrop，2021年）。在时间上，一个完整的手语表达通常由几个标记语义变化的关键帧定义，而绝大多数帧由平滑过渡、短暂暂停或重复动作组成，导致大量冗余（Wang等人，2023年；Xu等人，2018年）。这意味着手语中的语义信息依赖于一组稀疏但信息密集的时空单元，而不是所有像素和帧的均匀贡献。这种固有的语义稀疏性与主流CSLR模型采用的密集处理范式形成鲜明对比，后者将所有像素和帧均匀处理。这种不匹配在计算上可能效率低下，并可能掩盖关键的语义信息。在空间上，虽然视觉变换器（ViTs）（Dosovitskiy等人，2020年；Liu等人，2021年）可以捕捉全局依赖关系，但它们对高分辨率视频的密集像素处理在计算上代价高昂。同样，基于图神经网络（GNNs）的方法（Gan等人，2024年；Han等人，2022年；Ye, Yang, Ma, Wei, Liu, Feng, 2026a；Ye, Yang, Wei, Ma, Huang, Li, 2026b）会产生显著的开销，并可能通过混入无关背景信息而放大噪声。在时间上，大多数方法均匀地对所有帧进行建模，导致计算冗余，可能掩盖潜在的语义轨迹。例如，像SEN（Hu等人，2023b）和CorrNet（Hu等人，2023a）这样的模型可以增强局部时空交互，但它们由于无法区分关键帧和冗余帧而受到限制。虽然一些方法承认时间稀疏性，如AdaBrowse（Hu等人，2023c），但其动态采样方法往往通过省略关键信息而牺牲性能。总之，现有的密集建模范式与手语的固有语义稀疏性之间存在根本性不匹配。这种差异提出了一个核心研究问题：我们如何设计一个框架，既能平衡语义敏感性和计算效率，又能让模型专注于语义密集的关键时空区域，同时保持对整体结构的全局感知？Mamba架构（Gu和Dao，2024年）的出现提供了一个有前途的解决方案。作为一种新的状态空间模型（SSM），Mamba采用选择性扫描机制，以线性时间复杂度有效建模长距离依赖关系。这些见解为在CSLR中实现高效推理和全局时空感知提供了理论基础。基于这些见解，我们提出了SignMamba框架，该框架通过结合空间选择性扫描和稀疏时间聚合的时空架构来建模语义稀疏性。为了解决关注语义关键区域的挑战，我们首先引入了一种运动感知选择性扫描（MotionScan）策略。该策略通过建模相邻帧之间的运动差异来识别和选择性地扫描动作丰富的区域。这种方法不仅能够精确建模手和脸等核心语义区域，还能有效抑制来自冗余背景的噪声。其次，为了解决时间冗余而不丢失关键信息，我们提出了一种稀疏时间建模方法。这种方法结合了利用序列和跳过扫描进行全局语义分析的关键帧选择机制，以及捕捉局部邻域动态的空间感知时间卷积网络（SATCN）。这种双重方法确保了对细粒度局部变化和长距离依赖关系的有效建模。

我们的主要贡献如下：（1）我们提出了一种新的运动感知扫描策略（MotionScan），该策略根据它们的运动重要性选择Top-K区域进行双向选择性扫描。这种方法将建模过程集中在关键动态区域，如手和脸，提高了模型捕获关键信息的能力。（2）我们提出了一种稀疏时间建模方法，该方法结合了用于局部动态的空间感知时间卷积网络（SATCN）和用于信息丰富关键帧的选择性扫描机制。这种双重方法在减轻时间冗余的同时，有效捕获了从局部变化到全局依赖关系的多尺度动态。（3）我们构建了一个完整的SignMamba框架，将这些机制集成到一个分层的时空架构中。我们的框架有效捕获了多维空间特征和复杂的时间依赖关系。在三个公共数据集——PHOENIX14、PHOENIX14-T和CSL-Daily上的实验表明，SignMamba取得了高度有竞争力的性能，支持了我们提出方法的有效性。尽管本研究利用高性能计算平台来探索语义稀疏性的架构潜力，但它为CSLR系统提供了一种平衡高保真识别和降低理论复杂性的潜在途径。

连续手语识别（CSLR）的核心目标是将未分割的手语视频流直接转换为相应的注释序列。这项任务本质上是一个弱监督学习过程，因为它需要在仅提供序列级注释的情况下隐式地定位和识别视频中的手语单元（即序列对齐）。与孤立的手语识别相比，CSLR必须克服三个主要挑战：平滑过渡。

我们的工作基于状态空间模型（SSMs）的理论基础，这些模型最近作为强大的序列建模框架出现。在SSM中，输入序列xk∈R通过潜在状态hk∈RN映射到输出序列yk∈R。其连续时间形式可以用线性常微分方程（ODE）来描述，这一概念最初在HiPPO（Gu等人，2020年）等工作中进行了深入探讨：h˙(t)=Ah(t)+Bx(t)，y(t)=Ch(t)，其中h(·):R→RN表示连续时间潜在状态。

实验设置：我们在以下三个公开可用的手语数据集上评估了我们的模型：PHOENIX14（Koller等人，2015年）：PHOENIX14是一个专注于连续手语识别的德语手语基准数据集。其内容来自九位不同手语者的德国天气预报节目，所有视频都在210×260像素的统一背景中录制。语料库包含6,841个句子，词汇量为1,295个手势。

尽管SignMamba取得了有竞争力的性能和效率提升，但仍存在几个需要进一步研究的限制。首先，目前的实验评估仅限于具有统一背景的受控工作室环境。模型在具有动态背景和变化光照条件的现实世界环境中的鲁棒性仍有待测试。其次，由于目前缺乏专门的边缘计算硬件（例如，移动SoCs），我们的结论是……

在这项工作中，我们发现了手语的固有语义稀疏性与现有CSLR方法中普遍采用的密集建模范式之间的根本不匹配。为了解决这个问题，我们提出了SignMamba，这是一种基于选择性状态空间的新颖分层框架，通过双重稀疏采样有效建模全局上下文。通过引入MotionVSS模块，我们使用运动感知选择性扫描策略来减少空间冗余，使模型能够……

未引用的引用：图1、图2、图4和表11。

作者贡献声明：Xu-Hua Yang：写作 – 审查与编辑、监督、资源管理、项目管理、资金获取、概念化。Gang Wang：写作 – 审查与编辑、撰写初稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。Hong-Xiang Hu：写作 – 审查与编辑、验证、调查、形式分析、数据管理。Dong Wei：写作 – 审查与编辑、验证、调查、形式分析、数据管理。

利益冲突声明：作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢：本工作得到了中国国家自然科学基金（项目编号62176236）和浙江省自然科学基金（项目编号LZ24F030011）的支持。