《Electronics》：SST-Net: Spatiotemporal Collaborative Attention for Sign Language Recognition
编辑推荐：
在复杂环境中，手语识别（Sign Language Recognition, SLR）易受背景杂乱、运动模糊和快速移动的影响。这些因素会掩盖细微的手势模式，并削弱识别所需的判别性时空特征。为应对这些挑战，研究人员提出SST-Net，一种用于SLR的时空协同
在复杂环境中，手语识别（Sign Language Recognition, SLR）易受背景杂乱、运动模糊和快速移动的影响。这些因素会掩盖细微的手势模式，并削弱识别所需的判别性时空特征。为应对这些挑战，研究人员提出SST-Net，一种用于SLR的时空协同注意力增强（Spatiotemporal Collaborative Attention Enhancement）框架。首先，协调门控空间-通道注意力（Coordinated Gated Spatial-Channel Attention, CGSA）引入依赖于输入的动态门控来融合空间注意力与通道注意力，而非采用固定的融合权重。其次，时序特征子模块（Temporal Feature Submodule, TFM）与空间特征子模块（Spatial Feature Submodule, SFM）均利用帧间差异，但使用方式不同：TFM增强对运动敏感的时序特征，而SFM则抑制运动主导的成分以保留空间细节；两者均通过特征重加权（Feature Reweighting）进一步细化。最后，在CSL-100、INCLUDE和AUTSL数据集上的实验表明，SST-Net相比强基线模型提升了2至4个百分点的准确率，同时仅使用35M参数量和115 GFLOPs的计算量，在识别性能与计算代价之间展现了具有竞争力的平衡。
**论文解读**
**一、研究背景与存在问题**
手语识别（Sign Language Recognition, SLR）是计算机视觉领域的重要研究方向，旨在自动将手语视频转换为文本或语音输出，以促进听障群体与健听人群之间的无障碍交流。尽管已有研究取得了显著进展，但在复杂环境中，SLR仍面临诸多挑战。背景干扰（Background Clutter）、光照变化、运动模糊（Motion Blur）以及快速手势运动等因素会掩盖细微的手势模式，削弱判别性时空特征的表征能力，从而降低识别精度。
现有研究主要沿两个方向展开。其一是基于骨架（Skeleton-based）的识别方法，通过人体姿态估计提取关键点坐标，利用几何约束减少背景噪声。然而，此类方法高度依赖姿态估计的准确性，且往往需要复杂的图建模。其二是多模态融合（Multimodal Fusion）方法，例如将RGB视频与骨架数据以双流网络相结合，兼顾运动精度与上下文语义。但这类方法常面临跨模态对齐困难与计算冗余的问题。相比之下，纯RGB输入无需额外的辅助模型即可保留更丰富的视觉信息，但也更容易受到环境干扰，且缺乏有效增强关键时空区域的机制。
在模型架构方面，基于Transformer的模型虽然具备强大的全局建模能力，但通常计算代价较高且对细粒度局部细节的捕捉能力较弱。基于卷积神经网络（CNN）的架构如SlowFast，通过双通路（Dual-Pathway）设计将空间与时序建模显式分离，然而其对关键区域的判别能力与细粒度时空建模仍有提升空间。综上，SLR领域的一个核心挑战在于：如何在不过多牺牲计算效率的前提下，增强关键时空区域的表征能力。
**二、研究人员开展的工作与意义**
为应对上述挑战，研究人员提出SST-Net（Spatiotemporal Collaborative Attention Enhancement Framework），即时空协同注意力增强框架。该框架包含两大核心组件：协调门控空间-通道注意力（Coordinated Gated Spatial-Channel Attention, CGSA）与时空特征优化模块（Spatiotemporal Feature Optimization Module）。CGSA在空间-通道注意力中引入依赖于输入的动态门控机制，可根据每帧和区域的重要性自适应调整空间注意力与通道注意力的融合比例。时空特征优化模块由时序特征子模块（Temporal Feature Submodule, TFM）与空间特征子模块（Spatial Feature Submodule, SFM）构成。TFM将相邻帧差异视为运动证据，利用可学习的帧权重增强具有较强手势动态的时序特征；SFM则从当前帧的卷积特征中减去差分运动成分，抑制运动主导的区域以保留相对稳定的空间细节。两者输出均通过特征重加权进一步细化。
SST-Net在CSL-100（含100个常用词的中国手语数据集，约5000个样本）、INCLUDE（含263个手语词、4287段视频的印度手语数据集，其子集INCLUDE-50含50个高频词）和AUTSL（含226个孤立词、43位演示者、38336段视频的土耳其手语数据集）三个公开基准上进行了系统评估。实验结果表明，SST-Net在多个强基线上提升2至4个百分点的准确率，同时仅使用35M参数量和115 GFLOPs（Giga Floating-Point Operations）计算量，在识别性能与计算效率之间取得了具有竞争力的平衡。该工作为纯RGB输入的SLR提供了一种有效的时空特征建模框架，具有重要的理论价值和实际应用前景。
**三、主要关键技术方法**
本研究以SlowFast50为基线（Backbone），采用双通路设计：慢通路（Slow Path）以低帧率采样（4帧输入）捕获细粒度语义信息与空间纹理，快通路（Fast Path）以高帧率采样（32帧输入）强调瞬时运动线索。骨干网络使用Kinetics-400预训练权重初始化。提出的CGSA模块采用全局-局部双通路设计生成通道注意力：全局分支通过全局平均池化（Global Average Pooling）与两个逐点卷积（Pointwise Convolution）建模通道间依赖，局部分支则直接在原始特征上施加卷积以保留细粒度信息；空间注意力则并行使用最大池化与平均池化，经1×7×7卷积生成空间注意力图。CGSA通过时序门（Temporal Gate）与空间门（Spatial Gate）实现自适应融合，其中时序门使用时序全局平均池化与逐点卷积生成运动感知系数。TFM和SFM分别插入快通路与慢通路的首层之前，利用帧间差分（Inter-frame Differencing）和特征重加权进行时空特征优化。训练时所有输入帧缩放至256×256并随机裁剪至224×224，采用稀疏采样策略构建64帧输入序列，使用SGD优化器训练100个轮次（Epoch），配合余弦退火与热重启（Cosine Annealing with Warm Restarts）的学习率调度策略，重启周期设为33。
**四、研究结果**
**（1）CGSA的影响**
研究人员在INCLUDE-50数据集上以SlowFast为基线进行消融实验，验证CGSA的有效性。与CBAM和SCM（即不含门控单元的空间-通道注意力模块）等注意力设计进行比较。结果显示，相较于无注意力的基线，添加CBAM和SCM分别将Top-1准确率提升2.02%和2.23%；SCM比CBAM进一步高出0.21个百分点。加入门控单元后，两种注意力设计均获得约1个百分点的额外提升，完整CGSA配置达到91.45%的最高准确率。热力图可视化进一步表明，CGSA有效抑制了背景激活，使网络响应集中于精细手部轮廓与运动轨迹，验证了自适应特征融合在复杂场景下提升识别鲁棒性的作用。
**（2）TFM和SFM的影响**
在INCLUDE-50上评测TFM和SFM的效果。将TFM插入快通路首层前，准确率提升1.49个百分点；而插入慢通路则导致准确率下降0.37个百分点，表明TFM更适配高帧率输入通路。反之，SFM插入慢通路提升2.61个百分点，插入快通路仅提升0.38个百分点，与其保留稳定结构信息的角色一致。当SFM插入慢通路、TFM插入快通路联合使用时，模型达到91.08%准确率。可视化显示，SFM突出整体活跃区域，TFM则依据运动信息对帧重要性进行差异化加权。
**（3）TFM和SFM放置位置的影响**
在INCLUDE-50上考察SFM和TFM不同嵌入位置的效果。结果表明，将任一模块置于网络前端（Head，即首层之前）可获得最佳结果，SFM为90.71%，TFM为89.59%。早期插入使模块能在高层语义特征变得高度抽象之前对原始时空流进行细化，降低低层冗余（如静态背景噪声和无关抖动）。而插入网络中部（Mid）或末端（Tail）时性能下降，可能由于深层特征已具有高度抽象的语义表征。
**（4）Weight Process模块中卷积层数的影响**
在INCLUDE-50上评估TFM中Weight Process模块的卷积层数。结果显示，使用1层卷积时准确率最高，达到89.59%；不使用卷积层时降至87.36%，表明原始差分特征保留了过多噪声且缺乏充分的可学习变换；使用2层卷积时准确率降至87.94%，表明过度压缩可能去除有用细节。
**（5）各模块的整体影响**
研究人员系统评估了CGSA、TFM、SFM在SlowFast骨干上的整体效果。在单模块变体中，CGSA带来最大性能增益，准确率提升3.35个百分点，计算量仅增加3.8%。单独添加SFM或TFM分别提升2.61和1.49个百分点，计算量略有增加而参数量几乎不变。三个模块全部组合的完整SST-Net达到91.82%准确率（基线为88.10%），参数量仅增加1.3M，计算量增加3.02 GFLOPs。需注意，91.08%仅为SFM+TFM的配置结果，91.82%为包含CGSA的完整配置。
**（6）CGSA的泛化性**
将CGSA作为即插即用（Plug-and-Play）模块分别集成到R3D、I3D和SlowFast三种骨干网络中，在INCLUDE-50上进行评估。结果显示，CGSA提升了所有三种基线模型的识别准确率，表明该模块具有良好的架构兼容性，能够弥补标准三维卷积网络在时空建模能力方面的不足。
**（7）TFM和SFM的泛化性**
将TFM和SFM集成到R3D、I3D和SlowFast中进行评估。对单通路模型，两模块以并行方式插入首层之前；对双通路SlowFast，按主设计插入。三种骨干网络在添加时空特征优化模块后均获得准确率提升，其中SlowFast提升最大，Top-1准确率增加2.98个百分点，表明两模块与双通路设计具有良好匹配性。
**（8）与当前最优方法的比较**
在CSL-100上，SST-Net达到98.67%准确率，相比最强RGB基线F-ContiNet-R(2+1)D-ConvLSTM提升2.17%，相比传统C3D模型提升8.94%。在INCLUDE-50上，SST-Net的完整配置达到91.82%，超出Aug-Bert Transformer 1.79个百分点；在完整INCLUDE数据集上达到87.53%，仅比HCBSLR低0.14个百分点，但参数量（35M对约129M）和计算量（115 GFLOPs对约150 GFLOPs）分别降低约72.9%和23.3%。在AUTSL上达到87.09%，比C3D高5.14个百分点，比TimeSFormer高1.20个百分点；相比Swin3D-T（87.93%）仅低0.84个百分点，但计算量从约160 GFLOPs降至115 GFLOPs，降低约28.1%。
**五、讨论与结论**
SST-Net通过CGSA实现了空间注意力与通道注意力的输入依赖式动态融合，克服了传统固定融合权重在应对复杂手语动作时的局限性。TFM和SFM利用相同的帧间差分信息但以相反策略加以利用——增强运动敏感特征与压制运动噪声以保留空间细节——共同构成了互补性的时空特征优化机制。实验表明，完整SST-Net以较小的参数量和计算代价获得具有竞争力的识别性能，在纯RGB输入的SLR方法中表现出良好的性能-效率平衡。
**研究结论（翻译）**：为解决环境干扰下细粒度时空特征建模困难的问题，研究人员提出SST-Net。该框架使用协调门控空间-通道注意力（CGSA）自适应融合空间显著区域与通道语义特征，同时包含由TFM和SFM构成的时空特征优化模块。两个子模块通过差分卷积和特征重加权，在早期特征提取阶段增强运动信息和空间细节。在CSL-100、INCLUDE和AUTSL上的实验表明，SST-Net相比多个强基线模型提升2%至4%的准确率，同时在参数量（35M）与计算代价（115 GFLOPs）之间保持良好平衡。总体而言，SST-Net为基于RGB的SLR提供了一种有效的时空特征建模框架。未来工作将聚焦于轻量化部署以及基于图卷积或自监督学习的跨模态时空对齐。同时，手部快速遮挡或极端光照变化下性能可能下降，未来的研究将探索自监督预训练与针对性数据增强以提升这些条件下的鲁棒性。
