基于多尺度膨胀特征融合与解耦时空注意力池化的动作识别方法

《Electronics》：Action Recognition Method Based on Multi-Scale Dilated Feature Fusion and Decoupled Spatiotemporal Attention Pooling

　　

视频动作识别需要联合建模空间外观信息和时间动态。然而，现有的基于二维卷积（2D convolution）的高效动作识别方法在表示多尺度空间线索（multi-scale spatial cues）和聚合关键时空信息（key spatiotemporal information）方面仍存在局限性。为解决这些问题，本文提出了一种基于多尺度膨胀特征融合与解耦时空注意力池化的动作识别网络，称为MDSTA-Net。该方法采用TSM（Temporal Shift Module）作为基本时间建模框架，并以ResNet-50作为骨干网络。首先，设计了一个多尺度膨胀特征融合模块（MSDF：Multi-Scale Dilated Feature Fusion），通过具有不同膨胀率（dilation rate）的并行卷积分支构建连续多尺度感受野，并进一步引入自适应分支聚合机制（adaptive branch aggregation mechanism）动态融合不同尺度的响应，从而增强局部细节和更广泛上下文信息的表示。其次，提出了一个解耦时空注意力池化模块（DSTAP：Decoupled Spatiotemporal Attention Pooling），用于沿时间维度建模关键动作帧，沿空间维度建模显著判别区域，并加入残差池化路径（residual pooling path）以保留全局语义信息，提升视频级动作表示的判别能力。在三个公开数据集（Something-Something V2、Kinetics-400和HMDB51）上的实验结果表明，与几种代表性方法相比，MDSTA-Net取得了良好的识别性能。消融研究进一步验证了MSDF和DSTAP的有效性，表明多尺度空间特征增强和关键时空信息聚合能有效提升动作识别性能。

视频动作识别是视频理解领域的重要任务，旨在从连续视频序列中识别人类动作，广泛应用于智能监控、人机交互和工业安全管理等领域。与图像识别不同，动作识别不仅需要单帧的空间外观信息，还需要跨帧的时间动态信息。因此，提取判别性时空特征对于提升动作识别性能至关重要。

近年来，深度学习方法推动了视频动作识别的显著进展。双流网络通过分别建模RGB外观信息和光流运动信息建立了基本范式；三维卷积网络实现了空间与时间的联合建模；基于二维卷积的轻量级时间建模方法在计算效率与识别精度间取得了良好平衡；基于Transformer的方法利用自注意力机制捕获长程时空依赖关系。这些研究促进了动作识别模型从局部运动捕捉到复杂时空语义理解的发展。

然而，现有方法仍然面临两个主要局限。第一，基于二维卷积的高效时间建模方法通常通过通道移位、时间差分或局部时间交互引入跨帧信息，部分缓解了二维网络时间建模能力有限的问题，但在高层语义特征提取中仍主要依赖固定尺度的卷积进行空间建模，难以根据动作内容自适应调整感受野。对于细粒度动作（如手部操作、头部姿态变化），模型需要关注细微局部变化；对于大范围身体运动、人-物交互或与环境密切相关的动作，模型需要捕获更广阔的空间上下文。单一感受野或固定尺度特征提取策略无法有效兼顾局部细节与全局结构，可能导致关键动作线索表示不足。第二，视频级动作表示通常通过将帧级或时空特征聚合为全局特征获得。传统全局平均池化简单高效，但为所有帧和空间位置赋予相同权重，忽略了它们对动作分类的不同贡献。在实际视频中，判别性动作信息往往仅出现在少数关键帧或显著局部区域（如动作发生时刻、手与物体接触区域、人体姿态显著变化区域）。若直接使用均匀池化，关键动作帧和显著区域的响应可能被背景信息、静态外观和冗余时空特征稀释，降低视频级表示的判别能力和稳定性。

为解决上述问题，本文提出了一种基于多尺度膨胀特征融合与解耦时空注意力池化的动作识别网络，称为MDSTA-Net。该方法采用TSM（时间移位模块）作为基本时间建模框架，以ResNet-50作为骨干网络。具体地，设计了一个多尺度膨胀特征融合模块（MSDF）以增强多尺度空间线索的表示，并提出了一个解耦时空注意力池化模块（DSTAP）以建模关键时间帧和显著空间区域，从而获得更具判别性的视频级动作表示。论文发表在《Electronics》。

在开展研究时，研究人员主要采用了以下关键技术方法：基于TSM和ResNet-50骨干网络，设计了多尺度膨胀特征融合模块（MSDF），通过不同膨胀率（dilation rate）的并行卷积分支构建连续多尺度感受野，并引入自适应分支聚合机制（ABAM）动态融合不同尺度响应；提出了解耦时空注意力池化模块（DSTAP），分别沿时间和空间维度建模关键帧和显著区域，并结合残差池化路径保留全局语义。样本队列来源为三个公开数据集：Something-Something V2（174类精细时间动作）、Kinetics-400（400类通用动作）、HMDB51（51类复杂场景动作）。

研究结果如下：

4.2.1 在Something-Something V2数据集上的比较：使用8帧输入，MDSTA-Net达到Top-1准确率63.6%、Top-5准确率89.0%，相比基线TSM分别提升4.8和3.6个百分点，优于其他基于ResNet-50的二维动作识别方法，表明MSDF和DSTAP增强了细粒度时间动作表示。

4.2.2 在Kinetics-400数据集上的比较：MDSTA-Net取得Top-1准确率77.8%、Top-5准确率93.5%，相比TSM提升3.7%和2.3%，在大型动作识别任务中保持竞争性泛化能力。

4.2.3 在HMDB51数据集上的比较：MDSTA-Net达到Top-1准确率61.2%，相比TSM提升6.5%，优于其他对比方法，验证了MSDF和DSTAP在复杂视频条件下提升动作表示的能力。

4.3 效率分析：在8帧输入下，MDSTA-Net的参数量和计算量（FLOPs）与其他高效二维动作识别网络相当，同时取得最高Top-1准确率，展示了良好的精度-效率权衡。

4.4 消融研究：在Something-Something V2上以TSM为基线进行消融。4.4.1 MSDF和DSTAP的有效性：单独添加MSDF使准确率从58.8%提升至61.3%，单独添加DSTAP提升至62.7%，两者结合达到63.6%，证明两者分别通过多尺度特征增强和关键时空信息聚合提升性能。4.4.2 DSTAP组件分析：时间注意力、空间注意力、联合注意力及残差池化路径均贡献性能提升，且联合建模和时间与空间注意力互补，残差池化路径保留全局语义提供额外增益。4.4.3 MSDF自适应融合策略分析：自适应融合（63.6%）优于求和、平均、拼接等固定融合策略，说明根据输入动态调整多尺度分支权重更有效。4.4.4 膨胀率设置分析：在Something-Something V2和HMDB51上，膨胀率组合{1,2,3}（有效感受野3,5,7）取得最佳结果，表明连续适中感受野更有利于多尺度空间特征表示。

4.5 可视化分析：特征分布可视化显示MDSTA-Net的同类样本更紧凑、类间边界更清晰；时间注意力权重可视化显示模型对动作关键帧（如物体释放与下落阶段）赋予更高权重；空间响应图对比显示MDSTA-Net在“假装捡起东西”动作中，响应集中于手部、玻璃杯及其交互区域，且随动作进程动态变化，说明模型能自适应强调时空判别性线索。

总结讨论部分：本文提出了MDSTA-Net以解决视频动作识别中多尺度空间线索表示不足和关键时空响应被稀释的问题。该方法采用TSM作为基本框架，通过MSDF模块构建多尺度空间感受野，通过DSTAP模块建模时间和空间显著性，从而增强视频级动作表示的判别能力。在Something-Something V2、Kinetics-400和HMDB51上的实验结果表明，MDSTA-Net相比几种代表性方法取得了良好的识别性能。消融研究验证了MSDF和DSTAP的有效性，可视化分析进一步展示了模型在特征分布和关键帧响应方面的优势。总体而言，所提方法在保持二维卷积网络计算效率的同时，改进了多尺度空间结构和关键时空信息的建模。未来工作将聚焦于轻量级模型设计、更全面的类别级和失败案例分析，以及复杂场景下的部署。