去混淆与解耦：一种用于少样本动作识别的因果可解释方法

《Expert Systems with Applications》：Deconfounding and Decoupling: a Causal Interpretable Method for Few-shot Action Recognition

　　摘要：少样本动作识别旨在通过学习有限数量的基类样本来识别新类别的动作。现有方法通常采用专业的时序匹配策略来解决事件对齐问题。然而，这些方法忽略了空间特征表示中不可测混杂因素带来的偏差，从而导致模型产生虚假关联。这促使我们设计了一种新的可因果解释的方法（D2CIM）用于少样本动作识别，该方法实现了视频空间特征的解耦以及任务的去混淆。具体而言，我们首先构建了一个空间解耦模块（DCP），将视频空间特征分解为与任务相关的运动主体特征（前景）和与场景相关的干扰特征（背景）。接着，设计了一种自适应聚合机制来生成更精细的空间上下文特征。然后，这些特征作为前门调整中的中介节点。我们基于所设计的结构因果模型构建了一个空间去混淆模块（DCF），以减轻预训练中继承的潜在先验偏差。最后，我们优化了时序匹配模块（TMM），用于建模视频帧之间的时序信息。在四个流行的少样本动作识别基准测试上的大量实验表明，我们的D2CIM性能显著优于多种现有的先进方法。特别是在Kinetics、UCF101、HMDB51和SSv2这四个数据集的5路1次采样设置下，该方法的准确率分别达到了79.7%、92.5%、66.3%和40.2%。