BiASTM-CL：基于双向自适应时空建模和对比学习的少样本动作识别技术 黄静（Jing Huang） 赵子健（Zijian Zhao）

《Electronics》：BiASTM-CL: Bidirectional Adaptive Spatiotemporal Modeling with Contrastive Learning for Few-Shot Action Recognition Jing Huang and Zijian Zhao

　　摘要 在少样本动作识别（FSAR）中，有限的标注数据和大的场景变化使得模型难以学习稳定的空间语义和可靠的时间动态。因此，时空表示通常较弱，模型往往无法专注于区分性的运动区域或准确捕捉帧与帧之间的变化。此外，局部细节和全局背景的融合不足使得学习到的特征更容易受到背景噪音和场景偏差的影响。当背景杂乱严重或不同动作类别在局部有相似的部分时，这些问题变得更加明显，导致支持-查询匹配不可靠以及相似性分布的偏移，最终导致类别混淆。为了解决这些问题，我们提出了一种结合对比学习的双向自适应时空建模方法。该方法构建了基于注意力的双向差异特征来模拟具有语义对齐的帧间变化，同时抑制背景噪音。它引入了局部-全局交互式通道注意力模块来加强局部和全局动态表示，并在元组级别匹配期间整合动态距离调整和困难样本挖掘。这种组合施加了对比约束，增强了类别内的紧凑性和类别间的可分离性，从而减少了来自跨类别相似部分的干扰。在标准的5次1样本/5次样本协议下的实验表明，该方法在多个数据集上都取得了持续的改进，并且在5次样本设置下取得了最佳性能，同时在1次样本设置下也保持了竞争力。

1. 引言
视频动作识别在实际场景中取得了显著进展，例如智能安全[1]和异常检测[2]。最近的应用还扩展到了工厂安全监控[3,4]、医疗保健中的跌倒检测[5]、手术工作流程理解[6]以及体育视频分析[7]。它严重依赖于大规模标记数据，因此在其数据稀缺的场景中适用性受限。因此，少样本动作识别（FSAR）已成为一个活跃的研究课题，旨在仅使用少量标记样本来识别新的动作类别。与图像识别相比，动作识别需要处理更高维度的数据结构，因此面临两个关键挑战：时间连续性和空间变异性。近年来，时空特征建模取得了显著进步，为FSAR奠定了基础[8,9,10,11,12,13]。大多数FSAR方法采用度量学习范式，通过学习共享的嵌入空间并测量支持集和查询集之间的相似性来实现跨类别迁移。代表性的FSAR研究主要集中在时间对齐、结构化匹配和度量学习上，而最近的研究则继续改进了FSAR中的特征可迁移性和时空表示学习[14,15,16]。现有方法实现了有希望的识别性能，并继续增强时空建模，但它们仍然面临两个主要挑战。首先，动作通常随时间演变并表现出复杂的空间结构，仅依靠少数关键帧或局部细节很难描述完整的动态。其次，一些动作在视觉上相似但在语义上不同；这些差异通常只表现在少数关键帧或细粒度区域内。使用固定度量的传统方法可能无法稳健地捕捉到这些细微差异，导致类别间的混淆和辨别能力减弱。为了解决这些问题，我们提出了一种称为双向自适应时空建模与对比学习（BiASTM-CL）的新少样本动作识别方法。该方法构建了基于注意力的双向差异特征来模拟具有语义对齐的帧间变化，同时抑制背景噪音。它引入了局部-全局交互式通道注意力模块来加强局部和全局动态表示，并在元组级别匹配期间整合动态距离调整和困难样本挖掘。这种组合施加了对比约束，增强了类别内的紧凑性和类别间的可分离性，从而减少了来自跨类别相似部分的干扰。在标准5次1样本/5次样本协议下的实验表明，该方法在多个数据集上均取得了持续的改进，并且在5次样本设置下实现了最佳性能，同时在1次样本设置下也具有竞争力。

2. 相关工作
2.1. 少样本学习
少样本学习（FSL）旨在使用少量标记样本来训练具有强大泛化能力的深度学习模型。它广泛应用于数据稀缺的场景，如动作识别、图像分类和医学诊断。大多数FSL方法大致可以分为三种范式：基于记忆的、基于优化的和基于度量的方法。
基于记忆的方法引入外部记忆来存储和重用跨任务的知识，缓解当前任务中标记样本的缺乏。MM-Net[17]将可微记忆模块与匹配网络架构相结合，使模型能够在适应新任务时快速检索从前一任务中学到的相关表示。
基于优化的方法设计了针对少样本设置的学习程序或模型结构，允许仅从少量标记示例中进行快速参数调整。MetaNODE[18]将类别原型视为可优化变量，并用神经常微分方程来模拟它们的演变，以便高效灵活地更新类别中心。
基于度量的方法通过学习判别性嵌入空间和适当的距离度量来执行支持样本和查询样本之间的匹配。Prototypical Networks[19]为每个类别构建一个原型向量，并将查询实例嵌入到相同的特征空间中。然后通过测量查询特征和类别原型之间的欧几里得距离来进行分类，从而便于识别未见过的类别。

2.2. 少样本动作识别
少样本动作识别（FSAR）是视频理解中的一个重要少样本学习（FSL）任务。其目标是在仅有少量标记支持示例的情况下识别新的动作类别。由于视频注释成本高昂且类别分布往往不平衡，FSAR近年来受到了越来越多的关注。大多数现有方法采用度量学习，在情节化训练中学习共享的特征空间和相似性度量以进行支持-查询匹配和向新类别的知识转移[20,21]。时间建模是FSAR的核心，许多现有方法通过时间对齐或结构化时空建模来改进支持-查询匹配。TRX[22]使用元组级别匹配来减少时间偏移和速度差异的影响。TRX-IDP[23]进一步引入了图像差异金字塔来捕捉更细致的时间变化。HyRSM[24]和TA2N[25]采用分阶段对齐来减少由动作持续时间和节奏变化引起的不匹配。OTAM[26]使用动态时间规整（DTW）进行序列对齐以实现更结构化的时间匹配。TEAM[27]探索了一种无需显式时间对应关系的对齐自由匹配范式。FTAN[28]研究帧与帧之间的对齐和时间循环偏移，从而提高了对时间不一致性的鲁棒性。提高特征质量对于可靠的相似性计算也很重要。STRM[15]结合了局部补丁线索和全局帧上下文，利用有限的标签学习更具辨别力的特征。MoLo[16]使用多尺度对比学习将全局语义与局部运动线索联系起来，从而改善了类别分离。FICAMA[29]使用自适应度量聚合使相似性得分更加稳定。TSA-MLT[30]添加了特定于任务的对齐和多层次时间特征学习，以更好地描述复杂的动作动态。
尽管上述方法在FSAR方面取得了显著进展，但仍存在一些挑战。一方面，现有的时空表示学习往往难以同时保留细粒度的局部线索和捕捉长距离的全局动态，特别是在强背景杂乱或明显的长时间演变下。另一方面，抑制来自跨类别相似部分的干扰仍然不够充分：高度相似但在语义上不同的子序列以及背景线索可能会产生误导性的高相似性响应，从而导致支持-查询相似性分布的扭曲和在细粒度比较中的不匹配。这些观察结果突显了需要更强的时间变化建模、更自适应的局部-全局特征整合以及具有自适应距离校准的干扰感知相似性学习。

3. 方法
为了增强复杂时空场景中少样本动作识别的建模能力和辨别性能，我们提出了一种结合对比学习的双向自适应时空建模方法。如图1所示，我们的方法遵循第2节问题声明中定义的情节化元学习设置，使用子序列级单元作为基本的建模元素。注意力引导的帧间差异机制（AGID）和局部-全局交互式通道注意力模块（LGICA）共同捕获来自双向差异特征的全球和局部动态。此外，DACM模块改进了支持集和查询集之间的相互相似性估计和对比学习，从而增强了模型捕捉复杂时间动态和区分细粒度动作类别的能力。
图1. 我们方法的总体框架。对于每个输入视频序列，我们遵循TSN[31]中的稀疏时间采样策略，从每个视频中采样T帧。支持集表示为?? ={??1,??2,…,????}，查询集表示为?? ={??1,??2,…,????}。支持集和查询集中的每一帧都通过特征提取网络进行处理，以获得帧级特征。

3.1. 注意力引导的帧间差异机制
为了更好地捕捉动作执行过程中的主体运动并减少传统帧差异模型中来自无关区域的干扰，我们提出了一种注意力引导的帧间差异机制（AGID）。如图2所示，AGID通过引入帧间注意力来扩展传统的帧差异，使差异计算更具语义指导性，从而更关注与动作相关的区域。
图2. 注意力引导的帧间差异机制的示意图。特别是，AGID使用帧间注意力机制来模拟当前帧与相邻帧之间的语义关系，从而增强了相邻帧特征之间的语义一致性。给定输入特征序列????=[?????(1),?????(2),…,?????(??)]，（1）其中?????(??)表示第??帧的特征表示，T是序列长度，AGID使用两个引导分支来模拟相邻帧之间的语义关系：前向引导分支从当前帧特征生成查询，并从相邻帧特征生成键和值。通过计算?? →?? +1的帧间注意力权重，加权并重构相邻帧特征，得到语义增强的下一帧特征^?????(??+1)。后向引导分支对称地模拟从?? +1 →??的注意力，产生当前帧特征的语义增强版本，表示为^?????(??)。
为了减轻由于相邻帧之间的轻微空间不一致性导致的不稳定差异响应，AGID在差异之后引入了一个深度可分离卷积运算符???( ·)作为轻量级的局部过滤步骤。这个操作不是执行显式的空间对齐，而是一个局部过滤步骤，它聚合了邻近响应并抑制了孤立的噪声激活，从而提高了差异特征的稳定性。前向差异描述了从?? →?? +1的动态变化，而后向差异捕获了从?? +1 →??的动态变化，定义如下：???????=??(^?????(??+1)??????(??))，???????=??(^?????(??)??????(??+1))。（2）其中???????和???????分别代表注意力引导的前向和后向差异特征。作为互补的双向动态线索，它们被输入到后续的时空模块中进行融合。这有助于模型更好地捕捉随时间的变化和帧与帧之间的语义关系。

3.2.**本地-全局交互式通道注意力模块（Local-Global Interactive Channel Attention Module, LGICA）**

不同的通道对运动的响应方式各不相同。有些通道对短的、局部的变化反应更敏感，而另一些通道则更关注随时间变化的全局动作语义。基于这一点，我们在双向差分特征的基础上引入了本地-全局交互式通道注意力（LGICA）模块。与简单的本地和全局分支的并行组合不同，LGICA 明确地模拟了本地通道依赖性与全局通道上下文之间的相互作用，从而为后续的空间注意力提供更具区分性的引导。

如图 3 所示，LGICA 以前向差分特征 ??????? ∈???×??×?? 作为输入，其中 C 是通道的数量，?? 和 ?? 分别表示空间尺寸。我们首先应用全局平均池化来压缩空间信息，得到一个通道级的描述符向量 ??????。该向量反映了当前差分特征中每个通道的总体响应强度，同时保持了通道间的区分性。

LGICA 构建了两个互补的分支分别用于本地和全局通道建模。在本地分支中，我们沿通道维度应用一维卷积（1D convolution）到池化的通道描述符 ?????? 上，以聚合附近的通道并产生 ?????????。全局分支直接对差分特征 ??????? 应用二维卷积（2D convolution），以捕捉更广泛的通道上下文，然后通过全局平均池化进一步压缩得到的特征，得到全局通道表示 ?????????。

重要的是，LGICA 的有效性并不来自于直接连接或简单求和这两个分支的结果。相反，它是通过互相关（cross-correlation）来明确建模本地和全局通道表示之间的交互的：

$$
\mathbf{A} = \mathbf{G}_{cam} \cdot \mathbf{L}_{cam}^T
$$

其中，$\mathbf{G}_{cam}$ 表示全局通道表示，$\mathbf{L}_{cam}$ 表示本地通道表示。通过联合利用 $\mathbf{A}$ 及其转置 $\mathbf{A}^T$，我们对 $\mathbf{A}$ 进行逐行求和以提取行向量信息，对 $\mathbf{A}^T$ 进行求和以提取列向量信息，然后使用这些信息来计算全局通道注意力权重 $\mathbf{G}_{cam}\mathbf{W}$ 和本地通道注意力权重 $\mathbf{L}_{cam}\mathbf{W}$。在注意力融合过程中，引入了一个可学习的权重因子 $\mathbf{\theta}$ 并与 Sigmoid 激活函数 $\sigma(\cdot)$ 结合使用，以自适应地调整两个通道注意力项，最终得到融合后的通道权重 $\mathbf{W}$：

$$
\mathbf{W} = \sigma(\sigma(\mathbf{\theta}) \cdot (\mathbf{G}_{cam}\mathbf{W}) + (1-\sigma(\mathbf{\theta}) \cdot (\mathbf{L}_{cam}\mathbf{W})
$$

通过这种方式，LGICA 可以更有效地校准通道响应，同时考虑短范围的局部运动变化和更广泛的全局动作语义，而不仅仅依赖于简单的双分支聚合方案。然后利用融合后的通道权重来重新校准输入的前向差分特征，即调整特征图的通道级响应：

$$
\mathbf{D}^* \mathbf{F} = \mathbf{W} \cdot \mathbf{D}
$$

其中 $\mathbf{D}^* \mathbf{F}$ 表示经过通道增强的前向差分特征，⊙ 表示元素间的乘法操作，这增强了与动作变化密切相关的区分性通道响应。

通道增强的前向差分特征进一步用于空间注意力建模。通过对空间维度应用 Softmax 操作，得到前向空间注意力图 $\mathbf{S}^2 \mathbf{F}$，该图捕捉了前向运动变化的空间显著性分布。后向空间注意力图 $\mathbf{S}^1 \mathbf{F}$ 也是通过类似的方法从后向差分特征得到的；由于设计上的对称性，这里不再重复描述。

最后，前向和后向空间注意力图共同参与时空特征融合，以产生增强的表示：

$$
\mathbf{T} = \lambda \cdot (\mathbf{S}^2 \mathbf{F} + \mathbf{S}^1 \mathbf{F}) + \mathbf{F}
$$

其中 $\lambda$ 是一个可学习的系数，用于平衡原始特征和增强特征的贡献。

**3.3 动态距离调整对比学习模块（Dynamic Distance Adjustment Contrastive Learning Module, DACM）**

在少样本动作识别中，不同类别通常包含许多在外观上相似但在语义上不同的子序列。这种干扰在元组级匹配时尤为明显，导致模型将局部相似性误认为是类别一致性。为了解决这个问题，我们在 TRX 框架的基础上开发了动态距离调整对比学习模块（DACM）。通过明确引入类内和类间结构约束以及对比学习，DACM 减少了跨类别相似子序列造成的混淆。

具体来说，如图 4 所示，在进行帧级特征提取和时间分组后，我们将查询视频表示为一组查询元组：$\{\mathbf{T}_q^1, \mathbf{T}_q^2, \ldots, \mathbf{T}_q^L\}$，其中 $L$ 表示查询元组的数量。每个元组 $\mathbf{T}_q^i \in \mathbb{R}^d \times \mathbb{D}$ 对应一个由 $\mathbb{d}$ 帧组成的局部时间片段。类似地，让 $\mathbf{T}_c, \mathbf{T}_s^j$ 表示来自类别 $c$ 的第 $j$ 个支持元组。我们首先计算第 $i$ 个查询元组与类别 $c$ 的第 $j$ 个支持元组之间的基础元组级距离：

$$
\mathbf{d}_{cq}^i, j = \mathbb{d}_{cq}^i, j = \sum_{k \in \mathbf{T}_c} \mathbf{d}_{cq}^k, \mathbf{T}_k
$$

为了纳入类别级结构信息，我们进一步定义了两个针对查询元组 $\mathbf{T}_q^i$ 的类别感知参考距离。首先是元组级别的类内平均距离：

$$
\mathbf{d}_{cq}^i, j_{\text{intra}} = \sum_{k \in \mathbf{T}_c} \mathbf{d}_{cq}^k, \mathbf{T}_k
$$

这个项衡量了查询元组与类别 $c$ 内所有支持元组的平均距离，而不是与其他同类别视频的距离。因此，即使在 N 折 1-样本设置中，$\mathbf{d}_{cq}^i, j_{\text{intra}}$ 也是明确定义的，因为可以从类别 $c$ 的单个支持视频中提取多个时间元组。

其次是类间参考距离，它衡量查询元组与任何非目标类别的支持元组之间的最小距离：

$$
\mathbf{d}_{cq}^i, j_{\text{inter}} = \min_{k \notin \mathbf{T}_c} \mathbf{d}_{cq}^k, \mathbf{T}_k
$$

基于这两个量，我们定义类别 $c$ 中第 $j$ 个支持元组的动态调整距离为：

$$
\mathbf{d}_{cq}^i, j = \mathbf{d}_{cq}^i, j + \lambda \cdot \mathbf{d}_{cq}^i, j_{\text{intra}} - \mu \cdot \mathbf{d}_{cq}^i, j_{\text{inter}}
$$

其中 $\lambda$ 和 $\mu$ 是超参数，分别控制类内元组聚合项和类间分离项的贡献。我们使用类内平均值来反映目标类别的整体一致性，而最小类间距离用于捕捉最令人困惑的非目标竞争者。这样，元组级别的距离不仅由候选支持元组本身校准，还由查询元组与支持类别之间的整体结构关系校准。

随后，我们定义目标类别的相似性为：

$$
\mathbf{S}_q^i, j = -\mathbf{d}_{cq}^i, j
$$

这样，较小的调整距离对应较大的相似性。然后选择目标类别中相似性最高的支持元组作为对比学习的正样本。相应地，我们构建了正类支持表示 $\mathbf{T}_c^s^j$，其中 $\mathbf{T}_c^s^j$ 表示与 $\mathbf{T}_q^i$ 最匹配的目标类别的支持表示。

来自相似子序列的干扰通常来自那些比正样本更相似的负类片段。因此，DACM 明确地挖掘了高度相似的负样本。对于任何非目标类别 $c' \neq c$，我们计算第 $i$ 个查询元组与类别 $c'$ 的第 $k$ 个支持元组之间的跨类别相似性：

$$
\mathbf{S}_{cq}'^i, k = \langle \mathbf{\psi}_{cls}^i, k, \mathbf{T}_c^i, k \rangle
$$

其中 $\mathbf{\psi}_{cls}^i(\cdot)$ 表示投影头，$\langle \cdot, \cdot \rangle$ 表示内积。如果 $\mathbf{d}_{cq}^i, k > \max_{j \in \mathbf{T}_c} \mathbf{d}_{cq}^k, j$，则将支持元组视为高度相似的负样本。

当上述条件成立时，我们构建负类支持表示 $\mathbf{T}_c'^s^j$，其中 $\mathbf{T}_c'^s^j$ 表示来自非目标类别 $c'$ 的高度相似的支持表示。这明确限制了“比正类更相似”的跨类别干扰，鼓励模型在最具混淆性的子序列上扩大区分边界。

基于构建的正类支持表示 $\mathbf{T}_c^s^j$ 和负类支持表示 $\mathbf{T}_c'^s^j$，DACM 在查询元组上使用对比学习损失进行优化：

$$
\mathcal{L}_{DACM} = -\sum_{i = 1}^L \log_{max_j \in \mathbf{T}_c} \max_{\mathbf{T}_c} (\mathbf{d}_{cq}^i, j, \mathbf{T}_c^s^j, j)
$$

这个损失鼓励查询元组与正类之间的高匹配分数，同时抑制对高度相似负样本的匹配响应，从而减少了跨类别相似子序列对识别准确性的影响。最后，DACM 损失与原始的 TRX 损失共同优化，整体目标定义为：

$$
\mathcal{L} = \mathcal{L}_{TRX} + \varphi \cdot \mathcal{L}_{DACM}
$$

其中 $\varphi$ 是一个损失权重系数，用于在训练期间平衡分类目标和对比约束的相对贡献。

**4. 实验**

**4.1 数据集**

我们在三个具有代表性的公共动作识别数据集上进行了实验，以评估所提出的方法。UCF101 [32] 包含 101 个动作类别和 13,320 个视频。场景相对清晰，类别之间的区分较容易，因此它是少样本动作识别的常见基准。HMDB51 [33] 包含 51 个日常动作类别，大约有 6,766 个来自真实世界镜头的视频。由于频繁的模糊和遮挡，它被广泛用于评估模型的鲁棒性。Something-Something V2 [34] 包含 174 个细粒度的动作类别，主要以手-物体交互为主，涵盖超过 168,000 个短片段。它强调时间依赖性和微妙的语义差异，被广泛用于动作识别和视频理解研究。图 5 展示了这三个数据集中的示例动作实例。

**4.2 实验设置**

为了确保公平比较，我们使用 ResNet-50 作为特征提取器。所有实验都在 NVIDIA GeForce RTX 5090 D GPU 上使用 PyTorch v2.3.1 和 CUDA v11.8 实现。对于每个视频，我们均匀采样 $\mathbf{T} = 8$ 个片段，并将每帧大小调整为 224 × 224。我们将学习率设置为 2 × 10^-4，批量大小设置为 16，参数 $\mathbf{\lambda} = \mathbf{\mu} = 0.3$ 和损失权重 $\mathbf{\mu} = 0.2$。我们在 UCF101、HMDB51 和 Something-Something V2 上评估我们的方法，重点关注 5 折 1-样本和 5 折 5-样本的少样本动作识别设置。为了减少随机性的影响并提高可重复性，所有实验都在三个不同的随机种子上重复进行三次，并且报告的结果为平均准确率 ± 标准差。在这些实验中，网络架构、输入分辨率、采样帧数和优化设置保持不变，只有随机种子不同。

**4.3 消融实验**

我们对 AGID、LGICA 和 DACM 在两个基准数据集 UCF101 和 HMDB51 上进行了消融研究。我们使用 TRX 作为基线。我们分别评估每个模块，同时也评估了包含所有模块的完整模型。这些实验考察了每个模块对时间建模和时空特征学习的影响。

**4.3.1 AGID 和 LGICA 的验证**

表 1 报告了 AGID 和 LGICA 的消融结果。两个模块单独使用时都有效，每个模块都带来了相对于基线的明显改进。AGID 主要增强了时间差分建模，而 LGICA 则改进了通道级别的特征表示。尽管在某些设置下结合这两个模块的边际增益相对较小，但它们的联合使用在两个数据集上都取得了最佳的整体结果，表明它们之间存在互补但不是强烈的叠加关系。

**4.3.2 DACM 的有效性验证**

表 2 报告了 DACM 的消融结果。结果表明，DACM 通过减少元组级匹配时跨类别相似子序列的影响，提高了动作类别之间的区分度。当 DACM 与 AGID 结合使用时，性能进一步提高，表明可靠的时间差分建模和具备干扰感知的相似性学习是互补的。

**4.3.3 AGID 中的 ?? 操作的验证**

为了进一步验证 ?? 操作在 AGID 中的有效性，我们比较了带有和不带 ?? 的完整 AGID。结果在表 3 中报告。表 3 显示，移除 ?? 操作会导致所有设置下的性能下降。这表明 ?? 通过提高差分特征的稳定性对 AGID 有积极贡献。因此，?? 更好地被视为一个轻量级的局部过滤步骤，而不是一个显式的运动补偿机制。

**4.3.4 DACM 超参数分析**

为了评估类内紧凑性因子 $\mathbf{\lambda}$ 和类间可分离性因子 $\mu$ 在 DACM 中的影响，我们在基线（TRX）+ DACM 设置下进行了超参数分析，结果报告在表 4 中。我们观察到，适度增加 $\mathbf{\lambda}$ 和 $\mu$ 通常会提高性能，最佳结果出现在 $\mathbf{\lambda} = 0.3$ 和 $\mu = 0.3$ 时。

**4.3.5 DACM 组件消融**

为了进一步分析 DACM 中每个组件的贡献，我们将其分为两部分：动态距离调整（公式（10）和对比约束（公式（13））。我们在与 TRX 基线相同的训练和评估设置下进行了消融实验，并将结果报告在表 5 中。仅启用动态距离调整可以通过结合类内紧凑性和类间分离来校准元组级距离，这有助于减少由跨类相似子序列引起的匹配偏差。仅启用对比约束则侧重于难负样本，并加强类别间的分离，进一步抑制来自高度相似的跨类片段的干扰。当同时启用这两个组件时，DACM在1-shot和5-shot设置下的两个数据集上都表现出最佳性能，表明距离级校准和对比目标相互补充。表5显示了DACM组件的消融研究结果。“Distance Adjustment”表示仅启用了方程（10）中的动态距离调整，“Contrastive Constraint”表示仅启用了方程（13）中的对比约束，“DACM”表示同时启用了这两个组件。除列出的组件外，所有其他训练和评估设置均与TRX基线保持一致。?/ ×分别表示组件是启用/禁用（准确率，%）。

4.3.6. 采样帧数对性能影响分析
为了研究采样帧数对性能的影响，我们在UCF101数据集上进行了5-way 1-shot设置的实验。使用第3节中相同的基于片段的采样协议，我们从每个视频中均匀采样2到10帧并将其输入模型进行评估。如图6所示，随着提供的帧数增加，分类准确率通常会提高。从2帧到8帧，性能稳步提升，在8帧时达到峰值。当帧数进一步增加（例如，增加到9或10帧）时，准确率略有下降，这表明适当的帧数（例如8帧）使模型能够更好地利用时空信息以获得最佳性能。

4.4. 对比实验
4.4.1. AGID与常规帧差分方法的比较
为了验证AGID的贡献，我们在相同的训练配置下将其与常规帧差分方法进行了比较。常规帧差分直接计算相邻帧特征之间的差异。AGID结合了帧间注意力作为语义引导，从而抑制背景噪声并提高差分特征的一致性和可区分性。如表6所示，在基线上添加常规帧差分可以提升两个数据集的准确率，确认了对帧间变化进行建模的有用性。当我们在相同设置下用AGID替换它时，准确率再次提高，表明帧间语义引导可以为识别提供更稳定和丰富的运动表示。

4.4.2. LGICA与其他注意力机制的比较
为了评估LGICA是否比现有的注意力模块更有效，我们保持所有其他训练和评估设置不变，并用SE、CBAM和ECA进行替换比较。如表7所示，LGICA在1-shot/5-shot设置下在UCF101和HMDB51上均取得了最佳性能，始终优于SE、CBAM和ECA。

4.4.3. 与代表性方法的比较
表8将BiASTM-CL与UCF101、HMDB51和SSV2上的代表性少样本动作识别方法在标准5-way 1-shot和5-shot设置下的性能进行了比较。对于BiASTM-CL，结果以平均准确率及其标准差的形式报告。在5-shot设置下，BiASTM-CL在UCF101上的准确率为97.4% ± 0.2%，在HMDB51上为78.8% ± 0.3%，在SSV2上为61.7% ± 0.4%。在1-shot设置下，其准确率分别为84.3% ± 0.4%、57.8% ± 0.5%和38.8% ± 0.6%。这些结果表明，BiASTM-CL在5-shot设置下在所有三个数据集上都取得了最佳性能，同时在1-shot设置下也具有竞争力。总体而言，这些结果证明了BiASTM-CL的有效性和统计稳定性。

4.4.4. 参数、FLOPs和推理时间的分析
为了评估我们BiASTM-CL的实际效率，我们在表9中将其与代表性少样本动作识别方法在参数数量、FLOPs和推理时间方面进行了比较。如表9所示，我们的方法需要51.3 M个参数和213 G FLOPs。与TRX和STRM相比，BiASTM-CL仅引入了适度的模型复杂性增加。同时，报告的推理时间仍然具有可比性，表明所提出的方法保持了实际效率。

4.4.5. 可视化分析
在5-way 5-shot设置下，图7展示了两个混淆矩阵。每个矩阵都表现出强烈的对角优势，表明模型在少样本评估下仍能很好地区分类别。非对角线值并没有在许多类别之间广泛分散；相反，大多数错误集中在一组视觉相似类别之间的混淆中。此外，对角线值在类别间相对一致，变化很小，表明模型没有对任何单一类别表现出强烈的偏好。总体而言，混淆矩阵遵循表中报告的准确率趋势，进一步支持了模型预测的稳定性和可靠性。

5. 结论
我们提出了一个少样本动作识别框架，该框架结合了双向自适应时空建模和对比学习。该框架旨在在标签数据有限的情况下捕捉视频中的局部运动变化和全局语义关系。它由三个主要组件组成：注意力引导的帧间差分（AGID）、局部-全局交互式通道注意力（LGICA）和动态距离调整的对比学习（DACM）。AGID通过帧间注意力提高时间一致性，LGICA通过联合建模局部和全局通道关系来增强表示质量，DACM通过减少相似子序列的干扰来 refine 相似性估计。在UCF101、HMDB51和SSV2上的实验结果表明，所提出的方法在5-shot设置下取得了最佳性能，同时在1-shot设置下也具有竞争力。消融研究进一步验证了AGID、LGICA和DACM的有效性。总体而言，所提出的方法为少样本动作识别提供了一个有效且高效的解决方案，证明了时空特征细化和对比学习的结合对此任务是有益的。