简单且易于理解的音视频广义零样本学习

《Neurocomputing》：Simple and interpretable audio-visual generalized zero-shot learning

　　摘要：音视频广义零样本学习旨在通过建模视频与音频模态之间的关联，同时识别已知和未知类别。现有方法大多依赖预训练的特征提取器，其输出存在光谱冗余现象：少数维度就能捕获大部分方差，而大量维度带来的贡献则微乎其微。这些方法还需运用复杂的跨模态融合与对齐机制，其内部计算过程难以追踪，且不利于实际应用。为解决这些问题，我们提出了一种基于约翰逊-林登斯特劳斯定理的随机投影方法，作为与数据无关的信息瓶颈以减少特征冗余；一种无参数的维度对齐步骤，用于解决异构音频与视觉特征维度不匹配的问题；以及一种基于哈达玛积的轻量级融合策略，以实现高效的音视频交互，我们将这些组件整合到一个统一的框架中。在三个基准数据集（VGGSound-GZSL、UCF-GZSL和ActivityNet-GZSL）上的大量实验表明，我们的方法在多项评估指标上均优于现有的最先进方法。

引言：音视频零样本学习旨在利用音频和视觉信号等多模态输入，将已知类别的语义知识迁移至未知类别，从而在缺乏这些未知类别的标记样本的情况下对视频实例进行分类。在实际应用中，模型需要同时识别已知和未知类别，这促使人们研究更为现实但更具挑战性的广义零样本学习。在音视频数据背景下，广义零样本学习要求模型不仅能有效对齐和整合不同模态的信息，还要在包含已知和未知类别的联合标签空间中保持强大的泛化能力。早期的音视频广义零样本学习方法，如CJME[24]和AVGZSLNet[18]，侧重于将多模态特征投影到与文本标签对齐的共享语义嵌入空间中。这些方法通常采用三元组或对比损失来增强类别间的可区分性，但由于依赖静态融合方案，难以捕捉精细的跨模态交互。为克服这一限制，后续研究如AVCA[22]引入了交叉注意力机制，使得音频和视觉线索能够更灵活地整合，从而更好地与语义表示对齐。在此基础上，更多近期研究加入了时间模块和生成模块，进一步提升模型的泛化能力。例如，TCAF[21]模拟了特定模态的时间模式，AVFS[29]利用对抗训练从高斯噪声中合成未知类别的特征，MDFT[16]则借助脉冲神经网络和塔克分解来编码稀疏时间信号，实现高效的特征融合。近期在音视频广义零样本学习领域的研究通过提升跨模态对齐能力和泛化性能取得了显著进展，但这些改进往往以模型复杂性增加、计算开销增大以及依赖多个辅助目标或架构组件为代价。为降低这种复杂性，近期研究探索了更为简洁的替代方案。一个典型例子是EZ-AVGZL[23]，它表明单一的监督对比损失就足以让音视频特征与其对应的文本嵌入对齐，无需多阶段训练或精心调整的融合策略。尽管这是迈向极简主义的重要一步，但这些方法仍然严重依赖于CLIP[25]或I3D[3]等预训练特征提取模块。基于上述观察，我们提出了一种简单且可解释的音视频广义零样本学习框架，直接解决了特征冗余和复杂融合策略这两个问题。本文中所说的“可解释”是指结构上的透明性：从编码器输出到融合表示的每个阶段都是具有封闭形式表达式的固定线性或逐元素运算，因此整个转换过程在数学上是可以追踪的，且不涉及需事后分析行为的任何学习型跨模态机制；我们并非指事后语义归属意义上的可解释性。图1展示了与我们之前方法的对比。我们的方法包含三个核心组件：（1）基于随机投影的压缩模块，该模块以约翰逊-林登斯特劳斯定理为基础，能够在大致保持成对距离的同时减少预训练特征的光谱冗余；（2）一种无参数的维度对齐步骤，可将异构的音频和视觉流映射到同一个维度空间，从而解决否则会阻碍逐元素融合的维度不匹配问题；（3）一种基于哈达玛积的融合策略，用简单而有效的逐元素交互替代了成本较高的融合机制[14]、[15]、[17]。首先，为解决预训练主干特征提取器带来的光谱冗余问题，我们采用了基于随机投影的降维技术，该技术得到了约翰逊-林登斯特劳斯定理的理论支持。这种非参数技术能将原始特征映射到低维空间，同时大致保持成对距离。正如我们在4.3.4节（表5）中所展示的，超过95%的音频特征方差可由不到20%的原始维度捕获，这说明预训练编码器的输出接近于一个低维子空间。作为与数据无关的信息瓶颈，随机投影在降低表示复杂性的同时保留了主要的几何结构。接着，我们再次应用非参数随机投影，将音频和视觉流映射到同一个维度嵌入空间。这第二步的主要作用是结构上的：由于音频和视觉编码器输出的特征维度不同，因此无法直接进行逐元素的哈达玛融合。现有的音视频广义零样本学习方法通常不会将这种维度对齐视为独立的设计步骤，而是将其与可训练的融合模块结合在一起，这就引入了额外的可学习参数。我们的第二种随机投影则通过固定的随机矩阵来实现这种对齐，从而使整个融合流程无需参数。最后，当两种模态都处于同一个维度空间后，我们用哈达玛积替代了传统的点积注意力机制来融合音视频信息，这种方式能以低得多的计算成本实现逐元素的跨模态交互。以下是我们所做贡献的总结：•据我们所知，我们首次对音视频广义零样本学习编码器输出中的光谱冗余进行了定量分析，结果表明超过95%的音频特征方差可由不到20%的原始维度捕获，同时我们证明了随机投影作为一种与数据无关的信息瓶颈，能够带来显著的谱规整效果（条件数减少了150到530倍）。•我们指出音频和视觉编码器输出之间的维度不匹配是阻碍逐元素融合的结构障碍：如果不解决这一问题，基于哈达玛积的多模态融合在数学上是无法定义的。我们引入了第二种随机投影，无需可学习参数即可解决这种不匹配问题；据我们所知，这是首次在音视频广义零样本学习框架下将维度对齐视为独立的、无参数的设计步骤，从而使逐元素的哈达玛融合在结构上成为可能，进而实现了简单、轻量的多模态融合策略，非常适合在资源受限的环境中部署。•在三个标准的音视频广义零样本学习基准数据集上进行的全面实验表明，我们的方法始终优于现有方法，能在显著降低复杂性的前提下实现最先进的性能。

零样本学习：零样本学习旨在通过将已知类别的语义知识迁移过来，从而识别训练过程中未见过的类别。在广义零样本学习中，一个主要挑战是在测试时模型存在严重的偏向已知类别的现象。苏等人[27]通过学习区分已知和未知样本，使得在联合标签空间中的预测更加均衡。从表示层面来看，陈等人[6]提出了语义解耦方法，将视觉特征分解为……

问题陈述：在音视频广义零样本学习中，训练数据包含三种模态：视觉模态、音频模态以及相应的类别标签，共同构成训练集，其中所有样本都属于已知类别。在测试时，模型会接收视觉和音频输入，并在包含已知和未知类别的标签空间上进行联合分类。为使模型能够泛化到未知类别，它需要学习类别标签与联合音频-视觉特征之间的关联。

实验：在本节中，我们将评估所提方法的有效性。内容安排如下：实验设置、与最先进方法的比较以及消融实验。

结论：我们提出了一种简单且结构透明的音视频广义零样本学习框架，该框架基于三个核心理念：（i）随机投影作为与数据无关的信息瓶颈，可减少预训练编码器输出的光谱冗余；（ii）一种无参数的维度对齐步骤，可解决异构音频和视觉特征之间的维度不匹配问题，从而使无需可学习对齐参数的逐元素哈达玛融合在结构上成为可能；（iii）……

CRediT作者贡献声明：梁远负责写作——审阅与编辑、写作——初稿、方法论、形式分析。李旭星负责写作——审阅与编辑、写作——初稿、可视化、验证、方法论、研究。葛凤祥负责写作——审阅与编辑、监督、资金获取。

利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢：本文得到了中国国家自然科学基金的支持，项目编号为62271059。梁远拥有云南师范大学数学与应用数学学士学位以及云南民族大学计算数学硕士学位，目前在中国北京师范大学攻读计算数学博士学位。

梁远|李旭星|葛凤祥
中国北京师范大学数学科学学院，新街口外路17号，北京100088