CDCLAP：面向零样本音频事件分类的高效蒸馏框架

《Neural Networks》：CDCLAP: Efficient Distillation Framework for Zero-Shot Audio Event Classification

　　**摘要要点**- 提出了一种统一的蒸馏框架，集成了语义分布对齐、概率级一致性以及学生模型对比学习，以增强零样本音频事件分类。- 提出了一种跨模态学习策略，利用基于图像的先前知识来强化蒸馏过程中的音频表示迁移。- 提出了一种基于自然语言处理的音频描述增强方法，以丰富语义多样性，从而提高模型在零样本设置下的表示学习能力。## 引言零样本音频事件分类旨在识别训练阶段未见过的类别中的声音事件，其难度远大于传统的有监督声音事件分类方法。该任务在稀有物种检测、安全监控以及智慧城市系统等领域具有广泛的实际应用（Terenzi, Ortolani, Nolasco, Benetos, Cecchi, 2021, Wang, Metze, 2019）。随着物联网技术的快速发展，在耳机、智能手表等边缘设备上进行低延迟、隐私保护推理的需求日益增加，使得对轻量级且高效零样本音频事件分类模型的需求更加迫切。在CLIP（对比语言-图像预训练）在图像-文本任务中取得成功的背景下，音频-文本对比学习范式已成为零样本音频事件分类的主流方法。AudioCLIP（Guzhov等, 2022）通过集成音频编码器扩展了CLIP框架（Radford等, 2021），使模型能够针对未见过的音频类别进行零样本推理。随后，LAION-CLAP（Wu等, 2023b）、Compa（Ghosh等, 2024b）以及MS-CLAP（Elizalde等, 2024）等方法利用数百万个音频-文本训练对并采用更强大的编码器架构，显著提升了性能和泛化能力。大规模音频-文本语料库的开发，如LAION-Audio-630K和WavCaps（Mei等, 2024），为训练此类模型提供了关键支持。这些数据集提供了丰富的声学场景文本描述，使模型能够通过自然语言监督学习具有语义意义的音频表示，从而促进下游任务的零样本推理。然而，诸如CLAP（Elizalde等, 2023）、MS-CLAP和LAION-CLAP等模型令人印象深刻的跨模态迁移能力和高性能，在很大程度上归功于其音频和文本编码器的大量复杂性和参数数量——仅音频编码器就涉及数千万个参数。这使得直接部署到边缘设备变得不切实际。相比之下，轻量级音频编码器受限于有限的模型容量，在对比学习框架中难以匹敌更大模型的性能。知识蒸馏是一种广泛采用的模型压缩技术，用于训练低复杂度模型（Bao, Huang, Gou, Du, Liu, Zhou, Chen, 2024, Hinton, Vinyals, & Dean, Wu, Tian, Tao, Chen, 2025, Zhou, Yuan, Feng, Shi, 2025）。在基于对比学习的蒸馏中，亲和度模拟和权重继承等方法（Wu等, 2023a）旨在缓解不同实例之间的训练不稳定性。然而，这些方法通常涉及较高的计算开销，并且需要数千万参数的模型，使其不适合部署在边缘设备上。TinyCLAP（Paissan和Farella, 2024）通过第一性原理的架构设计和剪枝来降低语言-音频预训练模型的复杂度，将音频编码器压缩到教师模型的6%大小。然而，TinyCLAP存在明显的性能下降问题，且参数数量和浮点运算量仍然较大，随着编码器复杂度的降低这一问题更加明显，使其难以部署在智能音箱或智能手表等嵌入式音频设备上。因此，在便携音频设备上的实际应用部署中，由于性能与模型复杂度之间的权衡，使用轻量级模型实现高效的零样本音频分类仍然是一个重大且未解决的挑战。为解决这一挑战，我们提出了CDCLAP——一种跨模态蒸馏对比语言-音频预训练方法，该方法将知识蒸馏与对比预训练统一起来。CDCLAP利用图像和音频模态之间的结构相似性，并引入基于音频描述的增强来增强特征表示学习。在三个基准数据集上的实验结果表明，CDCLAP不仅超越了大多数基于CLAP的模型，还在基于蒸馏的方法中取得了最先进的性能。本研究的**主要贡献**总结如下：- 我们引入了一个基于自然语言驱动的CLAP模型的蒸馏框架，该框架同时考虑教师和学生表示之间的语义一致性和概率相似性，同时在对比学习框架内保留了轻量级学生的学习能力。- 引入了一种跨模态学习策略，利用基于图像的先前知识来提高轻量级音频模型在零样本音频事件分类蒸馏过程中的表示能力。- 进一步引入了一种音频描述增强策略，以丰富对比训练过程中的语义监督信息，提升轻量级学生模型的表示能力。## 章节概要### 相关工作我们回顾了三个密切相关领域的最新研究进展——零样本音频事件分类、知识蒸馏和音频表示增强，以便将所提方法置于现有文献的背景中。### 方法本部分首先介绍所提方法的总体框架，以清晰概览方法的结构，随后详细介绍各组成部分，包括对比表示学习、蒸馏学习、表示增强和知识迁移。### 实验所提出的CDCLAP通过大量实验进行了评估。本节首先介绍数据集和实验设置，然后进行与基线方法的比较实验和消融实验以验证设计原理。### 结论本研究提出了CDCLAP，一种跨模态蒸馏学习框架，统一了图像知识迁移和数据描述增强用于零样本音频事件分类。实验验证了CDCLAP在多个评估指标上优于现有的基于蒸馏的方法以及大多数对比学习模型，在轻量级模型上取得了最先进的结果。未来的研究将把CDCLAP扩展到具有噪声和事件重叠的开集声音识别。### CRediT作者贡献声明**陈飞：** 撰写——审阅与编辑，撰写——初稿，可视化，软件，资源，方法论。**薛辉：** 撰写——审阅与编辑，验证，监督，项目管理，资金获取。**方鹏飞：** 撰写——审阅与编辑，验证，监督。### 利益冲突声明作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。### 致谢本工作得到了国家自然科学基金（编号：62476056）、江苏省社会发展科技项目（编号：BE2022811）以及中央高校基本科研业务费（编号：2242025K30024）的资助。此外，本工作也得到了东南大学大数据计算中心的支持。---**陈飞 | 薛辉 | 方鹏飞**