基于超聚类的解耦变分信息瓶颈方法用于少样本类增量音频分类

《Neurocomputing》：Disentangled variational information bottleneck with hyper-cluster for few-shot class-incremental audio classification

　　肖晓鹏|胡键勇|任兴晨|胡一帆|林俊伟中国青岛，266520，青岛理工大学信息管理学院摘要少样本类增量音频分类（FCAC）面临的一个重大挑战是在数据稀缺的情况下，如何让模型适应依次出现的新型类别，同时保留原有的知识。现有方法往往因为特征纠缠和原型偏差这两个主要限制而难以在稳定性与灵活性之间取得平衡。为了解决这些问题，本文提出了一种强大的框架——具有超聚类的解耦变分信息瓶颈模型（VIB-D-HC）。首先，为了提升稳定性，设计了解耦变分信息瓶颈（VIB-D）核心结构。通过引入梯度反转层（GRL），构建对抗性极小极大游戏，VIB-D能够有效过滤掉无关的风格因素，同时在潜在空间中保留简洁的、具有类别区分度的语义。其次，为了解决数据稀疏情况下的灵活性问题，设计了超聚类（HC）策略，通过基于Mixup的凸包插值来构建密集的特征流形。最后，采用非参数局部度量推理机制，对这些增强后的流形进行稳健匹配。在LS-100（语音）和NSynth-100（音乐）基准测试上的大量实验表明，所提出的框架取得了最先进的性能。特别是在纹理丰富的NSynth-100数据集上，其平均准确率达到了96.53%，而在LS-100上的性能下降率仅为5.29%。复杂度分析进一步证实，该框架无需进行任何增量参数更新，因此非常适合用于实时智能边缘音频应用。源代码可在https://github.com/keyonghu/VIB-D-HC获取。引言音频识别对于准确解读声学环境至关重要。它在各种智能系统中发挥着关键作用，包括城市安全监控[1]、[2]、工业故障诊断[3]以及智能医疗监测[4]。此外，它还支持先进的人机交互[5]、[6]以及基于上下文的服务，比如基于位置的音乐推荐[7]。现代音频感知模型在封闭式场景中取得了显著的成功，因为在这些场景中，声音词汇在训练期间是预先定义且固定的。这一进展得益于深度学习的快速发展[8]，催生了诸如大规模CNN[9]、音频频谱图变换器[10]、自监督框架[11]以及基于位置的语音映射网络[12]等强大架构。然而，现实世界的声学环境本质上是开放且动态的。部署在野外的音频应用不可避免地会遇到依次出现的新颖声学事件，比如工厂中的新机器故障或罕见的环境声音。传统的静态模型在这些场景下表现不佳：它们要么无法识别新概念，要么需要从零开始进行计算成本极高的重新训练。此外，由于隐私问题和存储限制，这种重新训练往往在实际操作中不可行。这一限制促使人们转向少样本类增量音频分类（FCAC）这一新思路。在FCAC中，模型必须仅使用少量标注样本，不断适应依次出现的新型类别，同时保留之前学习到的基础类别的区分能力。FCAC的重要性在于它对智能边缘计算的直接影响。在实际应用场景中，诸如工业故障检测器[3]或智能安全传感器[2]之类的声学监控设备，通常在不受限制的环境中运行，那里会出现异步出现的新事件。这些边缘设备通常受到严格的能源和内存限制。因此，由于高延迟、带宽成本以及隐私风险[13]，标准的完整模型重新训练或基于云的微调并不实用。尽管现有的FCAC方法试图缓解这些问题，但它们往往依赖于计算成本较高的结构扩展，或者仍然极易受到复杂环境噪声的影响。本文提出的框架的主要目标是为这些边缘系统提供真正的设备端进化能力。与以往的FCAC方法不同，通过利用所提出的内在解耦和流形近似技术，该方法使边缘设备能够以极低的计算开销，从极其有限的样本中快速掌握新的声学概念，同时还能保持对复杂环境噪声的高抗性。尽管有这些实际优势，但由于稳定性与灵活性之间的矛盾[14]，实现设备端进化仍然是一个重大的科学挑战。来自计算机视觉领域的通用类增量学习（CIL）方法在音频领域往往表现不佳，这是因为频谱特征具有高度的连续性和复杂的时间依赖性[13]、[15]。最近的音频专用方法探索了双分支架构[16]、[17]、原型优化[18]、[19]、多视图融合[20]以及分类器集成[21]。虽然这些方法提升了稳定性，但它们通常忽视了阻碍少样本性能的两个根本限制：特征纠缠和原型偏差。首先，那些依赖全局特征提取器的现有方法，默认认为所学到的表示仅仅是具有区分度的。然而，音频信号本质上与类别无关的变化因素是相互纠缠的，比如背景噪声、信道特性以及说话者风格[22]、[23]。如果没有内在的解耦机制，这些表示就会将与任务无关的风格信息与类别语义一起编码进去。当使用少量数据适应新型类别时，模型往往会过度拟合这些风格因素，从而导致泛化能力较差。其次，标准的推理方法通常使用单个原型来表示一个类别，比如支持集的平均特征向量。在数据极度稀缺的情况下，单一点估计无法捕捉到底层分布的复杂拓扑结构和类别内部方差。这种限制被称为单一原型偏差[24]，它会导致决策边界变得僵化，使得在声学上相似的类别之间产生严重混淆。为了解决这些挑战，本文提出了一种强大的框架——具有超聚类的解耦变分信息瓶颈模型（VIB-D-HC）。与以往依赖结构扩展或外部数据增强的方法不同，该框架侧重于表示的内在净化以及类别流形的几何重建。为了解决特征纠缠问题，设计了一种带有梯度反转层（GRL）[25]的解耦变分信息瓶颈（VIB-D）核心结构。通过在信息瓶颈框架内建立极小极大对抗游戏[26]，VIB-D能够有效过滤掉与类别无关的风格因素，同时将表示压缩到最具区分度的语义核心。为了解决原型偏差问题，采用了超聚类（HC）策略。该方法没有依赖可能有偏见的点估计，而是利用基于Mixup的凸包插值[27]为每个新型类别构建密集的特征流形。这有效地将稀疏的支持样本扩展成一个紧密的簇，从而实现了能够弥补数据稀疏造成的决策差距的、基于流形的稳健局部度量推理。为了明确地将本文的贡献置于神经表示和连续学习系统的背景下，本文的关键创新点总结如下：•主要创新在于将FCAC范式从外在的结构扩展转变为内在的表示净化。通过将变分信息瓶颈（VIB）[26]与对抗学习[25]、[28]相结合，本文提出了VIB-D核心结构。这一机制为连续学习架构提供了信息论视角：它能够明确去除无关的风格因素，从而在环境噪声下保留纯粹的、具有区分度的语义。•为了解决数据极度稀缺情况下的单一原型偏差问题，设计了HC策略。该策略通过凸包插值[27]构建密集的特征流形，并为单样本场景设计了基于方差的备用机制。这样可以确保在不依赖僵化点估计的情况下，获得稳健的类别表示。•受最近类均值（NCM）分类器[29]的启发，设计了一种非参数局部度量推理机制。该方法不更新参数化的分类器，而是通过局部搜索从增强后的簇中检索出k个最近的邻居。这样既能避免基础知识的灾难性遗忘，又能保持对新型类别的高灵活性。•在LS-100（语音）和NSynth-100（音乐）基准测试上的大量实验表明，所提出的框架在准确率和稳定性方面都取得了最先进的性能。这些结果验证了解耦和流形近似策略的有效性。本文的其余部分安排如下：第2节回顾相关研究，第3节详细介绍所提出的方法，第4节展示实验结果及分析，第5节对全文进行总结。相关工作本节回顾了三个主要领域的相关文献：少样本学习（FSL）、CIL以及FCAC。FSL旨在从有限的标记样本中识别新概念。现有方法大致可分为两类：基于优化的方法和基于度量的方法。基于优化的模型，如MAML[30]和MetaOptNet[31]，通过元梯度更新找到最优的参数初始化，从而能够在最少的步骤中快速对新任务进行微调。相反，基于度量的方法……图1展示了所提出的VIB-D-HC框架。它主要由一个在基础类别上预训练过的VIB-D核心结构组成，该结构用于提取稳健的表示；以及一个用于为少样本增量推理构建密集特征流形的HC策略。实验本节通过全面的实验来评估所提出的框架。首先详细介绍了在两种不同的音频模式——LS-100（语音）和NSynth-100（音乐）——上的实验设置。随后，通过与最先进的竞争方法的广泛对比，证明了该方法在平衡稳定性与灵活性方面的优势。此外，详细的消融研究验证了VIB-D核心结构和HC策略的独立贡献。最后，通过定性可视化……结论本文提出了VIB-D-HC作为一种用于FCAC的稳健框架。通过将VIB与对抗学习相结合，VIB-D核心结构成功地将不变的类别语义与无关的风格因素解耦，从而从根本上避免了灾难性遗忘。此外，所提出的HC策略通过密集插值来近似类别流形，有效解决了少样本场景中的原型偏差问题。在LS-100和NSynth-100上的实证结果证明了该框架的有效性。CRediT作者贡献声明肖晓鹏：撰写——初稿、软件、方法论、概念设计。胡键勇：撰写——审阅与编辑、指导、资金获取。任兴晨：验证、数据整理。胡一帆：可视化、研究分析。林俊伟：撰写——审阅与编辑、形式分析。利益冲突声明作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。致谢本研究得到了中国国家自然科学基金项目61902205以及山东省自然科学基金项目ZR2023MF052的支持。肖晓鹏于2024年在中国青岛的青岛理工大学获得了计算机科学与技术学士学位。他目前正在该校信息管理学院攻读电子信息硕士学位，研究兴趣包括音频信号处理和机器学习。