《Smart Cities》：Acoustic Intelligence with Multi-Stage Model Optimization for Environmental Sound Classification
编辑推荐：
环境声音分类是智能城市感知系统的重要组成部分，支持城市噪声分析、公共安全监测和实时态势感知等应用。然而，高精度模型通常难以部署在低功耗边缘设备上，因为受到内存、计算和延迟限制。本研究旨在通过开发一种轻量级压缩管道来弥补这一部署差距，该管道用于一种混合卷积和Ko
环境声音分类是智能城市感知系统的重要组成部分，支持城市噪声分析、公共安全监测和实时态势感知等应用。然而，高精度模型通常难以部署在低功耗边缘设备上，因为受到内存、计算和延迟限制。本研究旨在通过开发一种轻量级压缩管道来弥补这一部署差距，该管道用于一种混合卷积和Kolmogorov–Arnold网络（KAN）的模型。所提出的管道包含三个阶段。首先，应用结构化通道剪枝来移除冗余卷积滤波器，同时保留硬件高效密集运算。其次，对计算量最大的层（即第三卷积层和全连接层）应用选择性量化感知训练（QAT）。第三，使用知识蒸馏（KD）在基线模型指导下训练压缩模型以恢复准确率。实验在ESC-10、ESC-50、FSC22和UrbanSound8K上进行。所提出的管道将平均参数数量从511,033减少到50,774，并缩小了模型尺寸，同时在所有基准测试中保持了竞争性准确率。最终模型在ESC-10上保持了96.75%的基线准确率，而在ESC-50上准确率仅从88.25%下降到86.50%，在FSC22上从87.92%下降到86.38%，在UrbanSound8K上从85.13%下降到84.52%。这些结果表明，所提出的压缩管道为资源受限设备上的实时音频分类提供了有效的精度-效率权衡。因此，最终的压缩模型支持分布式声学感知系统的可扩展部署，用于实时智能城市监测和决策制定。
环境声音分类（ESC）是智能城市感知系统的重要组成部分，支持城市噪声分析、公共安全监测和实时态势感知等应用。然而，高精度模型往往因内存、计算和延迟限制而难以部署在低功耗边缘设备上。现有研究多聚焦于单一压缩技术或传统卷积神经网络（CNN），而混合架构的多阶段压缩策略尚未被充分探索。针对这一部署差距，研究人员提出了一种多阶段压缩管道，用于优化基于CNN和Kolmogorov–Arnold网络（KAN）的混合模型（CNN-PSK），以实现在资源受限设备上的高效实时音频分类。该研究在四个公开基准数据集（ESC-10、ESC-50、FSC22和UrbanSound8K）上进行了实验，验证了管道的有效性。结果表明，该管道将平均参数数量从511,033减少到50,774，模型尺寸显著缩小，同时保持竞争性准确率：在ESC-10上准确率保持96.75%，在ESC-50上仅从88.25%降至86.50%，在FSC22上从87.92%降至86.38%，在UrbanSound8K上从85.13%降至84.52%。最终压缩模型（Micro CNN-PSK）支持在智能城市环境中大规模部署分布式声学传感系统，用于实时监测和决策。该论文发表在《Smart Cities》上。
研究人员为开展研究主要采用了以下关键技术方法：首先，基于L1范数准则对CNN-PSK模型的卷积层进行结构化通道剪枝，移除80%最不重要的滤波器，以降低参数和计算复杂度；其次，对第三卷积层和全连接层应用选择性8位整数量化感知训练（QAT），保留自定义池化层和Wav-KAN层的浮点精度；最后，采用离线知识蒸馏（KD），以原始未压缩的CNN-PSK模型作为教师，指导压缩后的学生模型恢复准确率。样本队列来源包括ESC-10、ESC-50、FSC22和UrbanSound8K四个公开数据集。
**4.1. 消融实验（Ablation Experiments）**
为分析各压缩技术的独立贡献，研究人员在ESC-50数据集上进行了消融实验。通过单独和组合应用通道剪枝、QAT和知识蒸馏，发现：通道剪枝单独应用时，参数减少约88%，计算复杂度降低约95%，准确率下降约2.5%；QAT单独应用时，参数几乎不变，但计算复杂度降低约38%，准确率下降约1.25%；知识蒸馏单独应用（在剪枝或QAT后）可恢复约1-2%的准确率而不影响效率指标。组合剪枝和QAT时，参数减少约88%，计算复杂度降低约96.6%，准确率下降约2.75%，而加入蒸馏后准确率恢复1%，最终准确率接近基线。这些结果验证了剪枝是效率提升的主要贡献者，QAT进一步缩小模型尺寸，蒸馏则有效恢复性能。
**4.2. 整体性能与效率对比**
研究人员展示了未压缩模型和压缩变体在四个数据集上的分类准确率（表3）和效率指标（表4）。未压缩的CNN-PSK基线模型在ESC-10、ESC-50、FSC22和US8K上分别达到96.75%、88.25%、87.92%和85.13%的准确率。经过剪枝后，准确率略有下降，但参数从511,033降至50,876，FLOPs从438.59 MFLOPs降至21.55 MFLOPs，推理时间从1.110 ms降至0.407 ms。随后应用选择性QAT，模型尺寸进一步从0.194 MB降至0.084 MB，FLOPs降至14.82 MFLOPs。最后添加知识蒸馏，准确率得到恢复，例如在ESC-10上准确率回到96.75%，在ESC-50上从剪枝+QAT的85.5%提升至86.5%。这些结果证明管道实现了有效的精度-效率权衡。
**讨论部分总结**
研究人员在讨论中指出，该研究通过系统性地解决冗余、数值精度和知识迁移问题，将混合CNN转化为高效且可部署的架构。与现有最先进模型（如Micro-ACDNet、Edge-L3等）相比，Micro CNN-PSK在准确率和效率上均表现优越：参数仅0.050百万，模型尺寸0.084 MB，推理时间0.291 ms，并且在ESC-50、US8K等数据集上准确率最高。该研究对智能城市环境中的分布式声学传感具有重要影响，支持在低功耗物联网节点上本地处理声学数据，降低带宽和延迟，增强隐私保护。未来工作将探索更大教师模型的蒸馏、硬件感知压缩以及实际嵌入式平台部署。
**研究结论翻译**
本研究提出了一种全面的多阶段模型压缩管道，以解决高精度ESC模型在资源受限边缘设备上部署时的计算和内存瓶颈。通过顺序应用通道剪枝、选择性QAT和知识蒸馏，优化了混合CNN-PSK架构，实现了模型复杂度的逐步降低，同时保持了预测性能。在四个基准数据集上的广泛评估证明了所提出方法的鲁棒性和泛化能力。最终的Micro CNN-PSK模型在参数数量、模型尺寸和推理延迟上实现了显著减少，与原始网络相比仅有微小准确率下降。特别是在ESC-50数据集上，所提出的框架将模型参数从521,069减少到60,810，减少了超过88%，准确率仅下降1.75%。这些结果证实，高精度ESC模型可以被有效压缩为适合实时边缘部署的轻量级架构，支持智能城市环境中的分布式声学监测等实际应用。在这样的场景中，所提出的方法能够在大规模低功耗传感节点网络中实现可扩展部署，持续捕获城市声学数据，促进关键事件的实时检测，改善态势感知，并支持数据驱动的城市管理决策。
