DEMONet：基于多专家网络与跨时间变分自编码器的水下声学目标识别技术

《Knowledge-Based Systems》：DEMONet: Underwater acoustic target recognition based on multi-expert network and cross-temporal variational autoencoder

　　•利用包含物理特性的DEMON光谱来获得可靠的洞察力。•设计一种多专家网络，以精细的方式处理信号。•提出跨时间VAE来降低DEMON光谱中的噪声和干扰。•在两个水下声学数据集上实现了最先进的性能。引言水下声学目标识别是海洋声学领域中至关重要的组成部分[1]、[2]、[3]，其目的是通过分析水下目标发出的声音来识别这些目标，比如船舶。这项技术在水下监视与导航系统[4]、[5]、安全防御系统以及海洋资源的开发与保护方面有着广泛的应用[6]、[7]。作为水下声学领域的一项重要任务，实际应用中的水下声学目标识别往往面临诸多挑战[8]，比如复杂的水下环境、不可预测的传输通道以及目标的动态运动状态[9]、[10]。过去，常用的水下声学特征主要关注那些明确的物理特性[1]、[11]。例如，DEMON（噪声包络调制检测）光谱中的峰值和谐波能够提供关于螺旋桨轴频率和叶片数量的信息，这些信息已被用于水下目标识别[12]、[13]、[14]。这些特性源自目标的固有属性，受复杂海洋环境的影响较小[15]。然而，这些特征往往只能反映目标的部分物理属性，因此很难建立与不同类型目标的映射关系——这一局限性在针对多种类型目标的数据集及复杂特征空间的相关研究中也得到了证实[16]、[17]。比如，虽然DEMON光谱能够区分三叶螺旋桨和五叶螺旋桨的船舶，但对于具有相同叶片数量的不同类别船舶，如某些客船和货船，它们可能难以区分。此外，由于深度学习时代对非平稳信号的处理能力有限，物理特性在识别任务中逐渐被忽视。随着深度神经网络的广泛应用，时频特征，如频谱图，已成为识别任务的首选[18]、[19]。这些特征提供了涵盖频率成分和时间变化特性的全面信息，从而有助于复杂的建模。先前的研究[8]、[16]表明，基于时频特征的识别系统在公共水下声学数据集上能够取得优异的性能[17]、[20]。然而，时频特征容易受到环境和运动变化带来的干扰[8]、[10]，这可能导致识别模型过度拟合与目标无关的信息，比如背景噪声、信道噪声、虚假线谱，以及由多普勒效应引起的频率失真[13]。这种脆弱性降低了基于频谱图的识别系统的泛化能力和稳定性，进而限制了其在实际应用中的表现。总体而言，物理特性具有更强的抗干扰能力，但缺乏足够的类别特异性区分模式；而频谱图则包含丰富的类别特异性信息，但稳定性较差。由此自然产生了一个问题：“我们能否将物理特性整合到主流的基于频谱图的识别系统中，以弥补其稳定性不足的问题？”在我们的初步实验中（见第5.1节和表3），我们尝试通过特征融合[21]或模型集成[22]等策略来整合物理特性。然而，实验结果表明，直接整合物理特性会导致不理想的结果，在某些情况下甚至会降低识别性能。经过进一步分析，我们将这一结果归因于物理特征中缺乏类别区分模式：强行在物理特性和目标类别之间建立映射关系会引入不良的归纳偏差——具体来说，就是迫使模型将区分度较低的物理信号视为直接的类别预测因子——这最终会损害模型的性能。在本研究中，我们提出了DEMONet，该模型利用DEMON光谱来获取有关目标螺旋桨频率和叶片数量的信息。为了充分利用物理特性的优势，同时避免其潜在的负面影响，DEMONet采用了多个独立的专家层和一个路由层，其中路由层根据从DEMON光谱中提取的物理特性将每个输入分配给最合适的专家。这种方法以物理特性作为路由依据，使每个专家层能够专注于处理具有共同物理特性的数据。本质上，我们的设计类似于“分类前的聚类”[23]：模型以定制化的方式处理具有不同物理特性的信号，同时防止DEMON光谱直接映射到目标类别。与传统的数据驱动型混合专家模型方法[24]、[25]不同，后者的门控网络通常依赖于学习到的中间表示，而DEMONet则是利用DEMON光谱中的明确物理特性来驱动路由，使得专家分配更具物理依据。此外，我们还利用物理特性的时不变性设计了跨时间变分自编码器（VAE），该编码器的训练目标是重建来自不同时间段的同一信号的DEMON光谱。经过重建的DEMON光谱受噪声和虚假调制成分的影响较小，因此更适用于基于路由的专家分配。另外，我们还加入了负载平衡损失函数[25]，以解决可能出现的负载不平衡导致的专家利用率不足问题。为了验证所提方法的有效性，我们在多个水下声学数据集上进行了大量的对比实验和消融实验。实验结果表明，结合跨时间VAE的DEMONet在DeepShip[17]数据集以及我们自己的数据集[26]上的性能均优于现有的最先进模型。我们还在数据量较少的ShipsEar数据集上对DEMONet进行了评估，进一步凸显了它的实际价值和应用前景。本研究的主要贡献如下：•分析了水下声学目标识别中物理特性和主流时频特征的局限性，从而提出了互补的整合策略。•提出了DEMONet，这是一种将物理特性整合到基于频谱图的识别系统中的多专家架构，它在提高识别准确率的同时增强了系统的稳定性。•设计了跨时间变分自编码器来抑制DEMON光谱中的噪声和虚假干扰，同时还采用了负载平衡损失函数来解决专家负载不平衡的问题。相关研究在实际应用的推动下，水下声学目标识别多年来一直是水下声学领域的研究热点。在早期的研究中，人们通常会结合手工设计的、能够捕捉信号内在特性的声学特征与传统的机器学习技术。例如，Li等人[27]采用了过零率、LOFAR（低频分析记录）光谱和小波光谱来进行目标识别；Lu等人[28]则使用了某种方法。方法论本节的组织结构如下：3.1节介绍了候选频谱图和DEMON光谱的预处理及特征提取方法。3.2节描述了DEMONet结合跨时间VAE的整体框架及训练过程。3.3节详细介绍了各个模块的架构。数据集在本研究中，我们使用了三个不同规模的下水船辐射噪声数据集。相关详细信息见表2及后续段落：1. DeepShip2[17]是一个大规模的公共水下声学基准数据集，其中包含了613段实际水下录音，采样率为32,000赫兹。总时长为47.07小时，单段录音的长度在6秒到25分钟之间。数据集结果与分析在本研究中，多类识别任务所采用的统一评估指标是准确率，它可以通过将正确预测的样本数除以总样本数来计算。由于测试集中信号录音的数量有限，有时会出现多组实验得到相同文件级准确率的情况。为了解决这个问题，我们选择在30秒的片段级别而非文件级别来展示结果。此外，为了……结论在本研究中，我们提出了一种多专家网络——DEMONet，旨在将物理特性整合到识别系统中，以弥补其稳定性不足的问题。为降低DEMON光谱中的噪声和虚假调制现象，我们提出了跨时间变分自编码器。此外，我们还采用了负载平衡损失函数来解决负载不平衡的问题。我们通过详细的实验来验证所提方法的有效性。值得一提的是，我们的……CRediT作者贡献声明谢远：写作——审阅与编辑、写作——初稿撰写、可视化、验证、软件、方法论、研究调查、形式分析、数据整理、概念构建。张晓伟：方法论、研究调查。任佳伟：监督、数据整理。徐吉：写作——审阅与编辑、监督、资源协调、项目管理、资金获取。关于写作过程中生成式AI和AI辅助技术的声明在准备本研究的过程中，我们使用了ChatGPT来检查英语语法和单词拼写。在使用该服务之后，我们对内容进行了必要的审阅和编辑，并对最终发表的内容负全责。利益冲突声明作者声明没有已知的财务利益或个人关系可能会影响本文所报告的工作。致谢本研究得到了IOA前沿探索项目（编号ZYTS202001）以及中国科协青年创新促进会的支持。谢远|张晓伟|任佳伟|徐吉