基于领域知识的方法用于电动汽车内部声音的异常检测

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：A domain knowledge informed approach for anomaly detection of electric vehicle interior sounds

　　•通过频谱图中的代理异常可实现无需真实故障数据的模型选择•领域知识有助于设计有针对性的结构化声音扰动以生成异常•基于代理异常的选型方法在两种架构上的测试中均优于传统方法•代理异常验证结果与真实故障测试得分之间存在高度相关性•已公开电动汽车内部声音数据集，以便进行可重复研究

引言
汽车车厢内的声音质量是车辆设计中的关键要素，它直接影响用户舒适度、对车辆品质的感知以及整体品牌声誉。即便是微小的声学缺陷也会显著影响驾驶体验，因此，检测和消除车厢声音故障已成为汽车制造商的重点任务。为确保汽车车厢内的声音质量，终检测试一直是至关重要的质量保障环节，通常在车辆离开生产线之前进行。虽然传统上依赖人工检查和机械诊断，但近期人们开始转向基于声音和数据驱动的方法，这些方法具有无侵入性、可扩展性和客观性等优势。在工业应用中，例如某高性能混合动力车的整车NVH测试策略中，就采用了数据驱动的诊断方法来检测前电轴的问题[1]；此外，还将深度学习与物联网技术整合到生产线的声学监测系统中，以实现实时异常检测和预测性维护[2]。最近的研究还探讨了电动汽车内部声音的听觉心理方面，研究了音调成分如何影响人们对音调强度的感知以及整体愉悦感[3]、[4]。在声学机械诊断领域，也探索了机器学习方法，重点在于强大的信号处理能力和实际应用性[5]、[6]。

支持向量机、全连接神经网络以及卷积神经网络等机器学习和深度学习方法也被证明可用于分类各种车厢噪声故障，如动力总成的轰鸣声[7]、[8]、[9]；嗡嗡声、吱吱声和咔嗒声[10]；风噪[11]，以及与声音质量相关的情感特征[12]。越来越多的研究致力于利用深度学习技术实现各子系统的终检故障检测。通过卷积神经网络和循环神经网络，已经实现了对刹车尖叫声更精准的检测和预测，其性能优于传统的基于信号的方法[13]。在复杂运行场景下，一维卷积神经网络架构也被证明可用于诊断电动机故障，成为振动检测技术的有效替代方案[14]。还有研究利用深度学习技术预测传动系统啸叫声的质量，并将其与主观评价相关联[15]、[16]。总体而言，这些工业界和学术界的努力都表明，汽车行业正逐渐转向自动化、基于声音以及借助机器学习技术的终检测试方式。这种转变能够更早地发现故障，提高诊断的一致性，并提升质量控制过程的可扩展性，超越传统方法的局限。

尽管监督学习方法在汽车故障检测领域取得了成功，但由于故障发生的概率较低，这一技术要得到广泛的实际应用仍面临巨大挑战。虽然正常的音频样本可能较为丰富，但有故障的样本往往稀缺或无法获取，这使得传统的监督学习方法难以实用。为解决标记过的故障数据不足的问题，异常检测通常被视为一种无监督学习问题，即模型仅基于正常数据训练，而异常则被定义为超出基于特定评估指标所设定的阈值的偏差[17]。尽管无监督异常检测方法具有潜力，但由于缺乏标记过的故障样本，在模型选择方面面临着根本性挑战。仅基于正常数据训练会隐含地定义出一个围绕正常类别的决策边界，但这个边界完全由重建的精确度决定，无法识别何为异常。这就使得标准的验证指标不再适用，难以有效地比较不同的模型或优化超参数。由于验证反馈仅来自正常数据，无法反映模型区分真正故障与正常变化的能力，过于复杂的模型有可能过度拟合正常数据分布，而过于简单的模型则可能存在欠拟合的问题。这凸显出在无监督异常检测场景中需要更可靠的模型评估和选择策略。

为解决标记过的故障数据不足的问题，其他领域的研究人员开始寻求替代数据来源和生成策略。他们利用外部数据集作为代理故障数据[18]、[19]，生成合成异常以模拟现实世界中的故障[20]，或者开发增强策略，通过合并和区域替换等方式对正常数据进行处理[21]、[22]、[23]、[24]、[25]。这些方法都为真正的故障数据提供了替代品。它们将合成异常直接纳入训练目标，通过损失函数来塑造决策边界，从而使学习到的表示与合成扰动的特定结构相关联。虽然存在生成合成异常的方法，但这些方法假定的是一般的分布变化。目前还缺乏专门为涉及车厢噪声频谱图的终检测试场景设计生成代理异常的方法，因为在这些场景中，频谱图的坐标具有明确的物理意义，且故障表现为由旋转机械的运动学规律所决定的结构化模式。此外，目前还没有任何框架能够将汽车声学领域的先验知识转化为与异常检测性能相关的验证指标。这就需要一种基于领域知识的代理异常设计方法，即在这种方法中，领域知识作为归纳偏见被引入模型选择阶段，而非训练目标中，从而为引导决策边界提供有效机制，同时又不使学习到的表示与特定的异常结构相绑定。

本文提出了一种新方法，该方法利用汽车声学的领域特定知识来生成代理异常。虽然训练过程仍然是完全无监督的，但在模型选择阶段采用了弱监督且基于领域知识的策略：通过對正常频谱图进行结构化扰动来构建代理异常。该方法直接作用于车厢声音数据的频谱图表示，通过沿频谱图的内在方向进行像素级修改，来体现对正常状态的偏差假设。这项技术实施起来既快速又简单，能够迅速生成定制化的代理异常，从而有效进行模型选择。本文使用五种车厢噪声故障对所提出的框架进行了有效性评估，利用代理异常来指导模型选择过程。评估是在卷积神经网络和Transformer基模型上进行的，旨在检验该方法在不同神经网络架构下的通用性。

尽管在开发用于工业和消费应用领域的声学故障检测数据集方面已经取得了显著进展，但在汽车声学领域的终检测试专用数据集方面仍存在明显缺口。诸如MIMII[26]、[27]和TOYADMOS[28]、[29]这类用于工业和微型机械的数据集，以及电动发动机数据集[30]和旋转机械故障数据集[31]，都为推动机器状态监测和故障检测技术的发展做出了重要贡献。同样，A3CarScene[32]、TICaM[33]、MELAUDIS[34]和Sound of Traffic[35]等多模态和环境数据集也拓宽了驾驶环境下的音频分析范围。然而，这些数据集主要关注非汽车或外部声学环境，因此对于用于评估车内声音质量的模型来说，其参考价值有限。此外，虽然有一些研究收集或模拟了用于车厢NVH分析的数据集[1]、[2]、[3]、[4]、[9]、[10]、[11]，但大多数数据集仍然以内燃机车辆为主，而专门针对电动汽车声学的研究则相对较少。而且，这些数据集大多仍是专有的或未公开的，主要原因在于保密要求或行业限制。此外，许多研究依赖于在有限条件下获取的数据，这限制了它们在广泛基准测试和模型验证中的实用性。这种公开可用、经过严格验证的数据集匮乏的情况，不仅影响了研究的可重复性，也限制了对声学质量评估模型的比较分析，进而延缓了开发高效终检测试工具的进程。

为应对汽车声学领域中故障数据数量有限且分布狭窄的问题，本研究精心整理了一个全面的电动汽车车厢噪声数据集，其中包含了五种不同故障类型下的正常和故障声音样本。该数据集是借助基于真实实验记录构建的声音质量等效模型，并结合先进的音频合成技术生成的，由此产生的声音能够准确反映现实世界中的声学特征。为验证数据的真实性并确定适当的故障等级，还邀请了汽车声学领域的专家进行了评审测试。此外，该数据集已在线公开，以促进进一步研究并提升该领域的可重复性[36]。

总结而言，本研究旨在解决在缺乏故障数据的情况下检测汽车车厢声音质量故障的问题。本文的主要贡献如下：
•在车厢声音数据的频谱图表示中构建代理异常，利用领域特定知识诱导像素级修改，从而快速生成定制化的异常，用于模型选择。
•在五种不同的车厢故障数据集上评估了基于代理异常的模型选择方法，采用了CNN自编码器和视觉Transformer掩码自编码器这两种模型。测试结果表明，增强后的验证集性能与真实测试集性能之间存在高度相关性，而且所提出的方法在两种架构上的表现均优于传统模型选择策略。
•整理了一个全面的电动汽车内部声音数据集，其中包含了五种不同故障类型下的正常和故障声音样本，该数据集是借助声音质量等效模型和先进的音频合成技术生成的，并经过了汽车声学专家的评审验证。
•公开发布了这个精心整理的电动汽车内部声音数据集，以促进该领域的可重复性研究并推动进一步发展。

本文的其余部分结构如下：第2节介绍异常检测、模型选择和数据解释的相关内容；第3节详细阐述所采用的音频合成方法；第4节介绍生成代理异常的方法以及模型选择算法；第5节为实验部分，第6节为结果与分析，介绍实验评估和比较分析情况；第7节则对研究结果进行总结，并探讨未来研究的方向和意义。

背景
本节概述了异常检测方法，重点介绍了使用自编码器进行异常检测的技术。随后详细阐述了基于重建误差的模型的选择策略。最后简要介绍了将用于分析本研究结果的数据解释和可视化策略。

数据集生成
本节详细描述了如何创建一个包含正常和故障车辆内部声音的逼真数据集，以用于终检测试。首先介绍了从实验记录出发，利用虚拟音频合成技术生成数据的过程。接着介绍了评审测试的内容，即通过感知评估来判定声音的真实性，并确定数据集标记的阈值。本节最后总结了最终的数据集情况。

方法论
本节详细介绍了检测车辆车厢声音异常的方法论以及所提出的模型选择方法。首先概述了数据预处理过程，即将原始音频转换为频谱图，以便进行异常检测。接着讨论了代理异常的生成方法，即通过对正常的验证数据施加可控的扰动，来模拟各种类型的故障。本节最后介绍了异常检测模型及其相关内容。

实验
为了评估所提出的模型选择策略的有效性，我们设置了两种在异常检测领域常用的基准方法，同时还设置了一个最佳情况作为对比。理想情况下，虽然会使用在训练和模型选择过程中无法获取的信息，但它代表了模型选择策略应努力达到的性能目标。此外，我们还将基于代理异常的模型选择方法与其它模型选择方法进行了比较。

结果与分析
本节展示了根据所提出的模型选择方法选择的超参数所对应的异常检测模型的结果，并将其与基准技术进行了比较。首先，评估了不同模型选择策略在检测各类故障方面的有效性。然后，展示了通过该方法确定的最佳模型的性能。分析中突出了一些关键发现，比如该模型的强大性能等。

讨论
本文中采用的模型选择策略引入了一种弱监督机制，因为代理异常包含了关于正常数据潜在偏差的领域知识驱动的结构化先验信息。这种方式有意地将模型选择过程引向那些对这类偏差敏感的架构，而非仅仅依赖于在正常数据上的重建误差最小化。此外，所施加的扰动相对于其所要检测的故障而言是较为通用的。结论
本研究提出了一种基于领域知识的框架，用于在汽车内部声音的自动编码器异常检测中选择模型，旨在解决模型开发过程中故障数据匮乏这一关键问题。通过引入代理异常，即对正常频谱图施加结构化扰动，以模拟真实故障的特征，该框架能够在无需获取标记过的故障样本的情况下实现有效的模型选择。

CRediT作者贡献说明
Deepti Kunte：概念设计、数据整理、形式分析、方法论、软件开发、可视化、初稿撰写、审稿与编辑。
Bram Cornelis：数据整理、形式分析、资金筹集、项目管理、监督、验证、审稿与编辑。
Claudio Colangeli：数据整理、监督、验证、审稿与编辑。
Karl Janssens：数据整理、资金筹集、监督、审稿与编辑。
Brecht Van Baelen：声明写作过程中使用了人工智能辅助技术。在准备本文档时，作者们使用了人工智能辅助写作工具以提高文本的可读性。使用这些工具后，作者们根据需要对内容进行了审阅和修改，并对最终发表的文章内容承担全部责任。

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Deepti Kunte、Bram Cornelis和Konstantinos Gryllias表示，他们获得了欧洲委员会通过玛丽·居里计划下的ETN MOIRA项目（GA 955681）提供的财政支持。其他作者则声明没有已知的可能影响研究结果的财务利益或个人关系。

致谢
作者们衷心感谢欧洲委员会通过玛丽·居里计划下的ETN MOIRA项目（GA 955681）所提供的支持。

Deepti Kunte | Bram Cornelis | Claudio Colangeli | Karl Janssens | Brecht Van Baelen | Konstantinos Gryllias