《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：End-to-end virtual sensing with head tracking using a temporal convolutional network for active road noise control
编辑推荐：
•提出了一种使用 TCN 的端到端头部追踪虚拟感知框架。•基于 FiLM 的条件机制使模型能够适应连续的头部运动。•所提出的方法比传统 RMM 实现了更高的虚拟感知精度。•ANC 仿真验证了所提出的虚拟感知能导致更高的降噪效果。引言路噪仍然是车内声学不适的主要贡献者，特别是在
- •
提出了一种使用 TCN 的端到端头部追踪虚拟感知框架。
- •
基于 FiLM 的条件机制使模型能够适应连续的头部运动。
- •
所提出的方法比传统 RMM 实现了更高的虚拟感知精度。
- •
ANC 仿真验证了所提出的虚拟感知能导致更高的降噪效果。
引言
路噪仍然是车内声学不适的主要贡献者，特别是在动力总成噪声已减小的现代车辆中。传统被动方法，如使用吸声材料的方法，往往笨重且在低频下效果不佳 [1]。主动降噪 (ANC) 被广泛采用，通过次级声源产生反噪声来衰减低频路噪，以解决这些局限性 [2], [3]。在各种 ANC 算法中，滤波 -x 最小均方 (FxLMS) 算法因其计算效率和鲁棒性而被广泛使用 [4], [5]。在实际应用中，ANC 被表述为局部控制问题，即在特定目标位置而不是整个车厢内最小化声压。然而，局部 ANC 本质上产生的有效衰减空间区域有限，通常称为安静区，其大小随频率增加而减小 [6]。当听者的头部移动且耳部位置偏离标称控制区域时，实现的衰减可能会降级；在某些情况下，由于设计的反噪声场与实际耳部位置之间的空间失配，残余噪声可能会增加 [7], [8]。
为解决此问题，头部追踪方法已被引入 ANC 系统中。除了实际设计因素，如头部追踪分辨率 [9], [10] 和扬声器布置 [10], [11] 外，还研究了若干控制策略。一种代表性方法使用查找表 (LUT) 方案，根据追踪的耳部位置选择预收敛的控制滤波器 [12]。然而，所选滤波器是预先设计的，无法适应路噪特性或运行条件的变化。因此，控制滤波器应实时自适应调整，这需要次级通路估计随头部移动进行更新。次级通路随头部位置变化，突显了对准确实时更新的需求。
一种简单的方法是使用在多个离散头部位置测量的次级通路构建的 LUT [13], [14]。然而，此策略仅限于测量位置，无法在它们之间提供连续的次级通路更新。对连续变化传递函数的类似需求已在头部追踪双耳合成中得到解决，其中头部相关传递函数使用插值或基于学习的预测进行更新 [15], [16]。类似地，基于插值的更新被引入 ANC 次级通路 [17]。然而，这尚未针对复杂头部运动或真实车辆环境进行验证，且其性能可能因插值方案而异。为解决这些局限性，提出了使用预训练神经网络 (NNs) 的方法，从实时头部位置预测次级通路并连续更新它们 [18], [19]。
实际实施中的另一个重要考虑因素是麦克风无法安装在听者的耳朵上，这使得虚拟感知成为必要 [20], [21], [22]。一种代表性方法是远程麦克风法 (RMM)，其中使用观察滤波器从物理麦克风信号估计耳部位置的虚拟麦克风信号 [23], [24]。对于带有头部追踪的虚拟感知，以前的研究在多个头部位置测量观察滤波器并使用 LUT 策略更新它们 [13], [14]。最近，使用基于神经网络的方法根据实时头部位置估计观察滤波器以实现连续自适应 [19]。然而，这些模型的预测精度有限，因为训练数据量本质上较小，每个位置仅有一个观察滤波器可用。此外，基于观察滤波器的头部追踪受限于系统辨识进行的条件。物理到虚拟的关系可能会随着运行条件的变化而偏移，降低估计精度。此外，将该方法扩展到密集头部位置网格和多个驾驶速度会迅速变得测量密集型。
深度学习方案已被探索用于通过直接学习从多通道麦克风测量到虚拟麦克风信号的映射来进行虚拟感知。最近的研究表明，使用深度学习模型（如时间卷积网络 (TCN) 和变压器）进行时域波形预测 [25], [26]。然而，这些方法已在房间声学环境中得到验证，并假设单一固定的虚拟麦克风位置。TCN 用于虚拟感知已在汽车领域实施 [27]；然而，它是为固定目标位置制定的。据我们所知，尚未开发出用于真实车辆环境中带有头部追踪的虚拟感知的端到端深度学习框架，该框架直接根据物理麦克风信号和头部位置信息预测虚拟麦克风信号。
为解决这一差距，本研究提出了一种用于主动路噪控制 (ARNC) 的基于 TCN 的带有头部追踪的虚拟感知框架。所提出的方法从八通道物理麦克风测量和实时头部位置信息估计耳部位置的时域虚拟麦克风信号。为了将头部位置信息纳入 TCN，我们采用了特征级线性调制 (FiLM)，它以头部坐标为条件对中间表示进行条件化处理。与为每个头部位置提供单一滤波器的观察滤波器方法不同，直接时域学习通过将长测量值分割成具有步长的重叠窗口来构建大量训练样本。这种数据构建为监督学习提供了丰富得多的输入 - 输出对，并促进了跨多个驾驶速度的统一训练，从而减少了测量负担并提高了对运行条件变化的鲁棒性。此外，评估了若干基于 TCN 的模型变体，包括减少数据训练案例和编码器 - 解码器变体，以检查训练数据时长和计算成本的影响。
本文其余部分组织如下：第 2 节回顾了传统 RMM 并详细介绍了所提出的带有头部追踪的端到端虚拟感知框架，其中包括基于 TCN 的网络架构和用于空间条件化的 FiLM 集成。第 3 节描述了数据集和训练过程。第 4 节展示了虚拟感知结果，并评估了各种模型变体的估计精度和计算负载。第 5 节比较了 ANC 仿真结果。最后，第 6 节提出了结论。
章节片段
RMM 概述
RMM 是一种代表性虚拟感知方法，其中从由一组物理安装的麦克风（物理麦克风）测量的信号估计不可访问的目标位置（虚拟麦克风）处的声压。在 ARNC 中，目标位置是占座者的耳部位置，多个物理麦克风分布在整个车厢内。RMM 的关键概念是识别观察滤波器，将多通道物理麦克风信号映射为
数据获取与增强
本研究中使用的数据集与我们之前的工作 [19] 中使用的相同。测量在配备路面贴片的底盘测功机上进行，如图 5(a) 所示，在每个头部姿态配置下，当车辆从 55 加速到 65 公里/小时时，获取了 10 秒的声学数据。头部追踪是使用安装在驾驶员和副驾驶座前方的两个立体摄像头 (ELP-USB 0230X2-V90-BX) 进行的，如图 5(b) 所示。声学数据收集于
具有头部追踪的所提出虚拟感知框架的评估
评估了所提出方法的虚拟感知性能，并将其与传统方法和替代训练案例进行了比较。比较案例总结在表 3 中，包括没有头部追踪的基准 RMM-Fixed；使用直接为每个测量头部位置识别的观察滤波器的 RMM-Measured，作为带有头部追踪的理想 RMM 基准；基于头部位置使用预训练 NN 模型更新观察滤波器的 RMM-NN，
使用不同虚拟感知方法的 ANC 仿真性能比较
在本节中，使用 ANC 仿真评估了所提出的深度学习虚拟感知方法的实际有效性。该仿真使用了与我们之前工作 [19] 中相同的次级扬声器布置，由六个扬声器组成：四个肩装扬声器和两个门装扬声器。除了第 3 节中描述的物理和虚拟麦克风信号外，还在相同的头部位置配置下测量了次级通路。
结论
本研究提出了一种用于 ARNC 的带有头部追踪的端到端虚拟感知框架，使用通过 FiLM 以头部位置信息为条件的 TCN。与更新观察滤波器的传统方法不同，所提出的方法直接从多通道物理麦克风信号和实时头部位置在时域估计虚拟麦克风信号。这种表述方法通过重叠窗口分割
资金
本研究未收到公共、商业或非营利部门资助机构的任何特定拨款。
CRediT 作者贡献声明
Jun Young Oh：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，软件，方法论，研究，形式分析，数据整理，概念化。 Ju Young Kim：写作 – 审阅与编辑，研究，数据整理。 Chi Sung Oh：验证，资源，项目管理，方法论，研究，数据整理，概念化。 Kyoung Hoon Lee：资源，项目管理，方法论，数据整理，概念化。 Yeon June Kang：
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些可能被认为影响了本文报道的工作。
致谢
本工作得到了 首尔国立大学 先进机械与设计研究所 (SNU-IAMD)、首尔国立大学 的 工程研究所 以及 现代汽车集团 的支持。
Jun Young Oh|Ju Young Kim|Chi Sung Oh|Kyoung Hoon Lee|Yeon June Kang
