KAMI-NET：一种用于多参考回声消除的新颖鲁棒Kolmogorov注意力网络

《Computer Speech & Language》：KAMI-NET: A novel robust Kolmogorov-attentive network for multi-reference echo cancellation

　　

•包含多路远端信号的AEC-MREF数据集，用于实现鲁棒的回声消除。
•编解码器中嵌入的IRB模块，用于高效的特征提取。
•KAN + MHLA瓶颈层，用于捕捉非线性依赖和长距离依赖关系。
•幅相联合增强，以获得更清晰的近端语音。
•端到端低延迟模型，针对实时部署进行了优化。

引言

声学回声和环境噪声是真实通信场景中频繁出现的两大主要退化因素，它们严重降低了语音的可懂度并劣化语音质量。当通信设备的扬声器与麦克风之间存在声学耦合时，会拾取到远端语音输出信号并重新传输，从而产生回声。这种现象会生成说话者自身语音的延迟重复，干扰正在进行的对话。实时平台，如视频通话和远程会议，尤其容易受到此类反馈的影响。如果回声得不到有效抑制，它可能通过逐次迭代不断累积，产生严重的语音失真。这将导致感知音频质量下降和语音可懂度受损，通常会使有效通信几乎不可能实现。使用数字设备以免提模式通话的单位说话人，由于设备与嘴巴的距离可变，也会遭受语音质量下降的问题。声学回声问题不仅存在于传统电信领域，其范围远超于此。其他容易受此问题影响的系统包括基于VoIP的通信平台、如Amazon Alexa等智能语音控制助手、助听器和辅助听力设备，以及实时沉浸式音频游戏环境。背景噪声包括环境中存在的所有不需要的声音，如人群的低语、交通运动、工业活动或办公设备等，与所需的语音信号并存。这些类型的噪声通常出现在日常生活中的各种通信设置中，如移动通话、开放式办公室，以及录音室外环境。最具挑战性的情况是当语音与背景噪声的频谱成分发生重叠时，由此产生的掩蔽效应会损害语音的清晰度。自疫情爆发以来，在线通信出现了全新的激增，为了适应时代的需求，有效抑制声学回声和背景噪声的呼声变得极为关键，以促进清晰可懂的语音传输。

AEC系统利用不同的技术来消除回声和背景噪声，这些技术包括自适应滤波、回声抑制和回声屏障。近年来，基于深度学习的方法因其处理复杂关系的能力和处理背景噪声与回声信号之间非线性关系的能力而引起了广泛关注。由于大规模训练数据集的可用性，这些方法尤为优越，能够以更高的准确性降低噪声和回声。传统上，AEC系统仅利用从远端接收到的单路参考信号。不同的基于深度学习的方法已被提出以解决AEC问题。LSTM网络、GRU、CNN和CRNN从不同的模型视角被成功应用于AEC，包括将AEC作为说话人分离任务、设计基于直接预测的方法，以及将DNN应用于基于后滤波器的方法。

Zhang和Wang提出了一个神经架构，包含一种有效的CRNN方法进行复数频谱映射，一个LSTM用于估计幅度掩蔽，以及一个统一损失函数用于联合优化。该架构在单声道和多声道AEC中表现出显著的功效，有效克服了非唯一性问题，并利用了多麦克风AEC系统中波束成形特性。Zhang等人提出了一种在频域中结合原地卷积和LSTM的架构。该方法为所有麦克风提供了高效的回声抑制方案，并通过利用跨域损失函数和多任务学习进行泛化。Fan等人提出的另一种AEC方法在频域中结合了残差网络、GRU和通道注意力机制。作者还解决了时域中的回声抑制问题，从而在双讲和远端单讲情况下产生了鲁棒性能。除现有的基于深度学习的解决方案外，混合检测技术也得到了探索，其中自适应滤波被有效地用于处理线性回声，同时通过深度学习约束复杂的非线性路径。

基于Transformer的模型最近在AEC中取得了重大进展，通过有效地捕捉长距离时间依赖关系并通过注意力机制选择性强调关键特征。这些模型解决了早期方法的关键局限性，包括建模长序列的挑战、低效的特征加权以及计算效率低下。在Liu等人中，作者提出了一种时域Mix-Transformer，具有金字塔编码器以增强局部和全局语音模式的建模，从而实现更好的回声抑制。在Zhang等人中，作者引入了一种双流注意力机制，分别使用多头注意力机制估计回声和语音的幅度掩蔽，以更好地解缠重叠信号。Sun等人提出了一种双路径Transformer框架，利用编解码器结构来估计复数掩蔽并捕捉更广泛的上下文。在后续工作中，Liu等人开发了一种基于Transformer的模型，使用交叉注意力对齐在处理之前同步远端和麦克风信号。最近，Ishwarya和Kothandaraman开发了一种神经网络，集成了恒Q变换特征和注意力模块以进一步提高AEC性能。Ishwarya和Kothandaraman融合了STFT和DWT特征以丰富时频表示，以低延迟性能增强了噪声和回声的鲁棒性。在后续工作中，他们提出了KASMA-LossNet，采用了Kolmogorov-Arnold网络，结合稀疏注意力和多损失优化策略，以更好地捕捉非线性回声动态并加速收敛。

尽管这些模型在单参考AEC设置中表现良好，但在具有多路重叠音频参考的环境中往往表现不佳。这是因为分离目标近端语音变得越来越复杂，由于纠缠的频谱内容和非平稳干扰模式，需要能够实现精细时间域和频谱域区分的架构。虽然概念上相关，但多参考AEC与单参考方法存在根本区别。将单参考框架简单扩展以纳入多路远端信号往往无法产生最佳性能。与假设单一主导回声路径的单参考设置不同，多参考设置必须解决来自多个来源的重叠和异步贡献。这导致更复杂的回声路径以及远端信号中更高的非线性水平。因此，传统的回声消除方法在实际环境中多路并发源的情况下表现不佳。

在此背景下，存在某些需要解决的局限性。本文提出了一种自定义多参考数据集，其中使用多路远端信号来增强模型分离重叠语音和回声成分的能力。这使得系统能够更好地捕捉空间与频谱线索，从而改善不利声学环境中的回声消除和语音质量。提出的框架引入了KAMI-NET——一种新的编解码器模型，包含一个新设计的瓶颈层，将KAN与MHLA相结合，并在编码器和解码器路径中都嵌入了IRB，以在保持低计算复杂度的同时提取丰富的特征。本文的主要贡献如下：

•开发AEC-MREF：一个自定义多参考数据集：AEC-MREF包含多路远端信号，从而提供了对双讲和噪声条件的更好建模，以允许在复杂声学环境中学习。
•在编码器和解码器中集成IRB：在编码器和解码器中利用IRB进行特征提取，有助于在不影响性能的情况下降低模型复杂度。
•在KAN和MHLA之间引入新的瓶颈层：瓶颈层还通过KAN和MHLA引入了非线性依赖和长距离关系，这对于有效的回声抑制是必需的。
•幅度和相位的联合增强：该模型还预测相位，这对于改善重建近端语音的质量与清晰度是有用的。
•端到端可训练架构，具备低延迟适用性：该模型以端到端方式进行联合优化，支持实时应用的低延迟推理。

本文后续章节安排如下：第2节介绍所提出的KAMI-NET方法，第3节概述实验设计和训练过程，第4节讨论结果并进行比较分析，第5节提供研究结论。

声学回声场景建模

在典型的单声道移动远程会议设置中，一路远端信号被传输到近端，在该环境中产生反射，导致近端麦克风拾取回声和背景噪声。然而，本研究中考虑的环境涉及两路或三路远端参考信号，有无噪声，因此称为多参考声学回声。

数据集创建

本工作中使用的数据集是一个自定义构建的多参考语料库，名为AEC-MREF，源自AEC Challenge数据集，该数据集包含合成和真实世界语音录音。本研究仅使用合成的远端和近端语音信号。这些信号通过图像源法嵌入到声学模拟环境中，从而允许对回声条件进行可控变化。在每个样本中，使用两路或三路远端。

结果与讨论

本文提出了KAMI-NET，一种编解码器架构内的新型瓶颈策略，旨在增强特征表示并有效区分噪声、回声和语音。即使在具有挑战性的条件下，如非线性回声、双讲场景和非平稳噪声环境，KAMI-NET也展现了鲁棒的回声消除性能。该模型基于一个自定义构建的数据集AEC-MREF的测试集进行开发和评估，该数据集包含1000个样本。

结论

本研究提出了一种名为"KAMI-Net"的新型基于深度学习的AEC方法，该方法能够应对非线性和多参考声学环境带来的复杂性。创建了一个名为"AEC-MREF"的新型数据集，用于在不同真实AEC情况下评估所引入方法的性能，涉及多路远端参考。所提出的基于编解码器的策略包括集成中间参考。

作者贡献声明

Soni Ishwarya V.：撰写——审阅与编辑，撰写——原稿，方法论，研究，数据整理，概念构思。Mohanaprasad K.：撰写——审阅与编辑，验证，监督，概念构思。

利益冲突声明

作者声明不存在已知的可能影响本文所报道工作的竞争性经济利益或个人关系。

Soni Ishwarya V. | Mohanaprasad K.