在鸡尾酒会上通过打字来识别目标发言者：基于文本的发言者提取方法

《IEEE Transactions on Cognitive and Developmental Systems》：Typing to Listen at the Cocktail Party: Text-Guided Target Speaker Extraction

本研究提出基于大型语言模型（LLM）的目标说话人提取（TSE）新范式LLM-TSE，利用文本输入提取语义线索解决传统方法隐私、样本质量及个体变异性问题，实验验证其性能优于传统方法并建立新基准。

　　

摘要：

人类能够轻松地从复杂的声学环境中识别出特定的说话者，这种能力被称为“鸡尾酒会效应”。然而，在目标说话者提取（TSE）领域，复制这一能力一直是一个重大挑战。传统的TSE方法主要依赖于语音特征（voiceprints），但这引发了隐私问题，并且面临着样本质量和可用性的问题，以及说话者内部语音变化的问题。为了解决这些问题，本文提出了一种新的文本引导的TSE方法，称为大型语言模型（LLM）-TSE。在这种方法中，使用最先进的LLM（LLaMA 2）处理用户输入的文本，以提取语义线索。我们证明了仅文本描述就可以有效地作为提取的线索，从而解决了隐私问题，并减少了对语音特征的依赖。此外，我们的方法允许用户指定是提取还是抑制某个说话者的声音，并通过结合上下文相关的文本信息来增强对说话者内部语音变化的鲁棒性。实验结果表明，仅使用基于文本的线索就能取得有竞争力的性能，并证明了将文本作为任务选择器的有效性。当将基于文本的线索与预先注册的线索结合使用时，还达到了新的最佳性能水平。这项工作代表了LLM与TSE的首次集成，有可能为解决“鸡尾酒会效应”问题树立一个新的基准，并通过提供一个多功能且注重隐私的解决方案，扩展了TSE应用的范围。

引言

人类天生具有专注于特定听觉来源并过滤掉其他不需要的听觉来源或背景噪音的能力，这种现象被称为“鸡尾酒会效应”[1]。尽管这种能力看似毫不费力，但实际上它隐藏了长期以来一直困扰科学家和工程师的复杂性问题，他们试图人工复制这一现象[2]、[3]、[4]、[5]。在计算听觉场景分析（CASA）领域，目标说话者提取（TSE）[6]、[7]、[8]、[9]、[10]、[11]一直是研究的重点，其目的是从混合声音中分离出特定说话者的声音。以往的TSE方法主要使用语音特征来识别和分离说话者的声音，这些特征是从预先录制的语音样本中通过卷积神经网络（CNNs）[7]、[12]、[13]、循环神经网络（RNNs）[6]、[14]和Transformer[15]、[16]等计算模型提取的。尽管这些方法非常有效，但它们仍然面临重大挑战。

隐私问题：隐私问题是公众讨论的热点，尤其是在涉及使用说话者声音的情况下[17]。基于语音特征的提取系统需要收集语音样本用于注册。这一要求引发了隐私问题，可能极大地限制了TSE系统的采用和实用性。

高质量线索的可用性：即使得到用户的同意，也无法保证能够获得高质量、长度足够长的预先录制的语音样本。包括录制渠道不一致、普遍存在的背景噪音以及样本时长不足等因素，都可能显著降低TSE系统的性能[6]、[7]、[11]、[18]。

说话者内部语音变化：即使获得了足够长度的高质量语音样本，由于声学环境（例如不同的房间几何结构和麦克风频率响应）或情绪状态（例如快乐、悲伤和愤怒）等因素，同一说话者的声音特征也可能存在很大差异。使TSE系统足够鲁棒以应对这些内部语音变化是非常具有挑战性的[11]。