利用松弛的时频稀疏性和基于RTF的重组方法，对语音信号进行欠定卷积盲源分离

《Computer Speech & Language》：Underdetermined convolutive blind source separation of speech signals using relaxed time–frequency sparsity and RTF-based recombination

　　莫斯塔法·贝拉（Mostafa Bella）|希查姆·赛拉尼（Hicham Saylani）|沙赫拉姆·侯赛尼（Shahram Hosseini）
法国图卢兹大学IRAP，法国国家科学研究中心（CNRS），法国国家空间研究中心（CNES），埃杜阿德·贝兰大道14号，31400图卢兹

**摘要**
在本文中，我们提出了一种新的盲源分离（BSS）方法，用于处理（欠）确定的卷积混合语音信号。该方法基于时频（TF）掩蔽和观测值的重组，利用了源信号在时频域中的稀疏性。与传统的基于TF掩蔽的方法不同，后者直接依赖观测向量进行聚类，所提出的方法引入了一种基于观测向量与一组参考向量之间的复余弦相似度的更鲁棒的特征。这使得TF聚类更加可靠，并且在具有挑战性的欠确定情况下分离性能得到提升。这项工作的一个关键贡献是无需任何先验声学知识即可盲估计源的相对传递函数（RTFs）。在此基础上，我们提出了一种基于RTF的重组策略，替代了传统的TF掩蔽重建步骤。这显著减少了基于掩蔽的BSS方法通常引入的伪影。我们的测试结果表明，我们的方法优于几种现有的基于TF掩蔽的方法。

**1. 引言**
盲源分离（BSS）的目标是从一组M个混合信号（称为观测值xi(n)）中恢复N个未知信号（称为源sj(n)）（Comon和Jutten，2010；Hyv?rinen和Oja，2000；Deville，2016）。观测值是由麦克风、相机或天线等传感器捕获的源信号的组合。“盲”一词意味着分离过程使用的关于源和混合参数的先验信息“最少”。然而，描述源如何混合的混合模型通常是已知的。在本文中，我们关注线性卷积混合，这是最通用和最现实的线性混合类型。对于这些混合信号，每个观测值xi(n)可以表示为源sj(n)及其延迟版本的组合，如下所示：
$$
xi(n) = \sum_{j=1}^{N} h_{ij}(n) \cdot sj(n) = \sum_{j=1}^{N} \sum_{k=0}^{L} h_{ij}(k) \cdot sj(n-k), \quad i \in [1, M],
$$
其中$h_{ij}(n)$是连接源sj(n)和索引为i的传感器的混合滤波器的冲激响应，$L_{ij}$是该滤波器的阶数，“$\cdot$”表示线性卷积运算符。卷积模型在BSS中仍然是一个重要的工具，在音频处理（Makino，2018；Xie等人，2024b；Xie等人，2024a）、天体物理学（Bella等人，2024；Igal和Llinares，2007；Bella等人，2026）和地震学（Liu和Dragoset，2013；Yanan等人，2012）等多个领域有广泛应用。然而，使用这种模型会使得分离问题变得更加复杂，特别是在观测到的混合信号数量少于源数量的情况下（即$M < N$）。

许多基于模型的方法已被证明对卷积BSS有效，例如独立成分分析（ICA）（Parra和Spence，2000；Vincent等人，2018；Makino等人，2007）利用了源信号的统计独立性，以及非负矩阵分解（NMF）（Ozerov和Fevotte，2010；Arberet等人，2010）利用了源的非负性。然而，这些方法也有局限性，包括在欠确定情况下性能不佳以及解的不唯一性问题。随着深度学习的兴起，BSS领域经历了重大变革。基于数据的方法，特别是基于神经网络的方法（Hershey等人，2016；Wang和Chen，2018；Yu等人，2017；Chetupalli和Habets，2023），已成为主流。这些方法在源信号中学习复杂模式方面表现出色，从而显著提高了分离质量。尽管如此，必须认识到基于深度神经网络（DNN）的技术通常需要大量的训练数据，其性能也可能受到训练和测试条件不匹配的严重影响。这突显了传统基于模型方法的持续重要性（Wang和Chen，2018）。

为了解决这些问题，通常采用时频（TF）掩蔽技术，利用源信号在时频域中的稀疏性（Jourjine等人，2000；Araki等人，2007；Sawada等人，2007；Sawada等人，2011；Reju等人，2010；Ito等人，2018）。这些技术旨在通过评估源在时频平面上每个点的存在概率，为每个源估计一个与所考虑的离散化时频平面相同尺寸的掩蔽。一旦估计出掩蔽，就可以将它们应用于观测值来获得分离后的信号，这个过程称为TF掩蔽。这些技术首先使用短时傅里叶变换（STFT）将混合方程（1）转换为时频域，如下所示：
$$
Xi(t,f) = \sum_{j=1}^{N} h_{ij}(f) \cdot S_j(t,f), \quad t \in [0,T-1], \quad f \in [0,K-1],
$$
其中$Xi(t,f)$和$S_j(t,f)$分别是xi(n)和sj(n)的STFT。K和T分别表示加权窗口的长度和STFT中使用的时间窗口数量。$h_{ij}(f)$是$h_{ij}(n)$在K个点上的离散傅里叶变换（DFT）。注意K也对应于DFT中的频率箱数量。然后计算每个时频箱的通道特征，如幅度比和频率观测值之间的相位差。这些特征随后用于通过聚类技术（Bella和Saylani，2020；Bella等人，2022；Ito等人，2013；Ito等人，2016；Reju等人，2010）或DNN（Fan等人，2016；Furnon等人，2021；Kumar和Jayanthi，2020；Wang和Chen，2018）来估计TF掩蔽。基于聚类的方法通常是无监督的，通过将时频箱分组为类别来估计掩蔽，而不依赖于标记的训练数据；而基于DNN的方法则需要带有标记示例的监督训练。TF掩蔽技术的有效性通常取决于掩蔽估计的准确性（Bella等人，2023）。根据用于估计的稀疏性假设，TF掩蔽分为两种类型：（1）二进制掩蔽，基于W-不相交正交性（WDO）假设，假设源在时频平面上没有重叠；（2）概率掩蔽，放宽了WDO假设，允许源在时频平面上有部分重叠。

然而，传统的基于TF掩蔽的BSS方法，无论是使用二进制掩蔽还是概率掩蔽，往往会在分离后的信号中引入伪影，这会显著限制其性能（Bella和Saylani，2020；Bella等人，2023）。这些伪影源于TF掩蔽操作，该操作将观测值的时频表示与掩蔽相乘。如果WDO假设不完全满足，这种操作会在时频平面上产生不连续性，从而在时域中产生伪影。源在时频平面上的重叠程度越大，伪影的严重程度越高。一种减轻分离后信号中伪影的方法是将TF掩蔽与其他技术结合使用，例如波束成形（Bella等人，2023；Souden等人，2012；Tran Vu和Haeb-Umbach，2010；Bella等人，2022；Yamaoka等人，2018）。在这种方法中，首先使用TF聚类估计TF掩蔽，然后利用这些掩蔽估计源的协方差矩阵和相对传递函数（RTFs），最后应用波束成形技术提取分离后的源的最终版本，而不仅仅是依赖TF掩蔽操作。

在本文中，我们提出了一种新的BSS方法，通过结合TF聚类和观测值的重组，显著减少了分离后信号中的伪影。

**本文的主要贡献总结如下：**
- 引入了一种基于观测向量与参考向量之间复余弦相似度的新的聚类特征。
- 一种无需先验声学信息的源RTFs的盲估计方法。
- 一种适应欠确定情况的新型基于RTF的重组技术。

本文的其余部分结构如下：第2节详细介绍了所提出的方法。然后，在第3节中，我们展示了性能评估结果，并将我们的方法与现有方法进行了比较。最后，在第4节中，我们讨论了未来研究的潜在方向。

**2. 提出的方法**
本文提出的方法所需的工作假设如下：

**假设1**
对于每个源sj(n)和每个频率带f，存在一组TF箱(t,f)，记为Ej(f)，在该频率带中该源占主导地位，即：
$$
\forall j, \forall f, \exists E_j(f) / |S_j(t,f)| \geq |S_i(t,f)|, \quad \forall i \neq j.
$$
这个假设确保了几乎存在单源TF箱。

**假设2**
在每个TF箱中，主导源的数量P小于或等于观测值的数量M，即P ≤ M。
这个假设仅在我们重建技术处理欠确定情况（即N > M）时采用。在这种情况下，我们假设在每个TF箱中，至少有N-M个源的贡献可以忽略不计。值得注意的是，这个假设比大多数现有方法通常要求的WDO假设要宽松得多。

我们的方法包括三个步骤，如图1所示。第一步，我们利用观测向量与一组参考向量之间的复余弦相似度，以及期望最大化（EM）类型的聚类算法来估计概率掩蔽。第二步涉及为每个索引为j的源和每个频率带f确定适当的时间索引njf。这些索引的选择使得TF箱(njf,f)最好满足方程（3）中的假设。接下来，我们估计RTFs，记为Fij(p)(f)，定义为：
$$
F_{ij}(p)(f) = \sum_{p \in [1,M]} X_{p}(njf,f) \cdot Xi(njf,f), \quad i \in [1,M], \quad j \in [1,N] \setminus \{i}.
$$
第三步使用RTF Fij(p)(f)和估计的掩蔽来重组观测值Xi(t,f)，以生成源的空间图像估计。我们方法的这三个步骤分别在第2.1节（相对传递函数估计）和第2.3节（源空间图像估计）中讨论。

**下载：**
下载高分辨率图像（122KB）
下载全尺寸图像

**图1. 所提出方法的框图。**

**2.1. 时频掩蔽估计**
大多数现有的逐箱方法（Sawada等人，2007；Sawada等人，2011；Ito等人，2014；Ito等人，2018）使用频率观测向量（可以是标准化的或非标准化的）在每个频率带内，或者使用这些观测向量与单个参考向量之间的厄米角（Reju等人，2010）作为聚类特征来估计TF掩蔽。相比之下，我们的方法引入了一种不同的技术来估计TF掩蔽，使用新的聚类特征。具体来说，我们利用观测向量X(t,f)与一组复参考向量hr之间的复余弦相似度作为聚类特征。为了简化，在本节中我们省略了频率索引f。

复余弦相似度（也称为复数值角度的余弦）表示为Γr(t)，通过复空间中的标准化内积计算，可以在每个TF箱(t,f)处计算，如下所示：
$$
\Gamma_r(t) = \frac{X(t) \cdot H_r}{|X(t)| \cdot |H_r|}.
$$
其中$X(t) = [X_1(t,f), \ldots, X_M(t,f)]^T$。这里Γr(t)通常是复数，并表示X(t)和hr之间的相似度。为了方便表示，当提到两个通用向量z1和z2之间的复余弦相似度时，我们也用Φ(z1,z2)表示它。

使用向量表示法，方程（2）给出：
$$
X(t) = \sum_{j=1}^{N} h_j \cdot S_j(t),
$$
其中$H_j = [H_{1j}(f), \ldots, H_{Mj}(f)]^T$且$S_j(t) = S_j(t,f)$。

如果我们假设假设1成立，则方程（6）变为：
$$
X(t) \approx H_j \cdot S_j(t), \quad \forall t \in E_j,
$$
其中Ej是源Sj(t)占主导地位的时间索引集。

如附录A所示，将复向量Hj乘以复标量$S_j(t) = |S_j(t)| e^{i\phi(t)}$只会改变Γr(t)与另一个参考向量hr之间的相位。因此，对于所有属于Ej的TF箱，我们有：
$$
\Gamma_r(t) = X(t) \cdot H_r \cdot |X(t)| \cdot |H_r| = \Phi(H_j \cdot S_j(t), h_r) = \Phi(H_j, h_r) e^{-i\phi(t)}.
$$
这意味着对于Ej中的所有TF箱，X(t)与参考向量hr之间的复余弦相似度Γr(t)将是相同的，仅相差一个未知的相位。因此，可以根据与源相关的混合向量Hj的多样性进行聚类。

为了估计TF掩蔽，我们选择使用每个频率带的这些复余弦相似度向量作为特征向量，记为C(t)，定义如下：
$$
C(t) = \Phi_1(t), \Phi_2(t), \ldots, \Phi_L(t)^T = \sum_{j=1}^{L} \Phi(H_j, h_1) e^{-i\phi(t)}, \Phi(H_j, h_2) e^{-i\phi(t)}, \ldots, \Phi(H_j, h_L) e^{-i\phi(t)} = \sum_{j=1}^{L} \Phi(H_j, h_j) e^{-i\phi(t)}.
$$
其中L是选定的参考向量数量，C_j = \Phi(H_j, h_1), \ldots, \Phi(H_j, h_L)^T。

应该注意的是，C(t)是在每个TF箱(t,f)处定义的。因此，相位因子$e^{-i\phi(t)}$在TF箱之间是变化的。然而，对于任何给定的TF箱，C(t)始终与与源j相关联的固定向量C_j共线。因此，选择L个复数正交向量作为参考向量是更优的选择。这种方法确保了在公式(9)中定义的向量C(t)中没有冗余信息。为了确定参考向量的最佳数量L，我们进行了多次测试，发现设置L=M能够在估计的TF掩码方面提供最佳的性能与计算时间比。因此，在测试部分，我们将使用M个正交复数向量作为参考向量。然后，为了进行聚类，我们采用了Sawada等人（2011年）引入的统计框架。由于所提出的聚类特征与Sawada等人（2011年）考虑的标准化观测向量不同，我们对特征向量C(t)应用了归一化和白化步骤，以获得处理后的特征向量Z(t)。这个过程确保了尺度不变性，并减少了其组成部分之间的统计依赖性。具体来说，首先将C(t)归一化得到C?(t)，然后通过白化矩阵W进行变换，并重新归一化以产生Z(t)，如下所示：(10)C?(t)=C(t)‖C(t)‖，Z(t)=WC?(t)‖WC?(t)‖，其中白化矩阵定义为W=D?12EH，E和D是协方差矩阵E{C?(t)C?H(t)}=EDEH的特征向量和特征值。如上所述，特征向量C(t)受到局部相位因子的影响，该因子在TF区间内变化，但表现为所有组件共有的全局标量因子。接下来，使用对这种相位变化不变的概率模型进行聚类。具体来说，聚类是通过将高斯混合模型拟合到向量Z(t)上进行的，就像Sawada等人（2011年）用于建模标准化观测值的方法一样：(11)p(Z(t)|θ)=∑k=1Nαk?p(Z(t)|dt=k,ak,σk)，其中dt表示与Z(t)相关联的簇索引，θ={a1,σ1,α1,…,aN,σN,αN}是混合模型参数集，αk=p(dt=k|ak,σk)是dt=k的先验概率，p(Z(t)|dt=k,ak,σk)是在dt=k条件下Z(t)的条件概率密度函数，我们用以下复数值高斯概率分布来建模（Sawada等人，2007年，Sawada等人，2011年）：(12)p(Z(t)|dt=k,ak,σk)=1(πσk2)M?1?exp?‖Z(t)?(akHZ(t))?ak‖2σk2，其中ak和σk2分别是每个簇的质心（单位范数‖ak‖=1）和方差。距离‖Z(t)?(akHZ(t))?ak‖表示向量Z(t)与索引为k的簇的单位范数质心ak定义的线的正交偏差，表明向量Z(t)最有可能属于该簇。较小的偏差表示Z(t)属于该簇的概率更高。应当注意的是，这个概率模型仅依赖于Z(t)在方向ak上的投影，因此对影响Z(t)的全局相位因子是不变的。为了估计参数θ和每个TF点上每个簇的后验概率γk(t)=p(dt=k|Z(t),θ)，我们采用了受Sawada等人（2011年）启发的迭代期望最大化（EM）算法。这些概率实际上是我们希望获得的概率掩码。在期望步骤中，这些后验概率使用贝叶斯定理确定：(13)γk(t)=p(dt=k∣Z(t),θ′)=p(dt=k∣ak′,σk′)?p(Z(t)∣dt=k,ak′,σk′)p(Z(t)∣θ′)=αk′?p(Z(t)∣dt=k,ak′,σk′)∑l=1Nαl′?p(Z(t)∣dt=l,al′,σl′)，其中θ′={a1′,σ1′,α1′,…,aN′,σN′,αN′}是当前迭代的参数集。在最大化步骤中，通过最大化辅助函数Q(θ,θ′)来估计参数集θ的参数，该辅助函数定义为：(14)Q(θ,θ′)=∑t=0T?1∑k=1Nγk(t)logαkp(Z(t)|dt=k,ak,σk)。如附录B所述，新质心ak的更新由矩阵Rk的最大特征值对应的特征向量给出，矩阵Rk定义为：(15)Rk=∑t=0T?1γk(t)?Z(t)ZH(t)。关于参数σk2和αk，如附录B中详细说明的，它们使用以下两个关系进行更新：(16)σk2=∑t=0T?1γk(t)?‖Z(t)?(akHZ(t)).ak‖2M?∑t=0T?1γk(t)，(17)αk=1T∑t=0T?1γk(t)。这两个期望和最大化步骤不断迭代，直到收敛，当两个连续参数θ值之间的差异低于指定阈值时收敛。重要的是要注意，EM算法对初始化非常敏感：选择的初始值可能会显著影响最终结果。参考方法（Sawada等人，2011年，Sawada等人，2007年）随机初始化EM算法，这并不总是能得到最佳结果。在我们的方法中，我们建议采用不同的方法来初始化EM算法。我们通过计算观测向量X(t)与用于导出公式(9)中描述的特征向量的L个参考向量之间的厄米角向量来初始化掩码。这些角度，称为ΨH(t)，使用以下方程计算：(18)ΨH(t)=cos?1(|C(t)|)，其中C(t)是公式(9)中定义的向量。接下来，我们应用模糊C均值（FCM）聚类算法（Bezdek，1981年）对厄米角向量ΨH=[ΨH(0),…,ΨH(T?1)]（大小为L×T）进行分类。然后使用这种聚类算法获得的隶属函数来初始化γk(t)掩码。重要的是要强调，在EM算法中使用厄米角进行初始化是一种新颖的方法，可能会提高算法的收敛性和准确性。一旦EM算法收敛，就使用Sawada等人（2007年）Sawada等人（2011年）提出的方法来解决不同频带之间的经典排列问题。需要注意的是，这种方法依赖于每个频带中后验概率序列γk(t)之间的频率相关性。该方法包括两个主要阶段。第一阶段涉及全局优化步骤，该步骤基于序列γk(t)及其相应质心之间的相关性来最大化成本函数（Sawada等人，2011年）。第二阶段旨在改进在第一阶段获得的排列矩阵Π的估计。这涉及在特定频率范围内最大化相关性的局部优化过程（Sawada等人，2011年）。这两个步骤不断迭代，直到收敛，从而得到最终版本的排列矩阵Π，其维度为N×K。收敛并重新索引频率索引f后，所需的概率掩码Mj(t,f)被定义为与估计的排列矩阵Π相关联的后验概率γk(t,f)，如下方程所示：(19)Mj(t,f)=γk(t,f)|k=find(Π(:,f)=j)，j∈[1,N]。2.2. 相对传递函数估计在我们方法的第二步中，我们首先为每个源索引j和每个频带f确定一组TF点，从而估计RTF Fij(p)(f)。这导致了一组时间索引njf，这些索引最好地验证了我们的工作假设（3）。我们将这些njf索引定义为满足以下条件的索引t：(20)t∈njf如果Mj(t,f)≥η?max(Mj(:,f))，其中η∈[0,1]是一个控制满足此条件的索引“t”数量的阈值，max(Mj(:,f))表示每个频带f上掩码Mj(t,f)的最大值。在确定了最相关的单源TF点(njf,f)之后，我们通过以下关系估计RTFs Fij(p)(f)来结束这一步骤，其中均值E?[?]是在索引njf上计算的：(21)Fij(p)(f)≈E?Xp(njf,f)Xi(njf,f)≈E?Hpj(f)?Sj(njf,f)Hij(f)?Sj(njf,f)≈Hpj(f)Hij(f)，i∈[1,M]，j∈[1,N]，p∈[1,M]?{i}。需要注意的是，在方程(21)中，索引i作为参考传感器。如果我们将它的值设置为区间[1,M]内的任何数字，那么我们将估计与该索引i对应的传感器上源（空间图像）的贡献。在本节的其余部分，我们将专注于估计索引i=1的传感器上的源的空间图像。2.3. 源空间图像的估计在这第三步中，我们提出了一种在TF平面上重建源的新技术，从而获得分离源的空间图像。这种技术显著减少了TF掩蔽操作引入的伪影，并且即使源的TF表示不完全不相交，也能分离源。在以下两个小节中，我们将详细描述我们的重建技术，包括确定情况和不确定情况。2.3.1. 确定情况为了清晰起见，我们在两个源的卷积混合情况下提供了我们方法的第三步的数学基础，即M=N=2。可以从中直接推导出M=N>2的情况。此外，我们将专注于估计传感器上索引为“i=1”的源的空间图像s1jimg(n)。在这种情况下，两个观测值表示如下：(22)X1(t,f)=∑j=12H1j(f)Sj(t,f)，X2(t,f)=∑j=12H2j(f)Sj(t,f)。我们使用在第二步中估计的RTFs Fij(p)(f)，其中i=1，p=2和j=1,2，来重新组合这两个观测值，如下所示：(23)X2(t,f)?F12(2)(f)?X1(t,f)=S?1(t,f)，X2(t,f)?F11(2)(f)?X1(t,f)=S?2(t,f)。鉴于F11(2)(f)=H21(f)H11(f)和F12(2)=H22(f)H12(f)基于方程(21)中的关系，并利用方程(22)，(23)中的关系，我们可以得出：(24)S?1(t,f)=H21(f).H12(f)?H22(f).H11(f)H12(f)?S1(t,f)S?2(t,f)=H22(f).H11(f)?H21(f).H12(f)H11(f)?S2(t,f)如Albouy和Deville（2003年）所述，为了最终获得一个传感器上源的贡献，我们建议添加一个额外的后处理步骤。这一步涉及将信号S?j(t,f)乘以过滤器Gj(f)，如下所示：(25)Gj(f)?S?j(t,f)=Yj(t,f)，j∈{1,2}，其中(26)G1(f)=1F11(2)(f)?F12(2)(f)，G2(f)=1F12(2)(f)?F11(2)(f)。使用关系(26)，(24)和F1j(2)(f)的表达式，我们得到：(27)Y1(t,f)=H11(f)?S1(t,f)=S11img(t,f)Y2(t,f)=H12(f)?S2(t,f)=S12img(t,f)通过将yj(n)表示为Yj(t,f)的逆STFT，我们得到：(28)y1(n)=h11(n)?s1(n)=s11img(n)y2(n)=h12(n)?s2(n)=s12img(n)这些信号实际上是第一个传感器上源信号s1(n)和s2(n)的空间图像。同样重要的是要提到，传感器i=2上的空间图像s2jimg(n)可以通过用F2j(1)(f)替换RTFs F1j(2)(f)来估计。此外，所提出的方法可以很容易地推广到N>2的情况。2.3.2. 不确定情况在不确定情况（N>M）中，我们引入了一种估计源空间图像的新技术。根据第2节开头所述的假设2，我们假设在每个TF点，主导源的数量（P）小于或等于观测值的数量（M）。因此，这项技术的第一步涉及检测每个TF点上的P个主导源。我们使用估计的掩码Mj(t,f)，j=1,…,N，来进行这种检测。一旦检测到主导源，估计过程如下进行。对于TF点上感兴趣的源是主导源的情况，我们应用为确定情况开发的方法。对于TF点上源不是主导源的情况，其贡献是通过软（概率）TF掩蔽来估计的。为了说明这种技术，让我们考虑一个涉及三个源和两个混合的简单不确定情况。这种技术的推广到其他不确定情况是直接的。在这种情况下，两个观测值可以表示如下：(29)X1(t,f)=∑j=13H1j(f)Sj(t,f)，X2(t,f)=∑j=13H2j(f)Sj(t,f)。首先，我们根据以下分类方案将TF点分为三组：(30)(t,f)∈E12(f)如果min{M1(t,f),M2(t,f)}>M3(t,f)E13(f)如果min{M1(t,f),M3(t,f)}>M2(t,f)E23(f)如果min{M2(t,f),M3(t,f)}>M1(t,f)其中Ejp(f)将频率带分组，其中源Sj(t,f)和Sp(t,f)是主导的。注意，如果满足第2节开头所述的假设2，则对于属于Ejp(f)的TF点集合，有min{Mj(t,f),Mp(t,f)}?Mq(t,f)，其中Mq(t,f)是对应于可以忽略的源Sq(t,f)的掩码。接下来，我们将分别重新组合属于每个集合Ejp(f)的TF点。让我们从集合E12(f)中的TF点开始。由于在这些点上来自源S3(t,f)的贡献可以忽略不计，我们可以将这两个观测值表示如下：(31)X1(t,f)≈H11(f)S1(t,f)+H12(f)S2(t,f)，X2(t,f)≈H21(f)S1(t,f)+H22(f)S2(t,f)，?(t,f)∈E12(f)。与确定情况一样，我们使用在第二步中估计的RTFs Fij(p)(f)，其中i=1, p=2且j=1,2，来重新组合这两个观测值：(32)X2(t,f)?F12(2)(f)?X1(t,f)=S?1(t,f)，X2(t,f)?F11(2)(f)?X1(t,f)=S?2(t,f)，?(t,f)∈E12(f)。通过将(31)以及F11(2)(f)=H21(f)H11(f)和F12(2)(f)=H22(f)H12(f)的表达式代入(32)，我们得到：(33)S?1(t,f)≈H21(f)H12(f)?H22(f)H11(f)H12(f)?S1(t,f)，S?2(t,f)≈H22(f)H11(f)?H21(f)H12(f)H11(f)?S2(t,f)，?(t,f)∈E12(f)。接下来，将信号S?j(t,f)乘以滤波器Gjp(f)，如下所示：(34)Gjp(f)?S?j(t,f)=Yj(t,f)，jp∈{1,2,2,1}，其中(35)G12(f)=1/F11(2)(f)?F12(2)(f)，G21(f)=1/F12(2)(f)?F11(2)(f)。通过将(35)、(33)以及F1j(2)(f)的表达式代入(34)，我们得到：(36)Y1(t,f)=H11(f)?S1(t,f)=S11img(t,f)，Y2(t,f)=H12(f)?S2(t,f)=S12img(t,f)，?(t,f)∈E12(f)。然后，对于集合E13(f)中的TF点，这两个观测值表示如下：(37)X1(t,f)≈H11(f)S1(t,f)+H13(f)S3(t,f)，X2(t,f)≈H21(f)S1(t,f)+H23(f)S3(t,f)，?(t,f)∈E13(f)。与确定情况一样，我们使用在第二步中估计的RTFs Fij(p)(f)，其中i=1, p=2且j=1,3，来重新组合这两个观测值：(38)X2(t,f)?F13(2)(f)?X1(t,f)=S?1(t,f)，X2(t,f)?F11(2)(f)?X1(t,f)=S?3(t,f)，?(t,f)∈E13(f)。通过将(37)以及F11(2)(f)=H21(f)H11(f)和F13(2)(f)=H23(f)H13(f)的表达式代入(38)，我们得到：(39)S?1(t,f)=H21(f)H13(f)?H23(f)H11(f)H13(f)?S1(t,f)，S?3(t,f)=H23(f)H11(f)?H21(f)H13(f)H11(f)?S3(t,f)，?(t,f)∈E13(f)。接下来，将信号S?j(t,f)乘以滤波器Gjp(f)，如下所示：(40)Gjp(f)?S?j(t,f)=Yj(t,f)，jp∈{1,3,3,1}，其中(41)G13(f)=1/F11(2)(f)?F13(2)(f)，G31(f)=1/F13(2)(f)?F11(2)(f)。通过将(41)、(39)以及F1j(2)(f)的表达式代入(40)，我们得到：(42)Y1(t,f)=H11(f)?S1(t,f)=S11img(t,f)，Y3(t,f)=H13(f)?S3(t,f)=S13img(t,f)，?(t,f)∈E13(f)。最后，对于集合E23(f)中的TF点，这两个观测值表示如下：(43)X1(t,f)≈H12(f)S2(t,f)+H13(f)S3(t,f)，X2(t,f)≈H22(f)S2(t,f)+H23(f)S3(t,f)，?(t,f)∈E23(f)。与确定情况一样，我们使用在第二步中估计的RTFs Fij(p)(f)，其中i=1, p=2且j=2,3，来重新组合这两个观测值：(44)X2(t,f)?F13(2)(f)?X1(t,f)=S?2(t,f)，X2(t,f)?F12(2)(f)?X1(t,f)=S?3(t,f)，?(t,f)∈E23(f)。通过将(43)以及F12(2)(f)=H22(f)H12(f)和F13(2)(f)=H23(f)H13(f)的表达式代入(44)，我们得到：(45)S?2(t,f)=H22(f)H13(f)?H23(f)H12(f)H13(f)S2(t,f)，S?3(t,f)=H23(f)H12(f)?H22(f)H13(f)H12(f)S3(t,f)，?(t,f)∈E23(f)。接下来，将信号S?j(t,f)乘以滤波器Gjp(f)，如下所示：(46)Gjp(f)?S?j(t,f)=Yj(t,f)，jp∈{2,3,2,3}，其中(47)G23(f)=1/F12(2)(f)?F13(2)(f)，G32(f)=1/F13(2)(f)?F12(2)(f)。通过将(47)、(45)以及F1j(2)(f)的表达式代入(46)，我们得到：(48)Y2(t,f)=H12(f)?S2(t,f)=S12img(t,f)，Y3(t,f)=H13(f)?S3(t,f)=S13img(t,f)，?(t,f)∈E23(f)。最终的空间图像S1jimg(t,f)的估计表示如下：(t,f)∈E12(f)S?11img(t,f)=Y1(t,f)，S?12img(t,f)=Y2(t,f)，S?13img(t,f)=M3(t,f)X1(t,f)，(t,f)∈E13(f)S?11img(t,f)=Y1(t,f)，S?12img(t,f)=M2(t,f)X1(t,f)，S?13img(t,f)=Y3(t,f)，(49)(t,f)∈E23(f)S?11img(t,f)=M1(t,f)X1(t,f)，S?12img(t,f)=Y2(t,f)，S?13img(t,f)=Y3(t,f)，其中S?1rimg(t,f)=Mr(t,f)X1(t,f)表示使用概率TF掩蔽估计每个TF点中最不显著的源的贡献。然后通过对S?1jimg(t,f)进行逆STFT，获得估计的空间图像的时间版本：(50)s?1jimg(n)=ISTFT{S?1jimg(t,f)}。需要注意的是，传感器i=2上的空间图像s2jimg(n)也可以通过将RTFs F1j(2)(f)替换为F2j(1)(f)来估计。此外，值得一提的是，所提出的方法可以很容易地推广到N>3的其他欠定情况。3.3. 测试结果本节通过三个不同的实验来评估本文提出的方法的性能，这些实验在3.3节中有详细说明，包括3.4节欠定情况和3.5节SiSEC数据的分离结果。前两个实验评估了在确定和欠定情况下人工混合语音信号的分离性能。第三个实验测试了来自信号分离评估活动(SiSEC)的真实欠定混合信号的性能。3.3.1. 测试协议为了进行比较，我们选择了文献中公认有效的、与我们的工作假设兼容且在确定和欠定场景中都适用的方法。所选方法包括TFS（Yamaoka等人，2018年，Yamaoka等人，2021年）、UCBSS（Reju等人，2010年）以及Sawada等人（2011年）和Ito等人（2014年）提出的方法。前两个实验使用了多组语音混合信号。每组包含来自SiSEC数据库的两个语音源的混合信号，采样率为16 kHz，每个信号的持续时间为10秒。混合滤波器是使用Lehmann和Johansson（2008年）描述的工具箱生成的，该工具箱模拟了一个尺寸为4.45 m × 3.55 m × 2.5 m的矩形声学空间，其特征是可变的混响时间RT60。这些混合滤波器的系数hij(n)取决于三个关键参数：•麦克风之间的距离d，•源到达方向的绝对差δφ，•麦克风与源之间的距离D。对于混响时间(RT60)小于250 ms的测试，使用了2048个样本的分析窗口来计算STFT。对于RT60等于或大于250 ms的测试，应用了4096个样本的窗口长度。在所有测试中，都使用了汉宁窗作为分析窗口，重叠率为75%。根据2.2节中描述的标准（见方程(20)），选择了每个源主导的TFbin，所有实验测试的阈值参数η设置为0.95。此外，为了确保EM算法的收敛，每个频率bin的最大迭代次数被设置为50。3.2. 性能评估标准为了评估性能，我们使用了BSS社区中广泛认可的三个指标：信噪比(SDR)、干扰比(SIR)和伪影比(SAR)。这些指标是使用BSSeval工具箱（Vincent等人，2006年）获得的，并以分贝(dB)为单位进行测量。重要的是要强调，SDR评估了任何BSS方法的整体性能。相比之下，SIR评估了方法在减少干扰方面的有效性，而SAR提供了关于分离信号中存在的各种类型伪影的性能洞察。3.3. 确定情况在第一个实验中，我们研究了我们的方法在混响时间增加时的行为，具体来说是RT60∈50,100,150,250,500ms，且在M=N=2的确定情况下。对于这个实验，我们使用了两种不同的麦克风与源之间的距离D∈1m和三个不同的源间角度δφ∈80°,45°,15°。图2总结了d=1 m时RT60的性能结果。这些图中的每个值对应于60次试验计算出的性能指标的平均值或标准差。请注意，对于每个RT60值，我们基于三个δφ值、两个D值和十个不同的源信号实现计算了平均值和标准差，总共得到了60个混合信号。根据图2，我们看到我们的方法在所有RT60值下都在SDR、SIR和SAR方面始终表现出最佳性能。例如，当RT60=50ms时，我们的方法在SDRˉ、SIRˉ和SARˉ方面分别比所有参考方法提高了4.91 dB、1.08 dB和2.08 dB。此外，我们方法的标准差通常低于这四种参考方法，表明性能更加稳定。重要的是要注意，随着RT60的增加，整体性能会下降。特别是当RT60超过250ms时，参考方法的分离性能显著下降。然而，我们的方法仍然优于这些参考方法。我们特别强调我们的方法在SAR方面的有效性，这突显了它在最小化伪影方面的成功。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图2. 确定情况下SDR、SIR和SAR的平均值（左）和标准差（右）作为RT60的函数。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图3. 欠定情况下SDR、SIR和SAR的平均值（左）和标准差（右）作为RT60的函数。3.4. 欠定情况在我们的第二个实验中，我们研究了我们的方法在混响时间RT60增加时的表现，即在M=2和N=3的欠定情况下。在这个实验中，麦克风之间的距离d和麦克风与源之间的距离D分别固定为d=1m和D=1m。其他参数与第一个实验中使用的相同。图3总结了五种方法在SDR、SIR和SAR方面的性能指标的平均值和标准差，对于RT60∈50,100,150,250,500ms。该图再次证实，在欠定情况下，无论RT60的值如何，我们的方法都表现出最佳性能。特别是，我们的方法在SDRˉ方面比Ito方法这一最有效的参考方法分别提高了大约0.67dB、0.36dB和2.43dB。尽管随着RT60的增加性能有所下降，但我们的方法与参考方法之间的性能差距仍然相对稳定。此外，我们方法的标准差通常低于这四种参考方法。重要的是要注意，与确定情况相比，所有方法的性能都会下降。这种下降在所有BSS方法中都很常见，因为随着源的数量增加，关于源信号的假设（例如TF域中的稀疏性）变得不那么有效。我们再次观察到我们的方法与参考方法在SARˉ方面的显著差异，这证实了我们方法引入的伪影明显少于参考方法引入的伪影。接下来，我们研究了我们的方法作为δφ、d、D和稀疏度水平的函数的行为。这里的稀疏度水平对应于源的空间图像的STFT中接近零的元素百分比，即其幅度低于一个预定义的阈值。较高的稀疏度水平表示源更加稀疏。这个稀疏度百分比是分别为每个源计算的，然后计算平均值以确定混合信号的稀疏度水平。在这个实验中，我们关注欠定情况，同时保持RT60=100ms不变，其他参数保持不变。图4展示了在这个实验中获得的SDRˉ的性能。该图显示，我们的方法在δφ和d方面的性能保持稳定，表明我们的方法对这些参数的变化不敏感。然而，我们确实观察到随着麦克风与源之间的距离D的增加，所有方法的性能略有下降。下载：下载高分辨率图像（591KB）下载：下载全尺寸图像图4. 欠定情况下SDRˉ作为δφ、d和稀疏度水平的函数。关于方法作为稀疏度水平的函数的性能，我们通常发现源信号的稀疏度水平增加会导致所有方法在SDRˉ方面的分离质量提高。此外，值得注意的是，当稀疏度水平超过50%时，我们方法的性能保持稳定。这可以解释为我们在第2节开头提出的稀疏度假设比其他比较方法假设的要宽松得多。3.5. SiSEC数据的分离结果这个第三个实验专门用于评估所提出方法在SiSEC数据库中真实世界欠定混合信号情况下的性能，其中M=2和N=3，以评估我们的方法在真实世界环境中的有效性。为此，我们使用了该数据库中特定的数据集，这些数据集对应于男性和女性语音信号的混合。在这个实验中，我们考虑了两种混响时间RT60∈130,250ms和两种麦克风之间的距离d∈5cm,1m。表1展示了在这个第三实验中获得的平均性能，以SDR表示，表中的每个值代表六个不同混合信号的平均SDR。表1显示，我们的方法在SDRˉ方面比Sawada（Sawada等人，2011年）、UCBSS（Reju等人，2010年）、Ito（Ito等人，2014年）和TFS（Yamaoka等人，2018年，Yamaoka等人，2021年）分别提高了大约1.09dB、4.37dB、0.17dB和1.52dB。同样，对于RT60=250ms，我们的方法分别提高了大约0.84dB、3.74dB、0.04dB和1.52dB。表1. 使用SiSEC数据在欠定情况下获得的SDRˉ（M=2和N=3）。方法RT60=130msRT60=250ms空单元格男性女性平均值男性平均值女性平均值Sawada（Sawada等人，2011年）5,286,165,724,764,094,43UCBSS（Reju等人，2010年）2,232,652,441,431,621,53Ito（Ito等人，2014年）6,436,876,644,725,745,23TFS（Yamaoka等人，2018年）4,376,205,293,154,363,75提出的方法6,607结论

在本文中，我们提出了一种新的方法，用于盲源分离欠定或已定的线性卷积混合语音信号。该方法结合了时频（TF）掩蔽和观测重构技术，利用了源在时频域中的稀疏性。与现有方法不同，我们的方法通过使用观测向量和参考向量之间的复余弦相似度作为聚类特征来提高分离效果。此外，我们的方法能够在没有先验知识的情况下盲估计相对传递函数（RTFs），并在欠定情况下引入了一种新的观测重构技术，从而增强了分离性能并减少了时频掩蔽伪影。广泛的测试表明，所提出的方法在减少伪影和提高分离信号质量方面优于传统的基于时频掩蔽的BSS方法。

对于未来的工作，研究将源数量估计技术集成到所提出的框架中将是很有价值的，因为在实际应用中源的数量并不总是已知的。尽管文献中已经提出了一些方法（例如Chetupalli和Habets（2023）的研究），但大多数方法都是为单通道或已定混合信号开发的，不能直接应用于所考虑的欠定卷积场景。因此，将这些方法适应到所提出的基于时频聚类和RTF的框架中仍然是一个有趣的研究方向。另外，我们的工作依赖于窄带近似，该近似假设卷积混合信号可以在每个频带内表示为瞬时复值混合信号。这种近似在理论上仅当分析窗口长度超过脉冲响应长度时才成立，这在高混响环境中可能会限制性能。这项工作的自然扩展将是结合更现实的模型，例如Wang等人（2022）提出的卷积传递函数（CTF），以便更好地表示长脉冲响应，并可能提高分离性能。

作者贡献声明

Mostafa Bella：撰写 – 审稿与编辑、撰写 – 原始草稿、软件开发、方法论、数据分析、数据整理、可视化、验证、概念化。

Hicham Saylani：方法论、指导、验证、可视化、撰写 – 审稿与编辑。

Shahram Hosseini：方法论、指导、验证、可视化、撰写 – 审稿与编辑。