基于非对称互相关熵的稳健删失回归用于高效分布式估计

《Digital Signal Processing》：Robust censored regression with asymmetric correntropy for efficient distributed estimation

　　

摘要 本文在存在截尾测量的情况下，开发了一种鲁棒且计算高效的分布式估计策略。通过结合最大非对称互信息准则与快速傅里叶变换，提出了一种新颖的截尾回归扩散频域最大非对称互信息准则（CR-DFDMACC）算法，该算法对非高斯噪声具有鲁棒性，并且在截尾测量条件下具有计算高效性。对提出的CR-DFDMACC算法进行了统计分析，包括均值稳定性和均方性能。数值结果验证了理论分析，并表明所提出的CR-DFDMACC算法在存在截尾测量和非高斯噪声的情况下能够实现鲁棒且计算高效的分布式估计，尤其是在非对称噪声条件下。

引言 近年来，分布式处理在大规模数据处理和联网系统中引起了广泛关注，典型应用包括互联产业、传感器网络、到达方向估计和物联网[1]、[2]、[3]、[4]。在这些场景中，分布式算法能够实现协同学习任务，其中节点通过信息交互和聚合协同处理流式数据。经典的扩散最小均方（DLMS）算法有效地以协作方式解决了分布式学习问题[5]。基于该范式，开发了许多分布式学习策略，其中相邻节点交换和聚合本地信息以提升网络范围内的估计性能，并演变为多种分布式扩散策略[6]、[7]、[8]。

随着学习参数数量的增加，时域自适应算法的计算复杂度显著增加。时域卷积和关联运算可以通过快速傅里叶变换（FFT）操作在频域（FD）中实现，从而提供计算高效的解决方案[9]、[10]。多种频域自适应算法相继出现，并提出了一种统一模型从一般角度执行自适应算法[11]、[12]。随后，FFT和重叠保存方法被引入到网络中的分布式自适应算法。提出了一系列扩散频域自适应算法，这些算法可以降低计算负担并在链路噪声下实现有效性能[13]。开发了一种扩散分块频域方法以减轻网络中的数据块延迟[14]。在含噪输入情况下，引入偏差补偿项开发了具有周期性更新和通信机制的扩散频域偏差补偿算法[15]。为处理缺失回归，文献[16]建立了基于正则化的扩散频域算法及其归一化版本。在多任务场景中，提出了一种基于未知共享预测结构任务的分布式频域多任务学习，该学习需要较低的计算成本[17]。

非高斯干扰在实际应用中经常遇到，这往往会导致基于均方误差（MSE）准则的严重性能退化。基于一系列Huber代价函数的M估计方法已被开发出来，以对抗非高斯噪声对分布式估计的不利影响[18]、[19]。互信息准则因其光滑有界特性和对异常值的鲁棒性而备受关注[20]、[21]、[22]、[23]。为提高学习能力，提出了一种使用两个高斯函数混合作为核的混合互信息[24]。后来，文献[25]中开发了多核互信息，其中混合高斯核的每个分量可以在不同位置居中。基于互信息的算法中的核宽度决定了鲁棒性、收敛速度和稳态精度之间的权衡。文献[26]中提出了一种自适应核宽度算法，以自适应选择核宽度，使估计误差沿性能面最陡下降方向减小，从而改善收敛速度。文献[27]中开发了一种可变核宽度（VKW）策略以增强收敛性能，其中最佳核宽度在每次迭代中通过最大化误差非线性的指数项来计算。文献[28]中提出了一种基于互信息的策略来解决分布式估计问题，并制定了扩散最大互信息准则（DMCC）。在脉冲噪声情况下，文献[29]中设计了一种基于广义最大互信息的扩散策略，以展示其在分布式估计方面的有效性。文献[30]中引入了递归最大互信息来处理分布式估计，其中输入含噪且输出信号遭受非高斯噪声。考虑变量误差模型，文献[31]中应用了扩散混合最小总误差熵算法以实现无偏分布式估计。对于对称误差分布，基于对称高斯核的传统互信息准则能够良好地表现。然而，当估计误差服从非对称分布时，传统对称互信息准则的性能可能会退化。非对称互信息准则采用非对称高斯核，随后被引入以解决这一局限性，并已被证明能够在非对称噪声下改善估计性能[32]、[33]。

先前报道的大多数方法集中在完整测量上，即直接使用完整的传感器信息。然而，由于检测限特性，传感器偏置损坏的测量经常出现，且只能直接观测到底层测量的一部分，这被称为截尾测量[34]、[35]、[36]。在截尾测量情况下，基于完整消息的自适应算法不适用，因为存在样本选择偏差（SSB）。一个超出范围的测量值系统可以由截尾回归（CR）模型指定[37]，该模型可以解决与具有未知统计特性的截尾测量相关的问题。可以在CR模型中加入SSB补偿器以实现无偏估计[38]、[39]。在存在截尾测量的情况下，文献[40]研究了截尾回归DLMS（CR-DLMS）算法，并提供了相应的理论分析。考虑到非高斯干扰，出现了几种鲁棒的CR自适应算法，通常，使用混合范数和Huber函数的估计器型CR算法已显示出改进的估计性能[41]、[42]、[43]。利用互信息准则，提出了基于互信息的CR来解决脉冲噪声[44]。为缓解固定核宽度下收敛率与稳态失配之间的权衡，文献[45]中开发了一种结合VKW策略的基于互信息的CR算法。文献[46]中构建了一个统一视角，以制定脉冲噪声场景下一系列鲁棒的CR算法。

在本工作中，我们针对截尾测量开发并分析了一种基于非对称互信息准则的鲁棒且计算高效的分布式算法。本文的主要贡献如下：1）我们提出了一种新颖的鲁棒高效扩散算法，称为截尾回归扩散频域最大非对称互信息准则（CR-DFDMACC）算法，该算法确保了对非高斯噪声的鲁棒性，并实现了截尾测量的计算高效分布式估计。2）对提出的CR-DFDMACC算法进行了全面的统计分析，包括其均值稳定性和网络范围内的稳态均方偏差，其理论发现有助于性能预测。3）数值实验验证了理论分析，并展示了所提出的CR-DFDMACC算法的有效性，尤其是在计算效率和对非对称干扰的鲁棒性方面。

本文其余部分组织如下。第II节介绍分布式CR。第III节设计鲁棒高效的分布式算法。第IV节分析CR-DFDMACC算法的性能。第V节给出数值研究。第VI节得出结论。

网络截尾回归 考虑一个由N个节点组成的扩散网络，这些节点协同学习感兴趣的参数。对于每个节点i，在时间n处的期望信号d_i(n)由以下模型描述：

d_i(n) = u_i^T(n) w_o + η_i(n) + ν_i(n)，i=1,2,...,N，

其中w_o ∈ R^M是参数向量，u_i(n)是输入，u_i(n)=[u_i(n), u_i(n-1), ..., u_i(n-M+1)]^T ∈ R^M是回归量，η_i(n)是方差为σ_i^2的零均值背景噪声，ν_i(n)是零均值加性噪声。在鲁棒CR问题中通常做出以下假设[32]。

CR-DFDMACC算法的设计 本节以计算高效的方式提出了截尾测量的鲁棒高效扩散算法。

性能分析 本节对提出的CR-DFDMACC算法进行性能分析。为了使分析具有可操作性，我们将频域学习规则转换为时域对应形式。设F ∈ C^{2M×2M}表示离散傅里叶变换矩阵。频域输入对角矩阵表示为X_i(b?) = diag{u_i(b?)} ∈ C^{2M×2M}。我们将(43)重写为频域矩阵形式[48]：

q_i(b?) = F Q_{10} F^{-1} [q_i(b?-1) + μ_{q_i} X_i^H(b?) z_i(b?)]，

其中Q_{10} = [I_M 0; 0 0] ∈ R^{2M×2M}是约束矩阵。循环矩阵结果为X_i(b?)。

数值结果 本节进行数值实验以验证理论分析并评估所提出算法的性能。我们考虑一个由十个节点组成的连通网络。

结论 本文提出了在存在截尾测量和非高斯干扰时一种新颖的鲁棒计算高效扩散算法。所提出的CR-DFDMACC算法通过FFT操作策略结合了SSB校正和非对称互信息，使其能够在截尾测量条件下实现鲁棒且计算高效的分布式估计。对CR-DFDMACC进行了全面的分析，包括均值稳定性和稳态均方偏差。

CRediT作者贡献声明 余涛：概念化、方法论、原始草稿撰写。赖剑帆：软件、验证、形式分析。王彬宇：软件、可视化。Rodrigo C. de Lamare：审阅与编辑。卢璐：审阅与编辑。余毅：审阅与编辑、可视化。

利益冲突声明 作者声明没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

余涛 | 赖剑帆 | 王彬宇 | Rodrigo C. de Lamare | 卢璐 | 余毅