基于广义最大相关熵的多状态递归核在线学习算法

《Signal Processing》：A generalized maximum correntropy based multi-state recurrent kernel online learning algorithm

　　

• •
  我们提出了一种新颖的状态反馈结构，利用前多个时刻的状态信息。
• •
  基于状态反馈结构和广义最大相关熵（GMC），我们提出了一种用于核在线学习的多状态递归GMC（MSRKGMC）算法。
• •
  通过收敛性分析来控制权重参数的演化。
• •
  通过收敛性分析来控制权重参数的演化。

引言

在许多实际应用中，底层的输入-输出关系高度非线性，使得传统的线性学习模型不足以进行精确的建模和预测。因此，非线性自适应滤波和在线学习在时间序列预测、复杂系统辨识和回归任务中发挥着重要作用。核方法作为一种有效的非线性建模方法，由于其能够将输入数据隐式地映射到高维特征空间，在该空间中原始空间中的非线性关系通常可以被更高效地处理，因此得到了广泛应用。核方法的理论基础是再生核希尔伯特空间（RKHS），在该空间中，内积可以通过核函数进行评估，而无需显式地构造非线性映射。基于这一框架，研究人员开发了许多核在线学习算法，例如核最小均方（KLMS）算法[1]、核仿射投影算法[2]和核递归最小二乘算法[3]，它们在多种自适应非线性滤波应用中取得了成功[4]、[5]、[6]。

在核自适应滤波（KAF）领域，引入反馈结构被认为是通过利用历史信息来提高收敛速度和滤波精度的有效方法。因此，研究人员在不同的优化准则下开发了各种基于反馈的算法。例如，在均方误差（MSE）准则下，提出了线性递归核在线学习（LRKOL）算法[7]，该算法将单个延迟输出作为线性反馈项，能够高效地利用过去的梯度信息。状态递归核在线学习（SRKOL）算法[8]与使用标量输出的LRKOL算法不同，它接收来自核状态向量的反馈，并在每个训练步骤中循环更新该状态。核最小均方单反馈（SF-KLMS）算法[9]与使用向量形式递归权重的LRKOL算法不同，仅使用标量逆权重和单个延迟输出。带有多个延迟反馈的正则化核最小均方（RKLMS-MDF）算法将反馈扩展到多个延迟[10]。此外，基于随机傅里叶特征的非线性递归核归一化LMS多反馈算法使用多个延迟的期望输出作为反馈，并引入随机傅里叶特征（RFF）来获得固定维度的特征空间，从而缓解网络规模增长的问题[11]、[12]。

尽管高斯噪声模型因其数学上的可处理性而被广泛使用，但它们往往不足以描述实际的信号处理环境。因此，基于MSE准则的传统核自适应滤波算法在许多实际应用中会遭受严重的性能退化。在这些应用中，测量或传输过程可能会被脉冲干扰和重尾噪声所破坏。例如，有报道指出，在背景干扰和脉冲干扰的联合作用下，电力线通信中存在脉冲噪声[13]。类似的噪声也出现在图像采集和传输中，闪电、工业机器、汽车启动器、高压输电线绝缘故障、电磁干扰以及未加保护的电开关等可能引入短时且高能的脉冲[14]。因此，为了增强鲁棒性，最大相关熵准则（MCC）被广泛采用[15]、[16]、[17]、[18]、[19]。与依赖于全局二阶统计量的MSE不同，MCC使用核函数来度量局部误差相似性，对偏差进行降权，从而保持稳定的更新。然而，传统的MCC通常采用对称高斯核，其固定的形状限制了其刻画非对称或重尾噪声的能力。广义最大相关熵（GMC）通过在广义高斯密度（GGD）上构建核函数来解决这一问题，GGD具有可调节的形状参数，在复杂非高斯场景中提供了更大的灵活性[20]、[21]、[22]、[23]、[24]。

为了进一步提高滤波性能，研究人员将反馈机制引入基于MCC/GMC的KAF中。例如，核递归最大相关熵算法将MCC引入核递归最小二乘框架，而带有多个反馈的核递归最大相关熵算法进一步利用多个单延迟输出反馈来提高滤波精度和对异常值的鲁棒性，以及其简化版本——基于最大相关熵准则的线性递归核在线学习（LRKOL-MCC）算法[25]，该算法仅使用单输出延迟反馈。类似地，核广义最大相关熵（KGMC）算法将GMC引入核自适应滤波框架，而基于KGMC的单反馈（SF-KGMC）算法进一步利用历史输出信息来提高收敛速度和滤波精度[26]。据我们所知，基于多反馈结构的状态反馈的鲁棒核自适应滤波算法尚未被提出。

本文提出了一种用于核在线学习的多状态递归广义最大相关熵（MSRKGMC）算法。所提出的算法引入了一种新颖的反馈结构，其中反馈信息来源于前几个连续时刻的历史状态，从而形成具有短期记忆特征的增强状态向量。这种对多尺度时间信息的显式利用使模型能够更精细地刻画系统的动态演化，显著增强了其对复杂动态模式的记忆保持能力和跟踪性能。在损失函数方面，与基于二阶统计量的一些传统准则（如MSE）相比，GMC准则对较大误差项施加的惩罚相对较小。因此，在处理包含异常值或重尾噪声的数据时，它表现出更强的鲁棒性和稳定性，确保所提出算法在非高斯噪声环境中的学习效率和估计精度。同时，在参数更新过程中，MSRKGMC采用自适应训练方法联合更新核函数权重和递归反馈权重，保证收敛行为。

本文的主要贡献如下：(1) 提出了一种新颖的状态反馈结构，能够同时收集和利用前多个时刻的状态信息，从而更有效地利用状态信息；(2) 针对非高斯噪声环境，采用更加鲁棒的GMC准则来提高状态算法在非高斯噪声环境中的滤波性能；(3) 通过收敛性分析来控制权重参数的演化。

本文的结构如下。第2节简要介绍了核方法的概念、广义相关熵准则和SRKOL算法。第3节给出了新的多状态递归反馈结构以及MSRKGMC的推导过程。第4节分析了所提算法的收敛行为。第5节给出了若干仿真实验。第6节给出了结论。

章节摘要

核方法

核方法通过在再生核希尔伯特空间（RKHS）中表示输入数据，为非线性学习提供了一个有效的框架。给定一个合适的正定核函数，原始输入空间中的非线性关系可以通过在相应的RKHS中进行线性函数估计来表示。需要注意的是，这种表示并不意味着所有非线性问题都可以简单地转化为线性问题。相反，其有效性取决于核函数的选择。

多状态递归反馈结构

本文提出了一种多状态递归核广义最大相关熵（MSRKGMC）算法，它是具有单状态反馈的递归核算法[8]的扩展和改进。MSRKGMC在隐藏层中引入了一种多状态递归机制，使得核网络的当前输出不仅依赖于与当前输入样本对应的核评估向量，还依赖于多个先前时刻的隐藏层状态信息。

收敛性分析

在自适应滤波中，收敛性分析是确保算法可靠性和性能的核心方面。虽然传统的固定学习率LMS算法简单，但在非线性和非平稳环境中很难同时实现快速收敛和稳定性。因此，Lyapunov稳定性理论为分析动态系统的收敛行为提供了严格的数学工具。通过构建一个合适的……

仿真结果

在本节中，我们呈现了若干实例来说明所提算法在时间序列预测、非线性回归和实际应用中的性能。比较算法从两个角度选取，即反馈结构和鲁棒学习准则。具体包括：基于MSE的单反馈方法（LRKOL[7]、SRKOL[8]和SF-KLMS[9]）、基于MSE的多反馈方法（RKLMS-MDF[10]）、基于MCC的鲁棒反馈方法……

结论

在本文中，我们提出了一种基于广义最大相关熵的多状态递归核在线学习算法（MSRKGMC），用于非高斯噪声环境中的非线性预测和回归。所提出的方法在统一的核自适应滤波框架中将多状态反馈结构与GMC准则相结合。通过复用前几个时间瞬时的核状态信息，多状态反馈机制能够保留更丰富的时间信息……

CRediT作者贡献声明

Ji Zhao（赵纪）：写作——审阅与编辑、监督、方法论、经费获取、概念化设计。Peng Chen（陈鹏）：写作——初稿撰写、软件、调查。Qiang Li（李强）：经费获取。

利益冲突声明

作者声明不存在已知的可能影响本文报告工作的竞争性经济利益或个人关系。

Ji Zhao|Peng Chen|Qiang Li