一种混合互信息准则及其在鲁棒广泛学习系统中的应用

《Neurocomputing》：A hybrid correntropy criterion and its application to robust broad learning systems

　　摘要
作为一种高效且被广泛研究的学习方法，广义学习系统（BLS）在非线性回归和时间序列预测任务中表现出了优异的性能。为了进一步提高BLS在非高斯噪声环境中的鲁棒性，基于不同的标准（如单核相关系数标准），提出了几种改进的BLS变体。然而，这些方法仍然存在显著的局限性。例如，单核方法无法全面适应复杂的噪声分布。为了解决这个问题，本文提出了一种新的相关系数标准，称为混合相关系数标准（HCC），通过融合高斯分布和广义高斯分布核的优势，提供了对误差分布更为全面和灵活的统计描述。所提出的HCC在一个通用框架内统一了（广义）最大相关系数标准，展现了卓越的灵活性。将HCC应用于BLS框架后，我们进一步开发了基于混合相关系数的广义学习系统（HC-BLS），并在收敛性、鲁棒性和计算复杂性方面进行了系统的理论分析。在人工数据集、UCI基准数据集、时间序列预测和矿尘预测任务上的实验表明，HC-BLS在各种非高斯噪声环境中的性能优于现有的鲁棒BLS变体。

引言
广义学习系统（BLS）作为一种高效且有效的方法，已被认为是一种替代深度神经网络进行各种回归任务的方案，这得益于其扁平的架构以及通过伪逆运算实现的快速训练能力[1]。由于仅需优化输出权重，而特征映射和增强映射保持不变，BLS为评估具有相对较低训练成本的鲁棒学习标准提供了一个合适的框架。然而，标准BLS的一个显著局限性在于它依赖于均方误差（MSE）标准。由于MSE是在高斯噪声假设下推导出来的，BLS可能对现实世界数据中常见的非高斯噪声和异常值敏感[2][3]。
为了提高BLS对噪声数据的鲁棒性，已经提出了一系列改进方法。例如，鲁棒BLS（RBLS）利用贝叶斯框架通过正则化和增广拉格朗日优化来增强理论鲁棒性[4]；加权BLS（WBLS）引入了一种特定的加权机制来抑制异常值并促进增量学习[5]。尽管这些方法提高了鲁棒性，但它们通常受到对多种噪声特性适应能力有限的约束[6]。随着信息论学习标准（特别是最大相关系数标准MCC）的引入，取得了重大进展[7]。基于相关系数的BLS（C-BLS）利用MCC来捕捉误差分布的高阶矩，从而显著提高了对异常值的鲁棒性[8][9]。后续研究通过采用广义最大相关系数（GMC）标准等变体进一步提高了模型的鲁棒性[10]。此外，最近的研究还通过引入双重松弛机制[11]或集成架构[12]显著增强了BLS的建模灵活性。然而，尽管在鲁棒标准 and BLS架构方面取得了这些进展，许多现有的基于相关系数的BLS变体仍基于固定的单核公式，这限制了它们适应复杂和变化误差分布的能力。具体来说，高斯核通常能很好地描述小幅度和中等幅度的误差，但其对大幅异常值的敏感性可能会降低鲁棒性。相比之下，广义高斯分布（GGD）核通过其形状参数提供了一种灵活的尾部控制机制，但其性能强烈依赖于该参数的正确设置，而在实际应用中这个参数通常是未知的。为了克服单核方法的局限性，研究人员进一步开发了混合和多核相关系数框架，如混合相关系数BLS（MC-BLS）[13]、多核相关系数BLS（MKC-BLS）[14]和广义多核相关系数BLS（GMKC-BLS）[15]。这些方法结合了多个核来模拟更广泛的误差分布。然而，这些方法不可避免地引入了更大的计算开销和对核参数选择更高的敏感性。这是因为它们的性能取决于多个与核相关的参数，如中心和带宽，这可能在某些情况下限制了它们的实际应用。

受到混合MCC框架[16]的启发以及高斯核和GGD核互补特性的启发，本文提出了一种混合相关系数标准（HCC），通过一个可调的权重参数将这两种核结合在一起。通过利用结构化的双核融合机制，HCC增强了模型适应复杂噪声分布的能力。与单核方法相比，它在保持计算效率的同时提供了更丰富的误差描述能力。基于HCC，我们开发了混合相关系数广义学习系统（HC-BLS）。它不仅包含了C-BLS和GC-BLS作为特例，还在不同的噪声环境中实现了更高的鲁棒性和灵活性。本工作的主要贡献总结如下：
(i) 通过融合高斯核和GGD核，提出了一种异构混合相关系数标准（HCC），如（10）所示。与现有的MCC、GMC和混合/多核相关系数（MMCC）方法相比，HCC结合了高斯核对小幅度和中等幅度误差的局部描述能力以及GGD核对重尾误差的建模能力，后者由形状和尺度参数控制。这样，HCC可以在统一的标准下同时保留来自正常样本的信息并抑制异常值的影响。此外，HCC还包括MCC、GMC和MMCC作为特例。其关键属性，包括有界性、混合范数行为和类似-的渐近行为，在性质1–7中进行了进一步分析。这些属性为使用HCC描述复杂非高斯噪声环境中的误差统计提供了理论基础。
(ii) 将提出的HCC嵌入到BLS框架中，开发了一种新的鲁棒广义学习系统，称为HC-BLS。具体来说，构建了HC-BLS的优化目标，并基于样本加权矩阵推导出了一个固定点更新公式，如（28）、（29）、（30）、（31）所示。该公式使得在HCC标准下可以迭代估计输出权重。在此基础上，1、2分析了HC-BLS的收敛性，并系统地讨论了其鲁棒机制和计算复杂性，突出了其实际效果。
(iii) 第5节通过四个不同的场景展示了广泛的实验，以评估所提出的HC-BLS。这些实验结果一致表明，在各种噪声污染条件下，HC-BLS显著优于现有的鲁棒BLS变体，证明了其卓越的鲁棒性和出色的泛化能力。
本文的其余部分组织如下：第2节回顾了相关工作和相关背景，包括标准BLS架构和基于相关系数的鲁棒学习标准。第3节介绍了所提出的混合相关系数标准及其重要属性。第4节介绍了HC-BLS的推导和一些理论收敛性分析。第5节描述了非线性回归和时间序列预测任务的几项实验研究。最后，第6节总结了本文并讨论了潜在的未来研究方向。

广义学习系统
BLS是一种高效的神经网络架构，它通过宽度扩展而不是深度结构实现有效学习，显著降低了计算复杂性，同时保持了优越的性能[1]。图1显示了给定训练数据集的BLS基本网络架构，其中表示第个输入样本，表示相应的输出信号，表示训练样本的总数，表示每个输入向量的维度。

提出的混合相关系数标准
尽管传统BLS具有非线性建模的优势，但它对MSE的依赖使其容易受到各种类型噪声的影响，特别是脉冲噪声。为了提供一个鲁棒的BLS版本，我们引入了混合相关系数标准，并对其属性进行了详细的理论分析。

基于混合相关系数的广义学习系统
在本节中，我们将提出的HCC插入到BLS框架中，从而得到了一种新的鲁棒广义学习系统，即HC-BLS。此外，我们对HC-BLS在收敛性、计算复杂性和鲁棒性机制方面进行了严格的理论分析。

实验结果
本节提出了全面的实验来评估HC-BLS的有效性和鲁棒性，并将其与现有的鲁棒BLS变体进行比较。在这些任务中，使用均方根误差（RMSE）作为性能指标，其中和分别表示第个样本的实际输出和相应估计值，表示样本数量。所有实验结果都是使用Python 3.10在PyCharm 2024.1.4环境下，在配备第12代Intel(R)处理器的PC上获得的。

结论
本文提出了一种新的鲁棒广义学习系统，即HC-BLS，使用了一种新的混合相关系数标准。通过利用不同核函数的互补特性，所提出的混合相关系数提供了更全面的预测误差统计描述，增强了HC-BLS有效抑制非高斯噪声的能力。还提出了混合相关系数的几个重要属性。此外，我们还对其进行了理论分析。