提升 RVFL 网络：一个抗异常值的学习框架

《Neural Networks》：Boosting RVFL Networks: An Outlier-Resistant Learning Framework

　　

• 提出了基于AdaBoost的随机向量功能链接网络（AD-RVFL），以减轻异常值对分类的影响。• AD-RVFL-R将该框架扩展至回归任务，提升了泛化能力。• 提出了基于AdaBoost且采用传统指数损失的RVFL网络CAD-RVFL。• 在UCI数据集上的数值实验表明，AD-RVFL和AD-RVFL-R优于基线方法。• EEG数据集实验证实了AD-RVFL的优越性。引言人工神经网络（ANNs）能够逼近非线性映射，这使其广泛应用于多个领域，如股票市场预测（Dase和Pawar，2010）。单层前馈神经网络（SLFN）是ANN的一种，具有通用逼近性质。SLFN在分类和回归领域得到了广泛应用（Leshno等，1993）。SLFN的训练通常依赖于反向传播算法。然而，这种迭代方法存在诸多局限性，包括可能陷入局部最小值（Gori和Tesi，1992）、耗时较长，以及对学习率和初始化点敏感。为克服基于反向传播的训练方法的固有局限性，随机神经网络（RNNs）被引入（Schmidt等，1992）。在RNNs中，仅输出层参数通过闭式解确定，而某些网络参数在训练过程中保持固定（Suganthan和Katuwal，2021）。RNNs的显著例子包括随机向量功能链接网络（RVFL）（Pao等，1994）和极限学习机（即无直接链接的RVFL，RVFLwoDL）（Huang等，2006）。RVFL的显著特征是其输入层与输出层之间存在直接连接，这使其区别于其他RNNs。在训练过程中，隐藏层到输出层的连接权重以及直接链接权重通过最小二乘法以闭式解析方式计算（Suganthan，2018）。由于结构简单、训练速度快，RVFL网络已广泛应用于分类和回归问题。研究表明，RVFL中直接链接的引入作为随机化过程的正则化机制，显著改善了学习性能（Zhang和Suganthan，2016）。除RVFL网络外，其他随机化神经模型也备受关注。回声状态网络（ESNs）（Sun等，2022）提供了一种简单高效的循环架构，避免了基于梯度的RNNs的收敛问题；而随机配置网络（SCNs）（Wang和Li，2017）在监督机制下增量构建前馈模型，并具有通用逼近的理论保证。这两种方法都强化了快速训练和强泛化能力的RNNs潜力。尽管RVFL网络（Pao等，1994）在分类和回归任务中具有优势，但它容易受到数据中异常值的影响。减轻异常值影响的常见方法之一是采用模糊概念或加权函数（Malik等，2023）。例如，RVFL已通过与直觉模糊函数（Malik等，2022）和模糊推理系统（Sajid等，2024）的结合得到增强。然而，这些方法严重依赖于模糊函数的选择，这促使人们寻求不依赖加权函数的异常值管理方法。此外，尽管集成学习已被广泛探索，但大多数提升算法依赖于决策树（Song和Lu，2015）或迭代学习器，导致计算成本高昂。在广为人知的集成方法中，Bagging和Boosting起着重要作用（Maclin和Opitz，1997）。Bagging主要是方差减少方法，而Boosting则同时减少偏差和方差。然而，传统提升方法并不适合处理异常值，因为它们倾向于过度强调异常值而非其他因素。AdaBoost（Freund和Schapire，1995）是最著名的提升技术之一，特别容易受到训练数据中噪声和异常值的影响（Takenouchi和Eguchi，2004）。RVFL等RNNs已展现出高效学习的潜力，但在分类和回归中缺乏系统的提升框架。受此局限性的启发，我们研究将RVFL网络与AdaBoost框架相结合。AdaBoost的自适应重新加权机制使模型能够关注分类错误或困难样本，这有可能增强基于RVFL模型的学习能力。然而，直接将RVFL应用于传统AdaBoost框架并不总能带来性能提升，因为AdaBoost中使用的标准指数损失可能会过度放大异常值的影响（Kanamori等，2007）。为缓解这一问题，我们在提升过程中引入了有界指数损失，以限制极端样本的影响并提高学习稳定性。基于这一思想，我们开发了基于AdaBoost且具有有界损失的随机向量功能链接网络AD-RVFL，用于分类任务。此外，针对回归问题，我们引入了一种基于阈值的加权策略，在保持对困难样本关注的同时平衡对噪声的鲁棒性。这些进展扩展了随机化神经模型的适用性，并为基于RVFL的学习提供了更鲁棒的提升框架。本研究的主要贡献如下：• 我们提出了一种用于分类任务的新型AdaBoost随机向量功能链接（AD-RVFL）网络。通过在AdaBoost中使用有界指数损失函数，我们增强了RVFL在处理含有异常值数据集时的鲁棒性。• 针对回归问题，我们提出了AD-RVFL-R，一种用于回归任务的基于AdaBoost的RVFL模型，其在重构提升策略方面与面向分类的AD-RVFL不同。AD-RVFL-R引入了基于相对误差的阈值机制与解析训练的RVFL基学习器，确保回归任务的鲁棒性。据我们所知，这是首个将RVFL与专为回归定制的自适应重新加权相结合的提升框架。• 我们引入了经典AD-RVFL（CAD-RVFL），其使用AdaBoost中的传统指数损失，以对比并突出所提出的AD-RVFL在处理异常值时的改进鲁棒性和性能。• 我们通过在实际数据集上的大量实验验证了所提出的AD-RVFL和AD-RVFL-R模型，包括EEG数据分类，展示了相较于传统方法的显著性能提升，特别是在处理分类任务中的异常值方面。本文其余部分组织如下：第2节讨论相关工作。第3节介绍所提模型的前提知识。第4节详细解释所提模型。第5节讨论模型的计算复杂度。第6节突出展示的基线模型以及所提模型实验和统计分析。第7节讨论所提模型和基线模型在EEG数据集分类中的应用。最后，第8节总结本文并指出未来工作的潜在方向。章节摘要相关工作RVFL在多个领域具有广泛应用，包括视觉跟踪（Lian等，2020；Pratama等，2018）、生物医学领域（Malik等，2022；Wang等，2022）以及时间序列预测（Gao等，2021）等。鉴于RVFL的特性和简单架构，文献中已引入多种变体，如（Malik等所讨论的）。前提知识本节概述RVFL和AdaBoost模型。我们在全篇中使用以下符号：??={(???,???),(???,???),…,(????,????)}表示训练样本集合，其中???∈??，yi表示与xi对应的目标值。对于二分类和回归任务，yi分别取值于{+1, ?1}和?。设M为维度为N×k的输入数据矩阵。在RVFL模型中，设h为隐藏节点数量，A表示隐藏层矩阵。所提方法在本节中，我们呈现所提模型，该模型协同结合RVFL与AdaBoost，以应对异常值带来的挑战。虽然AdaBoost通常用于组合弱基学习器（如决策块），但Wyner等（2017）指出，它也能有效组合强基学习器（如深度决策树），以产生更准确的模型。然而，AdaBoost中的指数损失函数增长迅速，导致在存在异常值时表现不佳。计算复杂度所提AD-RVFL模型的计算复杂度主要来自两个关键操作：使用牛顿-拉夫森法的迭代优化（公式13）和求解每个基RVFL模型所需的矩阵求逆（公式5）。每个基分类器的权重更新过程使用牛顿-拉夫森法执行。设T为每个提升轮次中计算分类器权重ν?所需的牛顿-拉夫森迭代次数，由于这。数值实验所有实验均在运行Windows 11的PC上进行，配备第11代Intel Core i7-11700 @ 2.50GHz处理器和16 GB内存。所提AD-RVFL模型与几种基线算法进行比较，包括RVFL（Pao等，1994）、RVFLwoDL（Huang等，2006）、AdaBoost-SVM（Ada-SVM，Li等，2008）、梯度提升决策树（GBDT，Si等，2017）、NF-RVFL（Sajid等，2024）、Total-Var-RVFL（Ganaie等，2020）和TRVFL（Sarkar等，2023）。应用作为所提AD-RVFL和基线模型的应用，我们在公开可用的EEG数据集（Andrzejak等，2001）上进行了实验，遵循第6节所述设置。结论本文提出了分类和回归框架，通过将AdaBoost与随机向量功能链接（RVFL）网络相结合，应对异常值带来的挑战。所提分类模型AD-RVFL在提升框架中纳入了有界指数损失，以减少传统指数损失（AdaBoost中使用）所常见的异常值过度影响。通过将AdaBoost的自适应重新加权机制与高效解析。CRediT作者贡献声明Anuradha Kumari：写作——审阅与编辑、写作——初稿、可视化、验证、方法论、调查研究、形式化分析、概念化。M. Tanveer：写作——审阅与编辑、监督、资源、项目管理、资助获取、概念化。P.N. Suganthan：写作——审阅与编辑、验证、监督、方法论。利益冲突声明作者声明不存在可能影响本文工作的已知竞争财务利益或个人关系。致谢我们感谢科学与工程研究委员会（SERB）通过数学研究影响导向支持计划（MATRICS，项目编号MTR/2021/000787）提供的资助。此外，Anuradha Kumari女士（文件编号09/1022 (12437)/2021-EMR-I）感谢印度新德里印度科学与工业研究委员会（CSIR）提供的奖学金支持。Anuradha Kumari | M. Tanveer | P.N. Suganthan