基于在线贝叶斯优化的随机配置网络

《Neurocomputing》：A stochastic configuration network based on online Bayesian optimization

　　焦丽雪|刘文奇 中国云南省昆明市昆明理工大学理学院，邮编650500 摘要 随机配置网络是一种具有监督约束机制的增量式构建学习模型，其性能对尺度因子和正则化参数极为敏感。本文提出了一种在线贝叶斯优化随机配置网络（OBO-SCN），其核心在于一种用于增量式网络构建的在线贝叶斯参数配置机制。首先，将尺度因子和正则化参数视为联合优化目标，用连续搜索过程替代基于网格的参数选择来确定要添加的隐藏节点。其次，构建基于高斯过程替代模型和预期改进获取函数的贝叶斯优化框架，在每次添加隐藏节点之前，根据当前的残差状态配置有助于提升节点效能的参数组合。最后，在函数逼近任务和六个基准回归数据集上对OBO-SCN进行评估，并与多种方法进行比较。实验结果表明，OBO-SCN在大多数任务上实现了更低的预测误差和更稳定的泛化性能。引言 随着近年来人工智能和信息技术的快速发展，各种机器学习方法被广泛应用于时间序列预测、工业过程建模、智能控制以及复杂系统建模等领域。受生物神经元组织结构和信息处理机制的启发，人工神经网络已成为复杂系统建模和智能信息处理的重要工具。研究表明，在适当条件下，单层和多层前馈神经网络能够以任意精度逼近紧致集合上的连续函数。为了在实践中充分利用这种逼近能力，需要有效的学习算法来自动调整网络参数。以反向传播为代表的基于梯度的算法因此成为训练神经网络的主流方法，推动了多层前馈网络、卷积神经网络以及循环神经网络的快速发展。然而，基于梯度的方法存在收敛速度慢、易陷入局部最小值，且对初始化和学习率敏感等问题；对于深度或循环结构，还可能出现梯度消失和梯度爆炸现象，这在一定程度上限制了它们在工程实践中的应用。为克服传统基于梯度学习的瓶颈，人们将随机性引入神经网络，从而产生了随机权重网络模型。在这些模型中，输入权重和偏置会根据给定的概率分布从预设区间中采样一次并保持不变，而输出权重则是通过求解线性最小二乘问题得到的，这在训练效率和实现复杂性方面具有明显优势。基于这一理念，Pao等人提出了随机向量功能链接网络，该网络通过在传统单层前馈网络中加入随机特征映射和直接连接，以较低的计算成本实现更强的非线性建模能力。为解决实际中确定固定网络拓扑结构的难题，又提出了增量式随机向量功能链接网络，该网络通过逐个添加隐藏节点并利用残差信息更新输出权重，以提高逼近精度。不过后续研究表明，增量式随机向量功能链接网络的通用逼近性质是有一定条件的，无法保证有限数量的节点就能满足所有建模任务的精度要求。为确保全局逼近能力并提升随机化神经网络的泛化性能，王某于2017年提出了随机配置网络。该网络采用带有监督机制的增量学习方案，从小型网络开始，根据训练数据逐步生成隐藏节点来构建网络。这一机制为全局逼近和收敛提供了理论保障，同时在实践中缓解了固定随机范围带来的不稳定性。自其提出以来，随机配置网络引发了大量后续研究。Lu等人提出了用于预测区间估计的集成随机配置网络，通过联合鲁棒训练实现关键工业变量的高精度区间预测和不确定性量化。Nan等人开发了具有改进监督机制的随机配置网络，该机制能在函数字典目标空间框架内自适应调整超参数，以降低计算成本并提高精度。Zhang等人提出了基于混沌麻雀搜索的随机配置网络，用于优化隐藏节点参数和配置范围，从而加快收敛速度并提升复杂非线性回归任务的泛化性能。Wang等人提出了改进的模糊循环随机配置模型，该模型结合了模糊推理和强化循环结构，同时保持了快速学习和通用逼近能力，可实现对不确定非线性系统更准确、更稳健的建模。Xu等人引入了一种结合了改进采样策略与贝叶斯优化的随机配置网络变体，以提高搜索效率和逼近性能。此外，随机配置网络还被应用于图像识别、故障诊断、电力系统以及工业建模等领域。在复杂系统建模和机器学习参数选择中，需要优化的目标函数往往是非线性的、非凸的，评估成本高昂且缺乏显式梯度，这使得超参数搜索成为一个具有挑战性的黑盒优化问题。网格搜索和随机搜索等经典方法虽然简单且应用广泛，但它们通常独立评估候选配置，未能充分利用搜索过程中积累的信息。其他超参数搜索策略，如树结构帕森估计器、粒子群优化以及鲸鱼优化算法，虽然引入了基于密度估计或群体的搜索机制，但其性能可能会受到采样预算、群体演化或算法特定参数的影响。相比之下，贝叶斯优化提供了一种基于概率替代模型的昂贵黑盒优化框架。它用概率替代模型——通常是高斯过程——对未知目标函数进行建模，随着新的评估结果出现不断更新该替代模型，并通过获取函数在探索与利用之间取得平衡，从而选择后续的查询点。由于能够明确地重用之前的评估结果来指导未来的试验，贝叶斯优化适用于那些每次目标评估成本较高且需要控制评估预算的连续型超参数选择场景。这一特性对于本文所研究的、在增量式节点构建过程中需要反复进行参数配置的问题尤为重要。实际上，贝叶斯优化已被广泛用于自动超参数调优，并且在材料设计、机器人技术以及无线通信等领域也得到了应用。尽管随机配置网络及其变体已取得一定进展，但决定隐藏节点生成的参数配置仍是一个关键问题。在随机配置网络框架中，尺度因子决定了隐藏节点权重和偏置的采样范围，而正则化参数则决定了候选节点是否满足监督不等式。因此，这两个参数的选择直接影响节点效能、逼近精度以及泛化性能。在标准的随机配置网络中，这些参数通常是从预设的离散候选集或固定方案中选择的，这就导致了配置空间的粗糙性，限制了节点生成在不同数据集间的适应性。为改善这一状况，CSSA-SCN采用了混沌麻雀搜索算法来优化这两个参数，从而提升了随机配置网络参数选择的全球搜索能力。BO-SCN则利用贝叶斯优化改进了随机配置网络的采样策略，通过在隐藏节点权重和偏置的采样分布中引入缩放因子，减少了手动参数调优的工作量，提升了采样层面的参数配置质量。不过，它的参数配置过程并未融入随机配置网络的增量式构建过程中，因此所选参数无法根据每个新添加节点的残差状态进行充分调整。这促使人们寻求一种更加紧密耦合的在线优化机制，将参数搜索、候选节点生成以及残差反馈整合到增量学习过程中。为解决上述问题，本文提出了在线贝叶斯优化随机配置网络。OBO-SCN的核心思想是在逐节点构建网络的过程中，对随机配置网络的关键参数进行在线贝叶斯配置，从而根据当前的残差状态确定每个新隐藏节点所使用的参数组合。通过这种在线配置机制，贝叶斯优化可直接服务于隐藏节点的生成和监督筛选，提高新添加节点的效能，进而提升模型在不同学习任务中的预测精度和泛化性能。总之，本文的主要贡献如下：（1）为随机配置网络提出了一种在线贝叶斯参数配置机制。在增量式构建过程中，对于每个新增的隐藏节点，都会通过在线贝叶斯优化来选择一种有助于根据当前残差状态提升节点效能的参数配置，从而将超参数搜索与节点增长过程相结合。（2）将尺度因子和正则化参数视为连续搜索空间中的联合优化目标，从而将传统的基于网格的参数选择方式转变为一种更为灵活的隐藏节点配置流程。（3）在函数逼近任务和六个基准回归数据集上进行了实验。通过与多种方法的比较以及消融实验，结果表明OBO-SCN在大多数任务上都具有更好的预测精度、泛化性能和稳定性。本文的其余部分结构如下：第2节回顾随机配置网络和贝叶斯优化的相关理论；第3节介绍所提出的OBO-SCN，包括其整体流程和算法描述；第4节汇报实验结果，以验证该方法的有效性；第5节对全文进行总结，并指出未来研究的方向。相关工作 本节首先回顾随机配置网络的基本框架和算法，重点介绍随机参数配置和监督约束原理，随后简要介绍贝叶斯优化，这是一种基于模型的全局黑盒优化方法，可用于在非线性、非凸空间中高效地进行超参数搜索。这些基础知识为在线贝叶斯优化随机配置网络奠定了理论基础。在线贝叶斯优化随机配置网络 为改善随机配置网络在增量式构建过程中的参数配置效果，本文提出了在线贝叶斯优化随机配置网络。其核心思想是根据当前的残差状态，在线搜索适合每个新添加隐藏节点的参数配置。在每一个增量步骤中，贝叶斯优化都会利用已积累的评估信息来寻找合适的尺度因子和正则化参数组合，然后将其用于候选节点的生成。数值实验 实验是在配备有Intel? Core? i7-14700HX处理器、NVIDIA GeForce RTX 4070笔记本电脑显卡以及32GB内存的笔记本电脑上，使用Python 3.11.7语言进行的。结论 为提升随机配置网络的回归性能，本文提出了在线贝叶斯优化随机配置网络。其核心思路是在增量式网络构建过程中对尺度因子和正则化参数进行在线优化搜索。在每个隐藏节点添加时，贝叶斯优化都会根据当前的网络状态选择一种参数配置，所选的配置会直接用于候选节点的生成和监督筛选。通过这种方式，参数配置能够更好地适应不同任务的需求。CRediT作者贡献声明 焦丽雪：撰写——初稿、方法论、概念设计。刘文奇：撰写——审阅与编辑、指导。伦理审批 本文不存在任何由作者们实施的人体或动物相关研究。利益冲突声明 作者们声明以下可能被视为潜在利益冲突的财务利益/个人关系：刘文奇表示获得了中国国家自然科学基金的资金支持。如果还有其他作者，他们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。致谢 本研究得到了中国国家自然科学基金（编号12371460）的支持。焦丽雪目前在中国昆明理工大学攻读硕士学位，她的研究兴趣包括机器学习、神经网络、随机配置网络以及智能优化算法。