通过自适应Lasso先验实现稀疏贝叶斯广义学习系统，以增强回归的鲁棒性

《IEEE Transactions on Neural Networks and Learning Systems》：Sparse Bayesian Broad Learning System via Adaptive Lasso Priors for Robust Regression

广度学习系统（BLS）在回归任务中表现优异但易受异常值和噪声影响。本文提出自适应Lasso先验的稀疏贝叶斯BLS方法（AL-SBBLS），通过自适应Lasso约束自动筛选高相关特征，结合多层贝叶斯框架实现输出权重的自适应正则化与概率分布估计，有效抑制异常值和噪声干扰。采用交替方向乘数法（ADMM）和变分贝叶斯推断进行训练，实验表明AL-SBBLS在14个真实数据集和复杂非线性数据中均表现最佳，平均Friedman排名1.44，验证了其预测精度和鲁棒性优势。

　　

摘要：

广域学习系统（BLS）作为一种创新的神经网络类型，在回归任务中表现出色。然而，大多数依赖最小二乘准则的BLS方法对异常值和噪声数据非常敏感，从而导致预测精度降低。为了提高广域学习系统的鲁棒性，本文提出了一种基于自适应Lasso先验的稀疏贝叶斯BLS（AL-SBBLS）方法，用于处理受异常值和噪声污染的数据。具体而言，首先应用自适应Lasso约束来增强输出权重的稀疏性，从而便于自动选择高度相关的特征。随后构建了一个多层贝叶斯框架，为输出权重提供自适应Lasso先验，使模型能够自适应学习正则化因子并估计输出值的概率分布，同时进一步简化网络结构。通过选择高度相关的特征并估计输出值的概率分布，可以有效减轻异常值和噪声的影响。为了有效地训练这些网络，分别为AL-SBBLS和AL-SBBLS设计了相应的优化算法，分别采用了交替方向乘子法（ADMM）和变分贝叶斯推断方法。通过在14个真实世界数据集和复杂非线性数据上的鲁棒回归实验验证了所提出方法的有效性和鲁棒性。定量结果表明，AL-SBBLS在大多数数据集上取得了最佳性能，在Friedman测试中的平均排名最低，仅为1.44，优于其他11种先进的BLS变体，这证明了其卓越的预测精度和鲁棒性。本文提出的AL-SBBLS的源代码可在以下链接获取：https://github.com/taocheny/AL-SBBLS