基于多列RBFN结构改进粒子群优化与自适应粒子群优化的并行神经网络训练方法

《IEEE Open Journal of Systems Engineering》：Multi-Column RBF Neural Network Using Adaptive and Non-Adaptive Particle Swarm Optimization

　　摘要：使用梯度下降算法训练的径向基函数神经网络（RBFN）在浅层和深层网络中均能提供有效的全连接结构。误差校正（ErrCor）作为一种最先进的基于梯度的训练方法，通过选择最优隐藏单元来提高准确率。另一方面，粒子群优化算法（PSO）作为一种基于种群的算法，利用群体经验优化RBFN参数，具有全局搜索能力和对局部最优的鲁棒性。自适应粒子群优化（APSO）作为PSO的改进变体应运而生，通过在执行优化过程中动态调整群体参数来提高收敛速度。ErrCor和PSO均表现出改进的结果和具有竞争力的收敛性。然而，在面对大型数据集时，这些方法面临可扩展性挑战，例如过多的核计算和庞大的隐藏层结构。近期提出的多列RBFN方法（MCRN）通过在并行系统中部署小型RBFN来提高ErrCor性能。受MCRN成功的启发，我们提出了两种新颖的方法来改进PSO性能：多列RBFN结合PSO（MC-PSO）和多列RBFN结合APSO（MC-APSO）。这些方法引入了使用进化群体方法训练的并行RBFN结构。每个RBFN使用PSO或APSO算法在数据集的特定空间子集上独立训练。由此产生的专门训练的RBFN针对各自的子集进行了定制化。在测试阶段，仅当测试实例的邻居位于其中时才选取相应的RBFN参与多列输出。这种专业化提高了准确率，而并行性则提升了速度。我们在多个基准数据集上对所提出的方法进行了评估。MC-PSO和MC-APSO在准确率和召回率方面均优于ErrCor、PSO、APSO和MCRN。在大多数实验中，它们还表现出更快的训练和测试时间。