摘要
全局优化已成为现代机器学习的基石，尤其在训练高维神经网络架构这一具有挑战性的任务中尤为重要。尽管已有的元启发式算法应用广泛，但传统方法在应对复杂训练景观中固有的不规则且具有多模态特征的误差面时往往力不从心。本文提出了并行优化粒子群优化算法（Parallel OPSO），这是一个多群体并行框架，专门用于提升神经网络在分类和回归任务中的训练效率与预测精度。在核心层面，OPSO融合了多种先进机制：基于模拟退火的接受准则以跳出局部最优、能够根据停滞状态动态注入动量的自适应惯性权重，以及用于精细收敛的混合Broyden–Fletcher–Goldfarb–Shanno（BFGS）局部搜索阶段。OPSO定义了底层算法模型，而Parallel OPSO则代表其在并行多群体架构上的执行方式。通过将粒子群划分为相互作用的子群体并利用现代多核架构，Parallel OPSO显著缩短了训练时间，其突出的性能提升主要体现在极具挑战性的多模态优化任务上。实验评估表明，虽然在较为简单的损失曲面上标准算法尚可胜任，但在应对复杂且高度不规则的误差面时，Parallel OPSO展现出更优越的收敛鲁棒性与精度。这些结果进一步确立了Parallel OPSO作为在复杂搜索空间中优化神经网络参数的高效且可扩展的框架的地位。
