用于神经网络架构与参数优化的遗传算法-粒子群优化混合框架(GAPSO–ANN)

《Mathematics》：A Hybrid GA–PSO Framework for Neural Network Architecture and Parameter Optimization

　　

本研究的主要动机是开发一个预测框架，在以较低计算和实验成本提供高精度预测的前提下，在所选择的应用领域中实现更优的决策。人工神经网络(Artificial Neural Network, ANN)被广泛用于预测、分类和模式识别任务，但其性能对网络架构和学习参数的选取十分敏感，因此如何有效选择架构与学习参数是重要的研究挑战。尽管已有若干混合遗传算法(Genetic Algorithm, GA)–粒子群优化(Particle Swarm Optimization, PSO)方法被提出，但现有研究大多同时优化网络架构与可训练参数或仅聚焦于单一应用领域，仍缺乏将这两部分分开进行系统化优化并在多个异质数据集上验证性能的框架。为填补这一空白，研究人员提出了一种新型混合优化算法GAPSO，结合GA与PSO以高效调优ANN参数。该框架在五个基准数据集(AirPassengers、Sunspots、Death and Injury、Earthquake、Insurance)上进行了评估：PSO用于确定最优网络架构(隐层神经元个数)，GA用于优化连接权值与阈值。实验结果表明，在五个数据集中有四个数据集GAPSO–ANN取得了最低的平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)，且与传统ANN、GA–ANN、PSO–ANN、长短期记忆网络(Long Short-Term Memory, LSTM)及极端梯度提升树(Extreme Gradient Boosting, XGBoost)模型相比具有竞争力；Wilcoxon符号秩检验显示性能提升具有统计显著性(p = 0.03125)。

论文解读：用于神经网络架构与参数优化的遗传算法–粒子群优化混合框架(GAPSO–ANN)

人工神经网络(Artificial Neural Network, ANN)因具备较强的非线性映射能力和对不同数据集的自适应性，被广泛应用于工程、能源、环境、制造及经济预测等领域的预测与优化问题。然而传统ANN模型存在对初始权值(weight)和偏置(bias)敏感、易陷入局部极小、收敛慢及过拟合等缺陷，其预测性能高度依赖于网络架构（如隐层神经元数）与训练参数（连接权值与偏置值）的合理选择，而这些参数通常通过试错法确定，难以保证全局最优。为克服上述局限，已有研究将元启发式算法如遗传算法(Genetic Algorithm, GA)和粒子群优化(Particle Swarm Optimization, PSO)与ANN结合：GA具有较强全局搜索与开发(exploitation)能力，PSO在探索(exploration)与快速收敛方面表现优异。但多数现有GA–ANN或PSO–ANN研究仅关注参数优化或有限的架构调优，缺乏能同时系统化优化结构性与连续性参数且在多异质数据集上验证的框架。此外若同时优化架构与权值会导致染色体长度不一致，使GA的交叉操作难以实施。为此，研究人员设计并验证了名为GAPSO–ANN的两阶段混合优化框架，分别由PSO搜索最优隐层神经元数以固定网络架构，再由GA优化该架构下的连接权值与偏置值，从而在避免染色体长度不匹配问题的同时兼顾全局探索与局部求精，相关工作发表于《Mathematics》。

研究人员采用的关键技术方法如下：选用五个异质时序基准数据集（AirPassengers、Sunspots、Death and Injury、Earthquake、Insurance）进行验证；数据预处理阶段对所有变量按最小–最大归一化以消除量纲差异；采用5折交叉验证(K-Fold Cross-Validation, K=5)评估模型泛化性能；第一阶段以PSO在预定义隐层神经元范围内搜索使平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)最小的隐层神经元数，第二阶段以实值编码(real-valued encoding)的GA优化由输入–隐层权值、隐层–输出层权值及隐层偏置构成的染色体，适应度函数以ANN在训练集上的MAPE值为依据，GA操作包含选择(selection)、实数交叉(crossover)与变异(mutation)及精英保留策略(elitism)；模型性能以MAPE、均方根误差(Root Mean Squared Error, RMSE)、均方误差(Mean Squared Error, MSE)和决定系数(Coefficient of Determination, R²)综合评价，并以Wilcoxon符号秩检验(Wilcoxon signed-rank test)验证统计显著性；所有对比模型(ANN、GA–ANN、PSO–ANN、LSTM、XGBoost)在相同计算环境下实现。

3. Materials and Methods

通过介绍ANN基本三层结构（输入层、隐层、输出层）、GA基于自然选择的种群进化机制（选择、交叉、变异、精英保留）及PSO基于群体智能的粒子位置–速度更新机制，阐明所提两阶段优化原理。研究人员指出若隐层神经元数不固定则权值偏置总数不定导致GA染色体长度不同，无法进行有效交叉；故先用PSO确定最优隐层神经元数N_N，再依公式"染色体长度 = N_I×N_N+ N_N×N_O+ N_N"（N_I为输入神经元数，N_O为输出神经元数）计算固定长度染色体并由GA优化。GA采用[?1, 1]均匀初始化实值染色体，解码后构建ANN并以MAPE为适应度进行评估。整个GAPSO–ANN流程以伪代码形式给出，包含数据归一化、5折划分、PSO寻优隐层神经元数、GA优化权值偏置及指标平均计算。

4. Results

研究人员在五个基准数据集上将GAPSO–ANN与传统ANN、GA–ANN、PSO–ANN及LSTM、XGBoost进行对比。结果显示，基于优化算法的神经网络模型整体优于传统ANN；GAPSO–ANN在多数数据集上取得更低MAPE、RMSE、MSE及更高R²，其中AirPassengers和Sunspots数据集R²超96％；与LSTM和XGBoost相比，GAPSO–ANN在AirPassengers、Sunspots、Insurance和Earthquake数据集上表现更优或相当。Wilcoxon符号秩检验表明GAPSO–ANN相较于各基准模型的MAPE降低具统计显著性(p = 0.03125 < 0.05)。计算耗时方面，因两阶段优化GAPSO–ANN高于单一ANN及GA–ANN/PSO–ANN，但在精度要求高于速度的场合属合理代价。收敛曲线显示GAPSO–ANN比对比模型更快收敛至更低适应度值；误差直方图表明GAPSO–ANN预测误差分布最集中且接近零，实际值与预测值拟合最佳。

5. Discussion

研究人员分析GAPSO–ANN性能提升源于PSO与GA互补的搜索特性——PSO高效探索离散架构空间锁定合适隐层神经元数，GA在固定架构下精细搜索连续权值偏置空间，两阶段串行降低GA阶段搜索维度并规避染色体不等长问题，使全局探索与局部开发更平衡。该框架对具非线性模式及不同复杂度数据集效益更明显，统计检验佐证性能提升非随机波动所致。局限性包括两阶段优化计算开销较大、仅针对单隐层前馈ANN未扩展至深度网络、缺理论收敛性证明与复杂度推导，未来可开展理论分析及向深度学习架构推广。

6. Conclusions

研究人员得出结论：所提GAPSO–ANN混合框架以PSO优化隐层神经元数、GA优化连接权值与偏置值，克服了传统ANN训练缺陷并提供更系统的神经网络优化途径。五基准数据集实验表明GAPSO–ANN较ANN、GA–ANN、PSO–ANN预测误差更小，与LSTM和XGBoost相比具竞争力且统计显著优于ANN类基准模型(p = 0.03125)。评估预测模型宜综合误差指标(MAPE、RMSE、MSE)与方差解释指标(R²)，尤其对低方差或高随机性数据误差指标更具判别力。该框架为复杂非线性系统建模提供了灵活、稳健且有效的混合元启发式优化方案，展现了GA–PSO混合策略提升ANN性能并促进其在多领域预测问题中应用的潜力。