《Applied Sciences》：Evolutionary Training of Neural Networks: The Role of Crossover Operators in Genetic Algorithms Compared with Backpropagation
编辑推荐：
使用基于梯度的方法（如反向传播（backpropagation））训练神经网络是主流范式，但它依赖于可微损失函数，并对初始化和局部极小值敏感。进化算法提供了一种无梯度替代方案，但其内部算子对训练质量的影响仍未被充分表征。本研究系统比较了反向传播与十种遗传算法（
使用基于梯度的方法（如反向传播（backpropagation））训练神经网络是主流范式，但它依赖于可微损失函数，并对初始化和局部极小值敏感。进化算法提供了一种无梯度替代方案，但其内部算子对训练质量的影响仍未被充分表征。本研究系统比较了反向传播与十种遗传算法（GA）变体在训练多层感知器（MLP）时的性能，特别关注交叉算子的作用。评估涵盖四种MLP架构和来自UCI机器学习库的十个分类数据集，这些数据集在样本量、维度和类别数量上各不相同。每个配置采用分层4折交叉验证，重复30次独立实验，以准确率作为主要性能指标，并报告宏F1（macro-F1）以评估在类别不平衡数据集上的分类器行为。在十个数据集中，反向传播在九个数据集上取得了比所有GA变体更高的平均准确率，在高维问题上差距最大。遗传算法在较简单、类别平衡的数据集上具有竞争力，其性能较好的变体与基于梯度的基线相差不超过一到两个百分点；在Heart disease数据集上，所有GA变体在所有四种架构下的平均准确率均高于反向传播，但在这个五分类问题上绝对性能仍然较低。在交叉算子中，BLX-α和BLX-αα结合锦标赛选择（tournament selection）和高交叉概率产生了最强的配置，而平均交叉（averaging crossover）表现最差，因为它将子代限制在亲本的中点，无法探索种群已有范围之外的区域。锦标赛选择始终比轮盘赌选择（roulette-wheel selection）带来更高的平均准确率，且浅层但中等宽度的架构（编码更少的可训练参数，因此染色体更短）比两层替代方案更适合进化训练。这些发现阐明了无梯度训练何时具有竞争力，以及哪些进化算子驱动其有效性。
## 论文解读：进化训练神经网络中交叉算子的系统比较研究
### 研究背景与问题
神经网络训练的主流方法是基于梯度的反向传播（backpropagation, BP），它依赖于可微损失函数，但对初始化敏感，易陷入局部极小值或鞍点。遗传算法（genetic algorithm, GA）作为无梯度替代方案，可避免梯度依赖，但其内部算子（特别是交叉算子）对训练质量的影响缺乏系统表征。现有研究通常只评估单一GA配置在一个或两个数据集上的表现，未分离单个遗传算子的贡献，且梯度基线往往使用默认超参数而非系统调优，导致比较结论不充分。本研究旨在解决这一问题：通过系统比较反向传播与十种GA变体在训练多层感知器（multi-layer perceptron, MLP）时的性能，专门聚焦交叉算子的作用，明确进化训练在何种条件下具有竞争力，以及哪些算子驱动其有效性。
### 主要技术方法
研究人员使用来自UCI机器学习库的十个分类数据集（涵盖不同样本量、维度和类别数），评估四种MLP架构（单隐藏层5、10、15神经元，以及双隐藏层20和10神经元）。对于反向传播基线，采用Optuna框架对每个（架构，数据集）组合进行超参数调优（搜索学习率、批量大小、dropout率、激活函数和优化器）。对于GA训练，使用实值染色体编码所有可训练权重，种群大小和代数固定为100。十种GA变体组合了六种交叉算子（两点交叉、均匀交叉、平均交叉、线性-2交叉、BLX-α和BLX-αα）、两种选择算子（锦标赛选择和轮盘赌选择）和两种变异算子（高斯变异和洗牌变异），并变化交叉概率。所有实验采用分层4折交叉验证，重复30次独立运行，报告准确率和宏F1（macro-F1）作为评估指标。
### 研究结果
#### 4.1 各架构准确率
在简单、低维数据集上，性能较好的GA变体平均准确率与BP基线接近，通常在一到两个百分点内，许多单元格在BP的一个标准差内。在高维或大类别数据集上，BP在所有GA变体上均取得更高准确率，最大差距出现在Optical digits数据集（64输入特征，10类），最佳GA变体比BP落后约20-30个百分点。Heart disease数据集是唯一一个所有GA变体在所有架构上平均准确率均高于BP的情况。
#### 4.2 各架构宏F1
在类别平衡数据集上，宏F1与准确率高度一致。在类别不平衡数据集（Car、Heart disease、Parkinsons）上，两者出现分歧：Car数据集中，GA变体的准确率与宏F1差距显著（如GAv7准确率0.88但宏F1仅0.44），表明GA存在主要类别崩溃；Heart disease数据集中，GA在宏F1上优势更大（BP宏F1为0.14，GA变体为0.20-0.30），说明GA避免了BP的多数类预测陷阱。
#### 4.3 反向传播与进化训练的双向比较
在40个（架构，数据集）组合中，BP在所有GA变体上获胜次数最多，但Heart disease数据集上所有GA变体均胜出，这表明在特定小样本、类别不平衡问题上，无梯度方法可能更优。高维输入是GA的极限区域，Optical digits上GA与BP差距最大，符合维数灾难影响无梯度搜索的预期。
#### 4.4 交叉算子：从凸组合到真实探索
交叉算子的选择对结果影响最大。BLX家族（BLX-α和BLX-αα）结合锦标赛选择和高交叉概率取得最高平均准确率（0.807），均匀交叉次之（0.793），平均交叉最差（0.673）。其根本区别在于子代是否能超出亲本凸包：BLX算子可生成超出亲本范围的子代，保持探索能力；而平均交叉等凸组合算子只能缩小搜索范围，导致种群多样性快速崩溃。
#### 4.5 选择：锦标赛 vs. 适应度比例
通过比较仅选择算子不同的变体（GAv6 vs. GAv8），锦标赛选择始终比轮盘赌选择高出约7-10个百分点，且在高维数据集上差距最大。轮盘赌选择容易导致多样性过早丧失，而锦标赛选择通过适度锦标赛大小维持选择压力与多样性之间的平衡。
#### 4.6 架构敏感性与深度的代价
BP在四种架构上表现稳定（平均准确率0.844-0.855），而最佳GA变体准确率从[5]到[15]递增（0.807-0.816），但在[20,10]架构上显著下降至0.792，主要由于Optical digits上染色体长度从约760增至约1620基因，而固定搜索预算无法匹配。浅层但中等宽度的网络（单隐藏层10-15神经元）更适合进化训练。
### 讨论与结论
研究总结：反向传播在九个数据集上优于所有GA变体，但在简单、类别平衡问题上GA差距很小（1-2个百分点）；Heart disease案例表明GA可避免梯度方法的多数类崩溃。BLX-α和BLX-αα结合锦标赛选择和高交叉概率是最强配置，平均交叉和轮盘赌选择最弱。研究局限性包括：GA搜索预算固定，未按问题规模调整；GA算子设置未调优；三个大数据集被下采样至1800实例且平衡处理；架构范围限于最多两个隐藏层；适应度函数使用准确率而非类别平衡指标。未来方向包括：按可训练参数扩展搜索预算；研究更宽单层网络；混合GA与梯度下降；使用类别平衡适应度函数；扩展至更广泛的数据集和元启发式算法。
**研究结论翻译**：本研究比较了反向传播与十种遗传算法变体在训练多层感知器分类器时的性能，涵盖四种架构和来自UCI机器学习库的十个数据集。反向传播在九个数据集上取得了比所有GA变体更高的平均准确率，在高维问题上差距最大。遗传算法在较简单、类别平衡的问题上具有竞争力，其性能较好的变体与基于梯度的基线相差不超过一到两个百分点。在Heart disease数据集上，所有GA变体均达到比反向传播更高的平均准确率；然而，绝对性能仍然较低（准确率0.55-0.59，宏F1 0.20-0.30），这不应被解释为强预测性能——它反映了GA逃脱了困扰梯度基线的多数类崩溃，而非任一方法可靠地解决了分类问题。在所研究的遗传算子中，BLX-α和BLX-αα结合锦标赛选择和高交叉概率成为本研究固定预算（100个体、100代）下的最强配置；该排序在更大或问题自适应预算下是否成立仍有待验证。平均交叉和轮盘赌选择在同一预算下是最弱配置。BP基线得益于Optuna的每数据集超参数调优，而GA算子设置由于设计原因保持不变以隔离算子级效应；这种不对称意味着GA结果是进化训练性能的下界，在解释BP-GA比较时应考虑调优差距。这些发现表明，进化训练神经网络目前并非基于梯度训练的通用替代方案，但在中等规模、类别平衡的表格问题上是一个可行选择；这些结论特定于在小型到中型UCI分类数据集上训练的浅层MLP，不应被假定推广到更深架构、更大数据集或非表格数据模态。未来工作的一个自然方向是用类别平衡的适应度准则（如宏F1或平衡准确率）替换训练准确率，这将使进化搜索目标与不平衡数据集上最具信息量的评估指标对齐，并可能改善GA在Heart disease和Car等问题上的性能，因为在这些问题上单纯准确率具有误导性。
