《Biomimetics》：IPA-ANN: A Novel Framework for Optimizing Artificial Neural Network Weights and Biases Using Immune Plasma Algorithm
编辑推荐：
分类是一种基本的数据挖掘技术，通过分析输入特征来预测类别标签。然而，使用传统方法训练人工神经网络（ANN）常常面临挑战，例如陷入局部极小值和收敛缓慢。为了解决这些问题，本研究提出了一种新颖的混合模型IPA-ANN，该模型集成了免疫血浆算法（IPA）来优化ANN
分类是一种基本的数据挖掘技术，通过分析输入特征来预测类别标签。然而，使用传统方法训练人工神经网络（ANN）常常面临挑战，例如陷入局部极小值和收敛缓慢。为了解决这些问题，本研究提出了一种新颖的混合模型IPA-ANN，该模型集成了免疫血浆算法（IPA）来优化ANN的连接权重和偏置。IPA受免疫血浆治疗过程的启发，利用独特的供体-受体机制在搜索空间中平衡探索与开发。该模型在来自UCI存储库的九个基准数据集上进行了评估，并与18种最先进的元启发式算法进行了比较，包括灰狼优化（GWO）、差分进化（DE）和粒子群优化（PSO）。实验使用准确率、F1分数、混淆矩阵和收敛图进行分析。结果表明，IPA-ANN在不同数据集上实现了竞争性和稳定的分类性能，同时在多种情况下表现出良好的收敛特性。此外，研究还调查了供体-受体参数对优化过程的影响，突出了所提出框架的适应性。通过重复分层五折交叉验证和配对Wilcoxon符号秩检验（带Holm-Bonferroni校正）在代表性数据集上的进一步检验，证实了这些发现的可靠性，表明部分观察到的性能差异具有统计显著性；计算成本分析显示，IPA-ANN相对于大多数比较算法未引入额外开销。本研究通过首次记录IPA在ANN训练中的应用，并为未来基于元启发式的ANN优化研究提供了模块化基础设施，从而为文献做出了贡献。
**论文解读文章**
**研究背景与问题**
分类是数据挖掘中的基础技术，通过分析输入特征预测类别标签。人工神经网络（ANN）作为解决非线性问题的有效工具，在分类任务中广泛应用。然而，传统ANN训练方法（如梯度下降）常面临两大挑战：一是容易陷入局部极小值而非全局最优，二是收敛速度缓慢。这些问题源于目标函数的多模态特性，导致网络结构利用不当。为解决这些局限，研究人员尝试将元启发式算法（metaheuristic algorithms）集成到ANN训练中，通过全局搜索能力优化权重和偏置。尽管已有多种元启发式-ANN混合模型（如GWO-ANN、PSO-ANN、WOA-ANN等）取得了有希望的结果，但现有方法仍存在早熟收敛、探索与开发不平衡、种群多样性不足以及跨数据集性能不稳定等问题。因此，亟需一种能够提供更自适应种群交互机制和更均衡搜索策略的替代元启发式框架。免疫血浆算法（IPA）是一种受免疫系统血浆治疗过程启发的新型元启发式算法，其供体-受体交互结构为优化ANN权重和偏置提供了独特的机制。本研究首次将IPA应用于ANN训练，探索其在分类问题中的潜力。该论文发表在《Biomimetics》。
**主要技术方法**
研究人员采用了以下关键技术方法：首先，基于免疫血浆治疗过程构建IPA，通过供体-受体机制（donor-receiver mechanism）实现种群交互，平衡探索与开发；其次，设计固定结构的前馈神经网络（两个隐藏层，分别含10和8个神经元，使用ReLU激活函数，输出层使用Softmax和交叉熵损失函数），将IPA生成的候选解向量重塑为网络权重和偏置张量；第三，使用来自UCI机器学习存储库的九个基准数据集（DS1–DS9）进行实验，数据预处理包括缺失值填充（均值/众数）、标签编码和Min-Max归一化，所有统计量从训练集计算以避免数据泄露；第四，与18种比较算法（包括GWO、DE、PSO等）在相同种群规模（30）和最大评估次数（10,000）下进行比较，使用准确率、F1分数、混淆矩阵和收敛图评估性能；第五，对两个最小数据集（DS6和DS7）进行重复分层五折交叉验证（5次重复）和统计显著性检验（Friedman检验、配对Wilcoxon符号秩检验带Holm-Bonferroni校正）；第六，在DS7数据集上记录各算法的CPU执行时间进行计算成本分析。
**研究结果**
**5. Results and Discussion**
通过单折验证（80%训练，20%测试，固定随机种子，10次独立运行），比较了IPA-ANN的四种供体-受体参数配置（IPA_1_2、IPA_2_2、IPA_3_3、IPA_4_4）与18种元启发式算法在九个数据集上的性能。结果表明，IPA-ANN在多数数据集上取得了竞争性的平均测试准确率和最佳测试准确率。在DS1（乳腺癌）上，IPA_3_3-ANN和IPA_4_4-ANN的平均准确率为0.9443，仅次于GWO-ANN；最佳准确率IPA_3_3-ANN达0.9571，与GWO-ANN持平。在DS2（国际象棋）上，IPA_3_3-ANN平均准确率0.8009，优于12种算法。在DS3（信用卡审批）上，IPA_1_2-ANN和IPA_3_3-ANN平均准确率0.5899，仅次于MRFO-ANN。在DS4（皮马印第安人糖尿病）上，IPA_1_2-ANN平均准确率0.8885，优于所有其他算法。在DS5（皮肤病）上，IPA_4_4-ANN平均准确率0.6459，优于11种算法。在DS6（肝炎）上，IPA_3_3-ANN平均准确率0.8258，优于所有算法。在DS7（鸢尾花）上，IPA_3_3-ANN平均准确率0.9667，优于所有算法。在DS8（Tic-Tac-Toe）上，IPA_3_3-ANN平均准确率0.6594，优于7种算法。在DS9（国会投票）上，IPA_4_4-ANN平均准确率0.9172，与PSO-ANN持平。最佳测试准确率排名显示，IPA-ANN组合平均排名第一（1.66），GWO-ANN第二（2.00），DE-ANN第三（2.33），PSO-ANN第四（2.66），TLBO-ANN第五（2.77）。
混淆矩阵分析表明，IPA-ANN在多数数据集上实现了更少的误分类。例如，在DS1中，IPA_3_3-ANN和GWO-ANN各误分类6个样本，优于DE-ANN（7个）和FA-ANN（13个）。在DS4中，IPA_1_2-ANN和GWO-ANN各误分类10个样本。在DS6中，IPA_3_3-ANN和BBO-ANN各误分类4个样本。在DS7中，IPA_2_2-ANN和GA-ANN实现零误分类。
收敛图显示，IPA_1_2-ANN在早期评估（2000、4000次）中通常收敛更快，而IPA_3_3-ANN和IPA_4_4-ANN在后期评估（6000、8000、10000次）中在某些数据集上达到更低的损失值。与五种随机选择的比较算法相比，IPA-ANN在DS1、DS2、DS7、DS8、DS9上提供了更快的收敛速度。
**5.1 Comparison with Conventional Gradient-Based ANN Training Baselines**
在DS2（大规模）和DS7（小规模）数据集上，补充比较了五种梯度优化器（SGD、SGD-Momentum、RMSprop、Adam、Adagrad）与元启发式方法。在DS2上，梯度优化器平均准确率（0.9825–0.9920）显著优于所有元启发式方法（最高0.8150），表明梯度方法在大数据集上更有效。在DS7上，梯度优化器平均准确率（0.9467–0.9700）与IPA_3_3-ANN（0.9667）相当，且部分元启发式方法（如GBO-ANN 0.9854）表现更好，表明在小数据集上元启发式方法具有竞争力。
**5.2 Statistical Validation Across All Nine Datasets via Friedman Test**
对所有九个数据集上22种算法配置的平均测试准确率进行Friedman检验，结果显著（χ2(21)=57.32, p<0.001），拒绝所有算法性能相同的零假设。平均排名显示GWO-ANN第一（5.000），DE-ANN第二（6.167），IPA_3_3-ANN第三（7.778），为IPA最佳配置。后续配对Wilcoxon检验（带Holm-Bonferroni校正）显示，IPA_3_3-ANN与21种算法中的20种相比具有更高平均准确率，但无单对比较通过校正，这归因于统计功效有限（9个数据点，21次比较）。
**5.3 Validation via Repeated Stratified 5-Fold Cross-Validation on Small Datasets**
对DS6（肝炎）和DS7（鸢尾花）进行重复分层五折交叉验证（5次重复，共25折）。在DS6上，PSO-ANN和BBO-ANN平均准确率最高（0.8374），IPA_1_2-ANN在IPA中最佳（0.8167），但排名与单折结果不同。IPA_2_2-ANN标准差最低（0.0032），稳定性最佳。配对Wilcoxon检验显示，IPA_1_2-ANN显著优于BA-ANN和GOA-ANN，而BBO-ANN显著优于IPA_1_2-ANN。在DS7上，GBO-ANN平均准确率最高（0.9854），IPA_2_2-ANN在IPA中最佳（0.9692），排名第八。IPA_2_2-ANN显著优于8种算法（包括其他IPA变体），而GBO-ANN和MRFO-ANN显著优于IPA_2_2-ANN。
**5.4 Computational Cost Comparison on the DS7**
在DS7上记录各算法10,000次评估的CPU时间。除FA-ANN（平均0.3664秒/次，总61.07分钟）外，其余算法平均每次评估时间在0.310–0.321秒之间，总时间约51.7–53.5分钟。IPA-ANN四种变体总时间约52.16–52.58分钟，与大多数算法相当，表明供体-受体机制未引入额外计算开销。
**6. Conclusions and Future Work**
研究结论部分翻译如下：
本研究所提出的IPA-ANN模型与18种元启发式算法在9个数据集上进行了比较。基于平均和最佳测试准确率、混淆矩阵和收敛图的评估得出以下发现：
在单折验证中，IPA_3_3-ANN和IPA_4_4-ANN在多数数据集上取得了最佳平均准确率；IPA_2_2-ANN和IPA_3_3-ANN在最佳值部分表现最高。总体而言，IPA-ANN组合在平均和最佳测试准确率上优于其他算法。
混淆矩阵分析表明，IPA-ANN模型实现了比大多数竞争算法更高的分类准确率，且误分类更少。
供体-受体参数变化影响收敛性能：IPA_1_2-ANN在早期评估中收敛较快，而IPA_3_3-ANN和IPA_4_4-ANN在某些数据集上获得更高测试准确率。参数选择应因问题而异。
与五种梯度优化器在DS2和DS7上的比较揭示了数据集依赖模式：梯度方法在大数据集上优势明显，而在小数据集上与元启发式方法相当或更差。
在所有九个数据集上的Friedman检验确认了22种算法配置间性能差异的统计显著性（χ2=57.32, p<0.001），IPA_3_3-ANN整体排名第三。
对两个最小数据集的重复分层五折交叉验证结果与单折结果基本一致，并确认部分差异具有统计显著性。计算成本分析表明IPA-ANN未引入额外开销。
总体而言，IPA-ANN算法在多数数据集上提供了更高的测试准确率、更低的误分类率，并在多种情况下实现更快收敛，且不增加计算成本。当供体-受体参数恰当选择时，算法表现出稳健可靠的分类性能。
尽管展示了竞争性性能，但研究存在局限性：实验主要依赖单次训练-测试划分（10次运行），仅对两个小数据集进行了交叉验证；固定ANN架构可能限制数据集特定优化；相对优势并非在所有数据集上一致。未来工作可包括跨所有数据集的交叉验证评估、自适应ANN设计、更大规模基准数据集以及混合或增强的IPA优化策略。
