逻辑驱动联想记忆系统中神经元状态分布的进化优化

《Engineering Applications of Artificial Intelligence》：Evolutionary optimization of neuron-state distributions for logic-driven associative memory systems

　　

## 摘要

离散Hopfield神经网络（DHNNs）中神经元状态可靠优化的可靠性对于逻辑驱动的联想记忆至关重要，因为传统学习算法往往受限于神经元状态的多样性不足，这通常导致次优的神经元状态。为解决这些局限性，本文提出了一种多目标混合差分进化算法（MHDEA），用于优化由Y型随机2-Satisfiability（YRAN2SAT）公式管理的DHNN的学习能力。所提出的框架引入了一种多目标优化策略，通过在统一的优化框架内协调运行六个算子，同时最大化子句满足度并通过促进神经元状态的多样性。在具有不同子句组成的多种YRAN2SAT逻辑环境下进行的广泛实验表明，MHDEA始终能够准确学习突触权重、生成高度多样化的神经元状态，并成功检索全局最优逻辑解。与经典优化算法以及近期最先进的多目标进化方法的对比分析进一步验证了所提出框架在不同逻辑环境下的鲁棒性、有效性和竞争力。此外，关于收敛行为、熵-适应度同步性和计算复杂度的理论分析为MHDEA的优化动力学提供了理论依据。

## 引言

当约翰·霍普菲尔德因其对机器学习和人工神经网络的贡献而获得诺贝尔物理学奖时，Hopfield神经网络成为关注的焦点。由于该网络在数学和计算机科学领域的贡献，数十年来众多研究人员对其进行了改进。离散Hopfield神经网络（DHNN）是人工神经网络的一个子集，由互连的神经元组成，不含隐藏层（Hopfield and Tank, 1985）。HNN受人类大脑机制启发，具有出色的学习和信息检索能力。虽然几乎不可能复制大脑的实际连接，但DHNN通过人工神经元模拟了这一过程。该网络基于"兴奋"神经元的强度运行，从而得出最终的神经元状态。值得注意的是，最终神经元状态对应用户提供的数据模式，从而得出优化问题的解。时至今日，HNN已被开发用于解决各种有趣的应用，例如（Liu et al., 2024; Cursino and Dias, 2024; Deng et al., 2024）。尽管显示出广泛的应用性，但DHNN基于黑箱模型运行，因为网络的动力学主要受全局更新影响，而非个体神经元的相互作用。这导致了存储容量问题，正如多项研究（Barra et al., 2018; Kobayashi, 2018）所指出的，随着神经元数量增加，检索能力会降低。因此，迫切需要建立一种符号规则来连接神经元。

为在神经元之间创建有效连接，在DHNN中实施了逻辑规则来表示神经元的通路。在此背景下，神经元被映射到逻辑变量上，具有最终的逻辑结果（Abdullah, 1992）。由于向量转换为标量形式的兼容性高，提出了各种逻辑规则来表示神经元。Zamri等人（2022）通过在DHNN中利用否定文字元的分布，提出了加权可满足性逻辑（r2SAT）。所提出的r2SAT可以表示具有不同否定文字元的相同数量神经元。这一视角启发了Romli等人（2024a）提出第一个具有加权可满足性的系统性逻辑（rS2SAT）。在其工作中，一个专门的算法，即二值克隆选择算法，在检索阶段被实施以提高逻辑挖掘的能力。Abdeen等人（2025）提出了另一种创新方法，其中概率规则适用于逻辑规则中的变量，称为SRAN2SAT。基于实验，所提出的SRAN2SAT在误差和神经元变异方面优于最先进的RAN2SAT和其他系统性逻辑规则。在当前发展中，Roslan等人（2024）提出了C型随机2可满足性（CRAN2SAT），并在DHNN的检索阶段与Smish激活函数结合使用。与（Zamri等人，2022）不同，CRAN2SAT要求每个子句至少包含一个否定文字元，且不包括逻辑阶段。所提出的CRAN2SAT可以在全局最小值比率和总神经元变异方面检索最优的最终神经元状态。尽管当前逻辑显示出有前景的最终神经元状态，但DHNN只能由具有固定一阶和二阶子句比例的逻辑管理。正如Sathasivam（2010）所指出的，随着一阶子句数量的增加，找到一致解释的概率将趋近于零。因此，DHNN将无法检索最终最优神经元状态，从而导致局部最小能量。在此背景下，由于能量景观的平坦性限制了局部场的更新，DHNN几乎不可能收敛到正确的神经元状态。

为应对学习阶段中的挑战，多项研究已被开展以最小化神经元在学习阶段的代价函数。Kasihmuddin等人（2017）提出了一种遗传算法，以最小化DHNN学习阶段中2 Satisfiability的代价函数。所提出的GA利用交叉和变异来更新对应于最小化代价函数的神经元状态。在更高阶逻辑的背景下，Zamri等人（2020）提出了克隆选择算法（CSA），以最小化3 Satisfiability逻辑规则的不一致性。据报道，所提出的算法学习了最佳逻辑，有助于逻辑挖掘检索最优的归纳逻辑。在群体优化方面，Kho等人（2022）在DHNN的学习阶段提出了蚁群优化（ACO）。ACO利用人工蚂蚁通过信息素更新来寻找潜在的2SAT解释。据报道，所提出的ACO在最小化学习阶段的代价函数方面优于最先进算法。认识到进化算法和群体智能算法的弱点，Bazuhair等人（2021）提出了选举算法（EA），通过随机3可满足性（RAN3SAT）逻辑来优化学习阶段。所提出的EA包含作为局部搜索的正向广告和作为全局搜索算子的负向广告。根据实验，EA在DHNN的学习阶段成功减少了RAN3SAT的不一致性。尽管据报道所提出的EA在最小化代价函数方面有效，但神经元状态的多样性仍然有限，导致学习阶段的总神经元变异较低。

获得多样化神经元状态的一个视角是设计有效的方向性更新机制。在此框架中，神经元状态必须以既提高适应度又增加多样性的方式更新。Alway等人（2023）提出了混合穷举搜索（HES），以在学习阶段满足神经元字符串的多目标函数（MOF）。HES包含智能变异，以提高神经元字符串在代价函数和多样性方面的适应度。Zamri等人（2024）针对加权可满足性逻辑提出了修改的生态位遗传算法（MNGA）。所提出的MNGA利用生态位分区来区分包含潜在多样化神经元状态的被支配染色体。一旦MOF得到满足，DHNN将把神经元状态转换为超级字符串，随后将其转换为功能性的内容寻址存储器。在另一发展中，Karim等人（2022）提出了混合选举算法（HEA），用于解决随机3可满足性逻辑。与常规EA不同，HEA提出了一个看护党，根据预定义的MOF来增加神经元状态的多样性。看护党中的移位变异据报道产生了遵循Pareto优越性的多个理想字符串。

尽管上述工作聚焦于非系统性逻辑规则的多目标性，但必须进行广泛的参数修改以确保学习算法能够满足所有MOF。这些额外参数使算法更加复杂并增加了执行难度。为了解决上述问题，本研究通过在DHNN中实施多种优化算法提出了一种新模型。在此背景下，所提出的工作包括用于DHNN的动态学习算法，在学习随机逻辑的同时满足MOF。因此，本文的贡献如下：

（a）通过在离散Hopfield神经网络中用二阶和一阶子句表示神经元来实施Y型随机2可满足性逻辑。所提出的逻辑将随机生成一阶和二阶子句，具有表示系统性和非系统性逻辑的能力。

（b）提出一种多目标函数，在学习阶段同时考虑神经元的适应度和多样性。在此背景下，每个神经元字符串必须满足代价函数和多样性函数，从而产生多样化的神经元状态。

（c）开发一种混合差分进化算法，根据所提出的多目标函数来更新神经元状态。混合差分进化算法纳入了贪心选择和智能变异，以确保所获得的神经元状态符合所提出的Y型随机2可满足性逻辑。

（d）使用各种性能指标评估所提出模型执行多目标函数的性能。所提出模型的性能将与离散Hopfield神经网络学习阶段的其他最先进模型进行比较。

本文的其余部分结构如下。第2节解释Y型随机2可满足性在DHNN中的实施。第3节中，所提出的MOF将为DHNN中的神经元字符串创建方向性更新。接下来，第4节提出了一种混合差分进化算法，以在DHNN的学习阶段满足所有MOF。第5节涉及所提算法和最先进算法的实验设置。第6节将讨论所提模型与其他最先进算法相比的性能。在最后一节中，提出结论和未来方向。

## Y型随机可满足性

逻辑规则的一个视角是建模现实的不可靠可满足性逻辑（Hansen and Jaumard, 1990）。在此背景下，不可靠可满足性逻辑提供了一个受控框架来探索更多逻辑以表示问题信息。Y型随机2可满足性或PYRAN2SAT是一种包含一阶和二阶子句的逻辑规则。由于这种逻辑的随机性质，PYRAN2SAT可以表示系统性和非系统性逻辑。

## Y型随机可满足性在离散Hopfield神经网络中

DHNN由Hopfield和Tank（1985）提出，用于解决各种组合优化问题。DHNN由互连神经元组成，根据以下更新规则激活：

Si(t+1) = {1, Wi·Si(t) ≥ θ; -1, 否则}

其中Si是时间t的神经元状态，Wi表示从学习阶段获得的突触权重。当Wi·Si的值大于容差值θ时，神经元将触发（4）。在实践中，DHNN将迭代直到神经元状态达到稳定状态。

## 多目标混合差分进化算法

为了同时优化子句适应度和状态多样性（就否定度而言），经典的差分进化算法（DEA）被扩展为一种多目标混合框架，称为MHDEA。所提出的MHDEA包含六个算子：贪心选择、超级克隆、智能变异、交叉、适应度选择和多样性选择。非支配排序和拥挤距离被用于近似Pareto前沿并保持一个分布良好的解集。

## 实验设置

本节采用一种评估策略，从结构和算法两个角度检验MHDEA。我们从生成多个随机化的YRAN2SAT案例开始，这些案例创造了多样化的逻辑景观，对DHNN在学习和检索阶段的能力构成挑战。这些随机化的YRAN2SAT结构作为后续实验的基础，其中MHDEA与最先进的元启发式算法进行了比较。整个模拟工作流程是……

## 结果与讨论

所提出的模型将在执行YRAN2SAT逻辑的学习和检索两个阶段进行测试。为验证MHDEA的性能，我们将所提出的算法与文献中12个最先进的学习模型进行比较。我们的实验与其他文献（如Alway等人，2022）的主要区别在于DHNN产生的解集数量。

在之前的研究中，学习阶段仅学习了一种神经元组合。由于这一点，本研究引入了一种多目标混合差分进化算法（MHDEA），以增强离散霍普菲尔德神经网络（DHNN）对Y型随机2-可满足性问题（YRAN2SAT）逻辑的学习能力。所提出的框架结合了随机化一阶和二阶子句生成、双目标优化公式以及六个协同进化的算子，以引导神经元状态趋向一致的神经元分配。实验评估表明……CRediT作者贡献声明：郭玉玲：撰写初稿、方法论、概念设计。Mohd Shareduwan Mohd Kasihmuddin：撰写—审阅与编辑。常云杰：调查研究。李佳：可视化、软件。Nur Ezlin Zamri：验证。Mohd. Asyraf Mansor：指导、经费获取。张乾红：经费获取。利益冲突声明：作者声明他们不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。致谢：本研究由湖南省自然科学基金（2026年）资助，项目编号：2026JJ80195；以及湖南省普通本科教育教学改革研究项目（2025年）资助，项目编号：202502001651。所有作者对他们的支持表示衷心感谢。作者：郭玉玲 | Mohd Shareduwan Mohd Kasihmuddin | 常云杰 | 李佳 | Nur Ezlin Zamri | Mohd. Asyraf Mansor | 张乾红