协作神经动力学优化综述

《Neurocomputing》：A survey on collaborative neurodynamic optimization

　　

**摘要**

近年来，工程、控制和机器学习中的优化问题日益呈现非凸性、约束性、分布式和大规模化趋势，使得传统方法难以可靠且高效地求解。协同神经动力优化（Collaborative Neurodynamic Optimization, CNO）作为一种将神经动力求解器与多智能体或多动力学系统之间的协作机制相结合的新兴框架而备受关注。通过局部神经动力演化与信息交换，CNO增强了搜索能力，支持分布式实现，并提升了在复杂优化环境中的适应性。本综述旨在从优化建模、神经动力求解和协作增强的角度，对CNO作为复杂系统的通用框架进行系统性回顾和统一性阐述。现有方法从神经动力求解器和协作机制两个维度进行分类，并讨论了近期进展和代表性应用。

**引言**

随着实时决策、复杂约束处理以及网络化系统协调需求的增长，工程、控制和机器学习中产生的优化问题日益复杂[1]–[4]。在许多实际场景中，优化方法不仅需要产生高质量解，还需快速响应、对不确定性具有鲁棒性，并适配硬件实现[5]–[7]。此类需求在能源管理、在线目标跟踪和多智能体协调等任务中尤为重要，在这些任务中，优化往往需要在有限的计算或通信资源下在线进行[8]–[10]。在这些场景中，现有优化方法往往难以同时兼顾实时响应、鲁棒性和高效实现。此外，纯启发式全局搜索方法通常计算代价高昂，且仅提供有限的稳定性或收敛性保证[11]–[12]。这些局限性促使人们对高效、鲁棒且具有实际可实施性的优化框架的兴趣日益增长。

神经动力优化通过将所有优化问题显式地构建为动力学系统提供了此类框架，无论是连续时间微分方程还是离散时间迭代方程的形式，其状态向稳定平衡点演化[13]–[15]。在适当假设下，该平衡点对应无约束问题的驻点或约束问题的Karush–Kuhn–Tucker（KKT）点[16]–[17]。这种构建允许利用动力学系统和控制理论的工具分析优化问题，特别是基于Lyapunov的方法和不变性原理[18]–[20]。它还广泛关联于神经网络计算中广泛使用的基于能量的构建。在实际应用中，神经动力优化已被用于多智能体和机器人协同控制[21]–[23]、机器学习分类[24]–[25]、信号处理[26]以及资源分配[27]。从工程角度看，神经动力方法因其适合硬件实现且天然契合在线或持续运行的优化任务而具有吸引力[28]–[30]。与传统迭代方法相比，它们通常更适用于在线计算和实时响应[31]–[33]。与元启发式方法相比，它们与原始问题结构更直接相关，为系统性的稳定性分析提供了更清晰的基础[34]。

尽管具有上述优势，当优化问题高度非凸或多模态时，单一神经动力系统仍可能收敛到次优平衡点[35]–[36]。其性能可能对初始化敏感，单独运行时探索能力和鲁棒性也可能受限。此外，单一求解器可能不足以应对大规模或分布式问题。这些局限性促使人们对协同神经动力优化（CNO）的兴趣日益增长，即多个神经动力单元之间进行交互和协调。核心思想是协作可以通过多种方式弥补孤立求解器的局限：基于种群的协作可增强全局探索，降低收敛到次优局部极小值的风险[37]–[38]；通过通信图实现的协调可通过使多个单元仅利用局部信息和邻居交互共同求解全局优化问题来支持分布式优化[28]、[39]、[40]；协作增强策略可进一步提升不确定和动态环境中的鲁棒性和效率[41]–[43]。在此意义上，CNO不仅仅是神经动力优化的并行形式，而是一个将神经动力求解与协作增强相结合的通用框架。

近期进展表明，CNO已逐渐从一系列特定问题的技术集合演变为更统一的研究框架。在求解器方面，现有神经动力模型可大致分为投影和可行性维持型求解器[44]–[46]、基于能量和罚函数的求解器[47]–[49]，以及拉格朗日结构型求解器，包括原始–对偶和鞍点构型[35]、[50]。在协作方面，机制已从简单的基于种群的信息共享发展到更结构化的形式，如基于一致性协议的分布式协调[28]、[39]、[51]以及其他协作增强策略[44]、[52]、[53]。同时，CNO已在更广泛的优化设置中被研究，包括离散和混合整数问题[54]–[56]，以及时变或受扰动影响的优化问题[57]–[58]。这些进展也使CNO能够应对更广泛的任务，包括稀疏信号重建[59]、特征选择[60]、任务分配[61]、模型预测控制[62]以及机器人优化与控制[63]–[64]。

尽管关于CNO的研究已大幅扩展[65]–[71]，但相关文献仍然碎片化，尚缺乏统一的综述。几项近期综述从相关但不同的视角提供了有价值的背景。一条研究路线主要围绕神经动力优化，从模型结构、收敛性和可求解问题类型方面总结递归神经网络模型[14]。另一条相关路线聚焦于智能计算和零点神经网络，进一步探讨了时变求解、鲁棒性增强和工程应用[72]–[73]。这些研究为本综述提供了重要参考，但它们并非围绕神经动力求解器与协作机制的具体组合来组织。因此，需要一篇系统性综述来阐明CNO的通用框架、方法分类、理论结果、代表性任务和应用。在此背景下，本综述的主要贡献总结如下：

1) 提供了一个统一框架，从神经动力求解器和协作机制的视角组织现有CNO研究，阐明了局部神经动力求解与协作协调在不同CNO方法中如何结合。
2) 从方法学和应用导向两个角度回顾了CNO的近期进展，特别总结了CNO向更复杂优化设置的扩展以及在工程和智能系统中的代表性应用。

为直观概述本综述，图1展示了CNO的整体框架。该图展示了目标优化问题如何通过局部神经动力求解器处理，然后通过多个求解器或智能体之间的协作得到改进。这一组织突出了CNO的核心理念：局部神经动力演化提供高效的问题特定搜索，而协作机制增强信息交换、探索能力、可扩展性和协同收敛性。本文其余部分组织如下：第2节介绍背景和预备知识，涵盖问题表述、解的概念、通信模型和CNO通用框架。第3节回顾主要的神经动力求解器类别。第4节讨论代表性的协作机制。第5节展示CNO的近期方法学扩展和应用。第6节给出结论。

**各节概述**

**背景与预备知识**

协同神经动力将经典神经动力优化从单一神经动力求解器扩展到多个协调求解器。通过交互、信息交换或协调重启，这些求解器可共同应对更复杂的优化和均衡问题，包括涉及分布式信息、共享约束或耦合决策的问题。本节介绍问题表述、解的概念、通信模型和通用框架。

**神经动力求解器**

在求解机制方面，现有神经动力方法可大致分为三类：投影/可行性维持型求解器、基于能量和罚函数的求解器，以及拉格朗日结构型/原始–对偶求解器。这种面向机制的分类体系根据原始优化问题如何嵌入动力学系统来对神经动力求解器进行分类。与仅基于问题类型的分类相比，这种分类更好地反映了求解器的……

**协作机制**

在CNO中，性能不仅取决于局部神经动力求解器的设计，还取决于多个求解器之间的交互方式。协作机制的作用是在局部神经动力过程之间引入协调，使它们能够交换信息、满足耦合需求并提升整体求解性能。本综述根据协作机制在求解过程中的作用进行分类。现有研究可分为三类：……

**方法学扩展与应用**

前几节回顾了CNO的理论基础、代表性求解器和协作机制。本节讨论其进一步扩展和应用，聚焦于CNO的三个方面的：离散和混合整数表述、时变和鲁棒优化，以及代表性应用领域。这些进展表明，协同神经动力已从静态连续优化的方法演变为适用于多种……

**结论**

本综述将协同神经动力优化（CNO）作为连接优化建模、神经动力求解和协作协调的框架进行了回顾。通过从表述、求解器、协作机制、扩展和应用等维度组织现有研究，展示了CNO如何将经典神经动力优化从孤立求解器扩展到交互求解器群体或智能体网络。现有研究表明，此类协作可以改善搜索……

**CRediT作者贡献声明**

Jun Yang：初稿撰写、监督、方法论、调查研究、资金获取。
Xiao Lin：验证、软件、资源、项目管理。
Donghui Zhang：初稿撰写、可视化、软件、方法论。
Congyuan Xu：资金获取、形式化分析、数据管理、概念设计。
Le Yang：审稿与编辑、验证、监督、调查研究。

**利益冲突声明**

作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究部分受国家自然科学基金（资助号62302197）和浙江省高等教育研究生教学改革项目（资助号JGGC2024034）支持。

Jun Yang | Xiao Lin | Donghui Zhang | Congyuan Xu | Le Yang
嘉兴大学 人工智能学院，浙江嘉兴，314001，中国