动力学网络的高效参数推断方法

《Physica D: Nonlinear Phenomena》：An efficient parameter inference method for dynamical networks

　　

摘要

复杂网络研究通常聚焦于基于动态数据的参数推断。困难往往源于复杂的网络结构以及单个节点与其邻居之间的非线性相互作用。我们提出了一种高效方法来应对这一挑战。根据动态数据和特定的推断需求，建立一个损失函数。借助已知动态模型的确定性网络拓扑和节点方程，通过人工神经网络中多样而高效的技术，包括基于梯度的学习、自动微分和优化算法，通过持续最小化损失函数来最终优化并识别未知的物理参数。数值模拟表明，该框架能够准确推断临界耦合和其他系统参数。除提供高精度和快速的推断结果外，我们的方法对网络规模、结构和参数变化具有鲁棒性。同时，该方法能够处理离散和连续系统。此外，从动态分析中推导出了临界值的标度律，并证实了我们方法的可靠性。

引言

在21世纪的前两个十年中，复杂网络理论得到了广泛发展。它已被应用于多个学科[1]、[2]，包括物理学[3]、数学[4]、神经科学[5]、[6]、控制理论[7]、社会系统[8]和机器学习[9]。复杂网络结构、多种动态元素以及相邻节点之间高度非线性的连接可以产生广泛的行为，并能对真实系统中的许多实际功能进行建模[10]、[11]。目前存在大量来自网络系统的可获取动态数据。这些可用数据已被用于重构网络和推断参数，尽管其中大多数方法假设节点之间是线性相互作用。此外，同步作为另一个典型的网络问题，也受到了广泛关注[12]、[13]。然而，在推导同步参数时，主要只考虑节点之间的线性相互作用[14]。显然，考虑网络中的线性相互作用对于实际应用系统[15]、[16]和研究便利性都很重要。但复杂的非线性相互作用也存在于许多实际系统中，例如成年动物体内相邻神经元之间的相互作用[5]。然而，缺乏合适的工具来处理非线性相互作用使得精确确定内在参数非常困难。因此，开发一种稳健且高效的推断策略来处理非线性相互作用是一个迫切的需求。特别是，一种既能实现高精度又能实现高效推断的方法是非常理想的。

人工神经网络（缩写为ANN）近年来发展迅速，这可能是一个有用的思路来源，并为解决非线性和优化问题提供了新的视角[17]、[18]、[19]。事实上，如何使用ANN高效地解决网络推断问题仍然是一个开放性问题。一些最近的论文使用ANN来探索物理系统[20]、[21]、[22]、[23]、[24]，但它们都需要额外构建一个对应于目标系统的ANN。而且原始系统的相关信息，包括网络结构、节点动态、动态行为等，在参数推断过程中无法被充分利用。因此，我们提出了一种新的推断框架，基于动态响应和受调查系统的相关信息。

与现有方法相比，我们的方法不需要构建额外的ANN。相反，我们使用受调查网络系统自身的结构和节点动态方程。此外，我们依赖真实的网络状态数据，建立损失函数来引导和监督参数推断。数值模拟表明，本文的方法可以通过自动微分和优化算法的帮助，通过持续最小化损失函数来完成推断任务。在具体的推断案例中，我们会根据不同目的灵活采用不同的损失函数。同时，因为相关概念和考虑源于ANN，ANN理论中现有的经验证据可以为我们的方法服务。上述情况使得本文的方法在鲁棒性和精度方面均优于其他方法，无论是线性还是非线性相互作用。整个推断过程就是优化损失函数和对动态网络行为进行实时调控的过程。本文的方法经历了多种测试，包括不同的网络规模、结构和不同的推断任务，这些结果表明了我们方法的可靠性。此外，通过分析不同类型的网络，获得了网络同步临界耦合的一般标度律。除提供精度和效率外，我们的方法具有很高的鲁棒性，适用于离散和连续网络系统。迄今为止，复杂网络和机器学习都已发展了数十年，产生了极其重要的成果。这里描述的方法通过将这两个领域结合起来开发而成，为研究复杂网络问题提供了不同的视角。希望本文的方法能为实际系统提供潜在的帮助。

本文其余部分的组织结构如下。在下一节中，基于网络系统的拓扑结构和时间演化，开发了一个带有损失函数的统一框架模型。第3节展示了耦合帐篷映射的相应动态方程。我们构建各种网络，对其动态行为进行数值模拟，推断大量系统参数，并实现同步参数的推断，并进行深入分析。在第4节中，我们总结并进一步讨论模拟结果，包括提出的未来工作。附录A到C分别介绍了我们的方法相对于文献中一种流行方法的优势，讨论了该方法扩展到连续系统的方案，并推导了同步参数临界值的标度律。

模型

以下网络模型由耦合帐篷映射构建。帐篷映射的具体形式如下：

x_{n+1} = f(x_n) = {μx_n, 当 x_n < 1/2；μ(1?x_n), 当 x_n ≥ 1/2}

其中参数 μ ∈ [1.5, 2.0]（为方便研究）。因此，动态网络由以下公式支配：

x_{i,n+1} = f(x_{i,n} + c[∑(j=1至d_i) a_{ij} x_{j,n} / d_i ? x_{i,n}])

其中 x_{i,n} 表示网络节点 i 在时间步 n 的状态值；A 是网络结构的邻接矩阵，a_{ij} 是矩阵元素。如果节点 i 与节点 j 相连，则 a_{ij} = a_{ji} = 1，否则 a_{ij} = 0。

模拟与分析

建立了多种类型的网络来检验我们方法的效率。为方便估计网络同步，我们将网络在时间步 n 的动态同步指数（缩写为 SynExt）定义为 e^{?δ(n)}，其中 δ(n) 为 δ(n) = max{x_i(n)} ? min{x_i(n)}。当 δ(n) 趋向于零时，SynExt 趋向于 1，网络趋向于同步。在图 1 所示的三节点网络上，以不同的参数条件运行了模拟，一些结果如……所示。

结论与讨论

我们描述了一种复杂网络研究中参数推断的新方法。我们的方法成功地实现了复杂动态网络中的参数推断，可应用于单个临界参数和多个参数。该推断框架引入并最小化了一个损失函数，可以根据不同目的进行调整。利用内在的网络结构和相应的动态数据，该方法对不同种类的复杂网络具有鲁棒性……

CRediT 作者声明

张利生（第一作者及第一通讯作者）：概念化、方法论、资源、软件、形式分析、可视化、撰写——初稿、验证、调查、获取资金、监督、撰写——审阅与编辑

张志勇（通讯作者）：撰写——审阅、监督与编辑；郭磊磊（通讯作者）：撰写——审阅与监督；郑佳：撰写——审阅；张辉：撰写——审阅

CRediT 作者贡献声明

张利生：方法论、调查、获取资金、形式分析、数据管理、概念化。张志勇：撰写——初稿。郭磊磊：撰写——初稿。郑佳：撰写——初稿。张辉：撰写——初稿。

利益冲突声明

作者没有相关的财务或非财务利益需要披露。

张利生 | 张志勇 | 郭磊磊 | 郑佳 | 张辉