基于 TOD 协议的双层非线性系统协作学习方法

《Journal of the Franklin Institute》：Collaborative Learning Approaches via the TOD Protocol for Two-Layered Nonlinear Systems

　　

摘要

本文研究了二层非线性网络的跟踪问题。首先，建立一个具有慢态和快态的二层非线性网络模型，以捕捉节点动力学中的异质性。然后，引入一种基于尝试一次丢弃（Try-Once-Discard，TOD）协议的新型协同学习算法，以解决二层非线性网络的跟踪问题。为了便于分析，将原始二层非线性网络模型的跟踪问题转化为两个线性网络模型的跟踪问题。随后，建立一个主要结果，以实现两个线性网络模型以及原始二层非线性网络的期望跟踪。该结果表明，如果像传统TOD协议一样仅控制一个节点，则无法实现所有节点的跟踪。最后，提供数值仿真以证明所提出结果的有效性。

引言

多层网络[1]、[2]、[3]、[4]、[5]是由多层互连节点组成的架构，其中信息从一层顺序流向下一层。每一层处理来自前一层的输入并将其输出传递向前，从而实现层次化的信息处理和渐进式抽象。例如，制造供应链[6]、[7]通常遵循多层结构：原材料首先被加工成基本部件，然后被组装成组件，最终被集成成成品，每一层都增加价值和复杂度。作为多层网络的一种特殊类型，二层网络[8]、[9]、[10]、[11]、[12]保留了多层处理的核心原则，同时提供了理论上的可处理性。此外，研究二层网络为表征学习、信息流和层间交互提供了基本见解，是理解多层架构优势和权衡的关键基线。例如，在文献[12]中，开发了一种运动控制架构，以获得双网络模型中高速与高精度之间的实时协调。

值得注意的是，许多实际二层网络系统中的节点通常以不同的速率运行。例如，在二层机械臂控制系统[13]、[14]、[15]中，快层机械臂在毫秒级处理实时关节力矩调整和反馈响应，而慢层机械臂在秒级管理轨迹规划和电机学习。快速修正在运动过程中保持稳定性，而慢速更新则基于重复试验优化性能。此外，大多数物理、生物和工程系统表现出非线性行为，例如饱和[16]和振荡[17]，线性模型无法捕捉这些行为。引入非线性项使二层网络能够模拟真实世界过程，包括神经放电阈值、机器人关节约束和经济转折点。因此，为了表征节点的不同速率，本研究将考虑一个具有慢态和快态的二层非线性网络模型。将引入一个参数ε（0 < ε < 1）来描述分离。

认识到分析二层非线性网络动态特性的重要性，研究人员研究了控制论工具，如滑模控制[18]、模型预测控制[19]、H∞控制[20]和最优控制[21]、[22]。注意，在上述控制方法中，几乎网络中的所有节点都被控制以获得状态变量的期望稳定性。然而，随着技术的不断进步，网络中的节点数量不断增加，节点之间的通信变得越来越频繁。由于网络带宽有限，不可能在真实系统中控制所有节点。同时，当大量节点在大型网络中通过共享且有限的通信信道同时传输控制数据时，可能会导致数据碰撞。

最近，尝试一次丢弃（TOD）协议作为一种有效的通信调度策略，被广泛应用于带宽有限的网络化系统。如文献[23]、[24]、[25]、[26]、[27]所示，TOD协议选择传输优先级最高的节点或信号来访问共享通信信道，其余候选节点则暂时被丢弃，并在下一次传输时刻再次竞争。这种调度机制的主要优势在于减少通信负担、避免数据碰撞、提高信道利用率以及在受限网络资源下保持系统性能。因此，考虑到迭代学习控制（ILC）[10]、[28]、[29]、[30]的独特优势，包括其简洁的结构、快速的收敛速度、较低的对模型依赖性以及对编队飞行扰动的优越适应性，本文将TOD协议引入迭代学习控制，以开发一种新型的合作学习策略。与传统TOD协议不同，在新型算法中，控制的是所有节点的一部分而不是一个节点。回顾上述讨论，本研究的贡献如下：

1）提出了一个具有慢态和快态的二层非线性网络模型，以说明不同节点的不同速率。分离参数ε的影响将在后续主要结果中展示；

2）基于TOD协议提出了一种新型算法，以处理二层非线性网络模型的期望跟踪。在新型算法中，需要控制的是一部分节点而不是一个节点。此外，在第4节的例子中，阐明了如果像传统TOD协议一样仅控制一个节点，则无法获得所有节点的期望跟踪；

3）将原始二层非线性网络模型的跟踪问题转化为两个线性网络模型的跟踪问题。随后，建立一个主要结果，以实现两个线性网络以及原始二层非线性网络的期望跟踪。

本文其余部分组织如下。在第2节中，介绍具有慢态和快态的二层非线性网络模型以及基于TOD协议的新型算法。在第3节中，将原始二层非线性网络模型的跟踪问题转化为两个线性网络模型的跟踪问题。随后，建立一个主要结果以实现二层非线性网络的跟踪。然后，在第4节中提出一个数值例子来说明所获得结果的有效性。最后，在第5节中给出结论。

记号：对于正整数n和m，Rn表示n维欧几里得空间，Rn×m表示所有n×m实矩阵的集合。对于任意标量x∈R，|x|表示x的绝对值。In是n维单位矩阵，?是空集。对于方阵A∈Rn×n，ρ(A)是矩阵A的谱半径。对于任意两个向量x=(x1,x2,?,xn)T∈Rn和y=(y1,y2,?,yn)T∈Rn，x?y意味着xi ≤ yi，? i ∈ {1, 2, ???, n}。

章节片段

系统描述

考虑一个由N个节点组成的二层非线性网络，其中N > 0是一个整数。该网络被建模为一个有向图，并包含两个不同的层。假设不同层中的节点表现出不同的运行状态。这种情况受到供应链网络等实际应用的启发，其中储存的货物如易腐品和非易腐品可能以不同的速率退化。为了捕捉节点状态的这种异质性，建立一个二层非线性

主要结果

定义f(t, l) ? R(t, l)z(t, l)，其中R(t,l)=(r11(t,l),r12(t,l),?,r1n1(t,l),r2(n1+1)(t,l),r2(n1+2)(t,l),?,y2N(t,l))T，系统(2)可以重写为：

Bz(t+1,l) = Az(t,l) + R(t,l)z(t,l) + u(t,l)。

在本节中，目的是设计算法2.2中的控制策略(3)-(6)，以实现系统(6)的期望跟踪。在算法2.2中，学习控制器(3)-(6)设计为：

Δu1i(t,l) = ?γi(l)ei(t+1,l)，
Δ?1i(t,l) = ?γ?i(l)e?i(t+1,l)，
Δu2j(t,l) = ?γj(l)ej(t+1,l)，
以及Δ?2j(t,l) = ?γ?j(l)e?j(t+1,l)。

一个说明性例子

在本节中，将提出一个数值例子来说明所获得结果的有效性。

例1

考虑以下离散二层非线性系统：

x(t+1,l) = A11x(t,l) + A12y(t,l) + f1(t,l) + u1(t,l)，
εy(t+1,l) = A21x(t,l) + A22y(t,l) + f2(t,l) + u2(t,l)，

其中x(t,l)=(x1(t,l),x2(t,l),?,x5(t,l))T∈R5是慢态节点向量，y(t,l)=(y6(t,l),y7(t,l))T∈R2是快态节点向量，N=5+2=7。定义时间T=10，

A11=[?4 0 0 1 0; 1 ?3 0 1 0; 1 0 ?2 0 0; ?1 0 0 ?2 0; 0 1 0 1 ?3]，

A12=[?1 ?1; 0 0.5; 0.5 0; 0 0; 1 0]。

结论

本研究讨论了一个二层非线性网络的跟踪问题。第一步是开发一个具有不同慢态和快态的二层非线性网络模型，以捕捉不同节点间的内在动力学。然后，基于TOD协议，引入了一种新型协同学习算法来解决二层非线性网络的跟踪问题。为了便于分析，将原始的

CRediT作者贡献声明

熊文军：论文写作—审阅与编辑、论文写作—原始草稿、验证、监督、方法论、资金获取、形式化分析。钟宇：软件、资源、资金获取。

利益冲突声明

作者声明我们没有已知的竞争性经济利益或个人关系，这些关系可能会影响本文报告的工作。

熊文军 | 钟宇