用于拟变分不等式的缩放投影神经网络

《Neural Networks》：Scaled Projection Neural Network for Quasi-Variational Inequalities

　　

•提出了一种面向准变分不等式的新投影神经网络。
•固定SPD矩阵M缩放动力学；状态相关约束集保持QVI结构。
•基于M?1加权的Lyapunov分析给出了显式收缩因子ρ_M。
•显式主导条件给出了全局指数收敛的步长窗口。
•在五个领域中的九组实验探究了该证明及其保守性。

**引言**

变分不等式（VI）问题为优化、博弈论、网络分析和约束动力系统等领域中出现的大量均衡模型提供了一个统一的框架。给定非空闭凸集?????和连续映射??:??→??，经典变分不等式问题VI(??,??)旨在寻找一点???∈??，使得对所有??∈??，???(???),???????≥0。

当可行集本身依赖于当前状态时，该问题成为准变分不等式，其描述如下：给定集值映射??:?????，使得对每个??∈??，??(??)均为非空闭凸集，则准变分不等式问题QVI(??,??)旨在寻找一点???∈??(???)，使得对所有??∈??(???)，???(???),???????≥0。

Bensoussan等人（1973）在脉冲控制问题中首次引入了准变分不等式，并在Baiocchi和Capelo（1984）、Bensoussan和Lions（1982）中得到了系统的后续研究。广义Nash均衡问题（Facchinei和Kanzow, 2010）以及接触力学、交通网络均衡和微分博弈中的若干问题（Pang和Stewart, 2008）也可以写成准变分不等式的形式。

在许多应用中，状态相关约束集??(??)具有平移形式：
??(??)=??(??)+??，
其中??:??→??是逐点映射，??是固定闭凸集。这种结构自然出现在广义Nash博弈中——其中每个参与者的可行域因其他参与者的策略而发生平移；也出现在容量约束依赖于总需求的经济模型中。

投影法是求解变分/准变分不等式问题的最早方法之一；参见Ansari等人（2013b）、Facchinei和Pang（2004）、Noor（1988）及其参考文献。

另一条并行的研究线引入了缩放或预处理投影。斜投影算子Π_{K,A}——针对固定对称正定（SPD）矩阵A，在闭凸集K上最小化A-范数距离——在Facchinei和Pang（2004）中得到了系统研究；其在A-范数下的刚性非扩张性和条件数为cond(A)=‖A‖·‖A?1‖的Lipschitz连续性构成了缩放投影方法的分析基础。

在离散时间优化中，Bonettini等人（2009）提出了缩放梯度投影（SGP）方法，该方法在投影步骤中引入了正定缩放矩阵用于约束优化。Bonettini和Prato（2015）进一步发展了这一方法，证明缩放能够提供更优的收敛速率，尤其适用于病态问题。

另一方面，基于投影的动力系统和投影神经网络已广泛作为求解变分不等式的连续时间方法。Dupuis和Nagurney（1993）提出的经典投影动力系统（PDS）形式为：
????/????=??(??_??(???????(??))???)，
其中??_??表示到??上的欧几里得投影，λ>0和α>0为参数。等式（4）的平衡点对应VI(??,??)的解，基于Lyapunov的稳定性分析保证了在F满足单调性假设下的收敛性。Nagurney和Zhang（1996）给出了完整处理；Cojocaru等人（2005）发展了到Hilbert空间和演化设定的推广。

将模拟电路动力学用于优化可追溯到Hopfield和Tank（1985）、Tank和Hopfield（1986）以及Kennedy和Chua（1988）提出的标准非线性规划电路。投影神经网络（PNNs）在神经或硬件导向的架构中实现了相同的动力学。Xia和Wang（2004）提出了一种带有对角缩放矩阵Λ（乘在右端）的一般投影神经网络（GPNN），并在G-单调性下建立了全局收敛性。Hu和Wang（2006）将稳定性分析扩展到伪单调算子，随后Hu和Wang（2007）为一般变分不等式引入了矩阵预处理器W。Gao等人（2005）通过基于KKT的非线性约束重述处理非线性约束。近期，Yang等人（2025）在强伪单调性下实现了固定时间收敛，Allibhoy和Cortés（2025）发展了具有前向不变性保证的安全单调流。神经动力学优化在变分不等式之外仍然是活跃的研究领域，最近的连续时间模型包括投资组合配置（Cao等人, 2025c）和k-winner-take-all选择（Cao等人, 2025b）。所有这些工作中的一个关键观察是：投影算子??_??(·)始终是欧几里得的——虽然一些论文通过Λ或W缩放ODE的右端，但投影本身是相对于标准内积计算的。因此投影步骤的底层几何并未适配问题结构。

将基于投影的动力学从VI扩展到准变分不等式——其中约束集随状态变化——受到的关注相对较少。最相关的工作是Noor（2003），他提出了隐式投影动力系统用于形如
????/????=??{??_{K(u)}[???????(??)]???}
的QVI，其中K(u)是状态相关闭凸集。在A的伪单调性和投影映射的Lipschitz条件（‖??_{K(u)}(??)???_{K(v)}(??)‖≤??‖?????‖）下，他建立了全局渐近稳定性，并在Lipschitz连续性下证明了指数稳定性。关于扩展一般非线性准变分不等式的动力系统，参见Ansari等人（2013a）。

基于上述事实，近期工作（Alshahrani, 2026）开始系统研究带有状态相关矩阵??(x)的投影神经网络，提出了动力学
????/????=??[??_{??,???1(x)}(???????(x)??(??))???]，
其中??_{??,???1(x)}表示相对于矩阵???1(x)的投影。该工作为具有固定可行集的变分不等式引入了状态相关矩阵框架，并研究了矩阵映射在一致有界性和Lipschitz正则性下的适定性、平衡点特征和稳定性（Alshahrani, 2026）。

本文处于三条此前未曾连接的学术流派交汇处：（i）QVI动力学（Noor, 2003）——具有状态相关约束集但采用欧几里得投影；（ii）缩放投影方法（Alshahrani, Bonettini, Zanella, Zanni, 2009）——具有变度量投影但约束集固定；（iii）投影神经网络（Hu, Wang, 2006; Xia, Wang, 2004）——具有连续时间动力学但采用欧几里得投影且集固定。目前尚无任何框架将一般缩放矩阵纳入用于QVI的投影神经网络中。

本文通过提出一种面向准变分不等式的缩放投影神经网络来弥补这一空白。我们保持矩阵M固定（一个对称正定矩阵），并允许约束集通过平移形式（3）依赖于状态。具体而言，我们研究如下动力学：
????/????=??[??_{??(x),M?1}(?????M??(??))???]，
其中??_{??(x),M?1}表示相对于由M?1诱导的内积到??(x)=??(x)+??上的度量投影。当M=I且m(x)≡0时，该系统退化为经典投影动力系统（4）。

在（6）中，分析挑战在于可行集通过m(x)随状态移动，因此投影算子既通过其自变量?????M??(??)又通过投影目标集??(x)依赖于x。我们现在精确说明与Alshahrani（2026）的关系。投影架构——由前向步的度量投影构成的不动点映射——以及变分特征化论证继承自该工作，其处理的是固定集与状态相关矩阵的组合。新的部分是移动集的分析。下面的平移恒等式给出了移动集投影的精确分解。集的运动对Lipschitz和收缩估计贡献了外项??(x)???(y)，混合乘积???(x)???(y),??(x)???(y)?对关键收缩估计做出贡献；该乘积通过有效模μ_eff进入估计，并由第4节的M?1加权分析自然处理。由此得到的常数和保证在问题数据上是全局显式的：不动点映射的Lipschitz常数、全局适定性、具有可容许步长窗口的闭式收缩因子ρ_M，以及离散时间收敛保证。相反，Alshahrani（2026）的状态相关矩阵??(x)在本文中保持固定。完全耦合的情形仍然开放（第6节）。

我们的分析中贯穿利用的一个关键结构性质是平移恒等式：
??_{??(x)+??,M?1}(??)=??(x)+??_{??,M?1}(?????(x))，
它将到移动集上的投影分解为平移加到固定集??上的投影。该恒等式使我们能够隔离集的变化m(x)的贡献与投影机制的贡献，从而获得清晰的Lipschitz估计。

**贡献。** 本文的主要贡献如下：
•我们引入了一种面向准变分不等式问题的缩放投影神经网络（6），具有固定正定矩阵M和状态相关约束集??(x)=??(x)+??。
•我们建立了平衡点特征化，证明（6）的驻点恰好对应QVI(??,??)的解。
•我们在F和平移映射m的Lipschitz正则性下证明了适定性（轨迹的存在唯一性）。
•我们开发了基于M?1加权Lyapunov函数的Lyapunov稳定性分析，在（24）的定量条件下建立了Lyapunov稳定性和显式步长窗口上的全局指数收敛。我们还给出了保持指数速率的前向Euler离散化。该分析明确考虑了固定矩阵M、移动约束集和m的收缩性质之间的相互作用，得出了一般化的显式步长条件，既适用于固定集变分不等式，也适用于欧几里得准变分不等式问题。
•我们在五个应用领域中呈现了九组数值实验——包括受QVI动力系统文献启发的非线性基准、来自接触力学的隐式障碍问题以及来自产业经济的广义Nash均衡——展示了经过证明的收敛行为并探究其保守性。动力学在远超第5.2节参考尺度数个数量级的步长下仍然收敛。较大的集运动K_m仅在被测试的弱单调和非单调情形下削弱收敛。

本文其余部分组织如下：第2节介绍符号、度量投影和基本假设；第3节建立适定性和平衡点特征化；第4节开发稳定性分析：通过加权范数方法证明Lyapunov稳定性、显式步长窗口上的全局指数收敛以及保持速率的前向Euler离散化；第5节呈现数值实验；第6节给出结论性评述。

**公式与符号**

我们从介绍支撑分析的符号、度量投影和基本假设开始。设?????为非空闭凸集，??:??→??为连续映射，??:??→??为定义状态相关约束集??(x)=??(x)+??的连续映射。全文中，?·,·?表示??上的标准欧几里得内积，对应范数‖x‖=√?x,x?。我们固定一个对称正定（SPD）矩阵M∈????，它诱导内积

**适定性与均衡**

我们现在建立动力系统（11）的基本性质：向量场是Lipschitz连续的，轨迹存在且唯一，且平衡点恰好对应QVI(??,??)的解。定义向量场Φ(x):=T(x)?x，其中??∈??，使得动力学读作????/????=??Φ(x)。

**引理5 前向步的Lipschitz连续性**

定义G(x):=x?m(x)?αMF(x)。在假设1、2和3下，
‖G(x)?G(y)‖≤(1+K_m+αLK)‖x?y‖，对所有??,??∈??。

**证明：** 对于??,??∈??，
G(x)?G(y)=(x?y)?(m(x)?m(y))?αM(F(x)?F(y))。
由三角不等式和假设1-3，我们有
‖G(x)?G(y‖

**稳定性分析**

我们分四个阶段建立动力系统（11）的稳定性理论：通过加权范数分析证明Lyapunov稳定性；当强单调性在（24）意义上主导集运动时，在显式步长窗口上的全局指数收敛；保持指数速率的前向Euler离散化；以及界定超出已证明窗口范围成立性质的部分结果。本节中，???表示QVI(??,??)的一个解，等价于T的一个不动点。

**数值实验**

本节的目标是展示所提出的动力学（11）的行为，检验已证明的收敛行为，并探索超出第4节所建立充分条件的收敛性。所有实验均用Julia 1.12实现。连续时间部分使用OrdinaryDiffEq.jl包（Rackauckas和Nie, 2017）的自适应Runge-Kutta积分。Tsit5为默认方法，而第5.2节的极端步长压力测试使用Rosenbrock23的AutoTsit5。

**结论**

我们提出并分析了一种面向准变分不等式的缩放投影神经网络，其中固定的对称正定矩阵M定义了投影的几何，约束集??(x)=m(x)+S通过收缩映射m随状态变化。

主要结果建立了：（i）动力学平衡点与QVI解之间的精确对应；（ii）在F和m的Lipschitz正则性下的适定性（轨迹的存在唯一性）

**生成式AI及AI辅助技术在写作过程中的声明**

在准备本文过程中，作者使用了Claude（Anthropic）协助文稿编辑、验证LaTeX格式以及检查交叉引用和符号的内部一致性。

在使用该工具后，作者已根据需要审查和编辑了内容，并对出版物的内容承担全部责任。
CRediT 作者贡献声明
Mohammed Alshahrani：写作 – 审稿与编辑，写作 – 初稿，可视化，验证，软件，方法论，探究，形式分析，数据管理，概念构思。
Qamrul Hasan Ansari：写作 – 审稿与编辑，写作 – 初稿，方法论，概念构思。
利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能被认为会影响本论文中报告的工作。
致谢
作者感谢匿名审稿人的仔细阅读和富有建设性的意见，这些意见显著提高了论文质量。作者感谢法赫德国王石油与矿物大学（KFUPM）及其智能移动与物流跨学科研究中心（IRC-SML）提供的机构支持。
Mohammed Alshahrani | Qamrul Hasan Ansari