具有两个惯性参数的松弛-惯性自适应次梯度外梯度方法在希尔伯特空间中的平衡问题应用

《Communications in Nonlinear Science and Numerical Simulation》：Relaxed-Inertial Self-Adaptive Subgradient Extragradient Methods with Two Inertial Parameters for Equilibrium Problems in Hilbert Spaces

　　摘要：本文研究了实希尔伯特空间中伪单调双函数对应的均衡问题。我们提出了两种含有两个惯性参数的自适应次梯度外梯度方法。第一种方法将放松的惯性外推技术与自适应步长规则相结合，因此无需事先知道双函数的利普希茨型常数。在包括伪单调性和利普希茨型条件在内的标准假设下，我们证明了所生成序列弱收敛于均衡问题的解。此外，在强伪单调性的额外假设下，我们证明了解的唯一性，并获得了R线性收敛性。为在不假设强伪单调性的情况下获得强收敛性，我们引入了另一种基于阻尼惯性外推方案的方法。在适当的控制条件下，我们证明了该方法生成的序列强收敛于均衡问题的最小范数解。这两种算法都通过在一个可构造的支撑半空间上解决一个近端子问题，同时在C上解决另一个子问题，从而保持了次梯度外梯度方法的计算优势。这些结果拓展了现有用于希尔伯特空间均衡问题的若干惯性外梯度类方法。

引言：高效可靠的均衡问题迭代方法的发展是非线性分析和优化领域的核心课题，在运筹学、数学规划、经济学、工程学及相关领域有着重要应用。近年来，人们对理论上有鲁棒性、计算效率高且适用于大规模及无限维场景的投影型和外梯度型算法给予了大量关注，例如[1][2][3][4][5]。本文通过引入两种含有两个惯性参数的自适应次梯度外梯度方法，为这一研究方向做出了贡献，这些方法可用于解决实希尔伯特空间中的均衡问题。

均衡问题为优化、变分不等式理论、不动点理论、博弈论以及经济均衡分析中的多个重要模型提供了统一的数学框架，例如[6][7][8][9][10]。设H为实希尔伯特空间，C?H为非空、闭合且凸集。给定一个满足对所有x∈C都有F(x,x)=0的双函数F:C×C→R，均衡问题即为寻找x*∈C，使得对所有y∈C都有F(x*,y)≥0。这一表述由Blum和Oettli[11]首次提出并系统研究，为非线性分析及应用数学中的许多问题提供了共同结构。若干经典模型均可作为(1)的特殊情况出现。例如，若F(x,y)=〈A(x),y?x〉，其中A为算子，则(1)可转化为变分不等式问题；若F(x,y)=f(y)?f(x)，其中f为凸函数，则(1)变为凸优化问题。均衡形式也自然出现在纳什均衡模型、交通与网络均衡问题、资源分配以及市场均衡模型中。其广泛的适用性推动了人们对均衡问题的理论分析及数值求解方面的深入研究，例如[7][8][9][10][11][12]。

均衡概念在经济学和战略决策领域也有深厚的历史渊源。经典例子包括古诺寡头模型[13]、阿罗与德布鲁的一般均衡理论[14]，以及纳什的非合作博弈理论[15]。尽管早先通过尼凯多-伊索达双函数和辅助优化原理就已出现相关思想，但Blum和Oettli[11]的工作将均衡问题确立为一个独立且系统的数学模型。

在均衡问题的数值方法中，由于对外梯度法和次梯度外梯度法在处理单调及伪单调问题时的有效性，它们受到了广泛研究。从计算角度而言，次梯度外梯度法尤其具有吸引力，因为它用对可构造支撑半空间的投影替代了对可行集的投影。当可行集结构复杂时，这一特性往往能降低计算成本。受二阶动力系统以及Polyak[16]、Alvarez和Attouch[17]的开创性工作启发，惯性技术也被引入到外梯度类方法中，以改善收敛性能，相关进展可见于[18][19][20][21][22]。

尽管取得了这些进展，仍存在若干难题。许多现有的惯性次梯度外梯度方法仅包含一个惯性参数，且通常要求惯性参数、松弛参数和步长参数之间存在严格约束关系。此外，在无限维希尔伯特空间中，一些算法仅能保证弱收敛性，而在需要强收敛性、收敛到特定解或明确收敛速率信息的应用场景中，这可能不够用。通常需要额外的假设或引入合适的正则化与控制机制才能获得强收敛性。而且，关于均衡问题的R线性收敛结果仍然相对有限。单惯性方法的某些局限性在[23]中已有讨论。为克服这些局限并提升迭代算法的收敛性能，Liang[24]提出了两步惯性技术。这一思路随后被应用于优化问题[23]、变分不等式问题[25][26]以及包含问题[27][28]。该技术的主要特点在于它利用了当前位移方向和先前位移方向的信息。典型的双惯性外推形式为wk=xk+ρ(xk?xk?1)+β(xk?1?xk?2)，其中ρ和β为预设的惯性参数。

受此启发，我们为均衡问题开发了两种基于放松惯性的自适应次梯度外梯度方法。与固定惯性参数的方案不同，所提出的方法采用了两个可自适应控制的惯性系数：wk=xk+αk(xk?xk?1)+βk(xk?1?xk?2)，其中αk和βk由当前迭代值及一个可求和的控制序列确定。这种设计能够在保持收敛性分析的同时融入两种惯性效应。此外，所提方法还将这种自适应的两步惯性结构与自适应步长规则以及放松的次梯度外梯度修正相结合，因此无需事先知道双函数的利普希茨型常数。

第一种提出的方法即算法1，是一种具有两个惯性参数的放松惯性自适应次梯度外梯度算法。在包括伪单调性、利普希茨型条件以及适当连续性假设在内的标准假设下，我们证明了所生成序列弱收敛于(1)的解。此外，在双函数为强伪单调性的更强假设下，我们证明了解的唯一性，并建立了向均衡点的R线性收敛性。为在不假设强伪单调性的情况下获得强收敛性，我们引入了第二种方法——算法2，它基于阻尼惯性外推方案。在阻尼项和控制序列满足适当条件的情况下，我们证明了该方法生成的序列强收敛于最小范数解x?=PEP(C,F)(0)。因此，算法2为算法1提供了一种强收敛的替代方案，同时保留了次梯度外梯度方法的自适应特性和低成本优势。

本文的主要贡献如下：
• 我们提出了一个具有两个惯性参数的自适应次梯度外梯度框架，用于解决实希尔伯特空间中的均衡问题。
• 在伪单调性以及适当的利普希茨型和连续性假设下，我们证明了算法1的弱收敛性。
• 在强伪单调性的额外假设下，我们证明了算法1解的唯一性，并得到了R线性收敛性。
• 我们引入了基于阻尼惯性的变体算法2，并证明了在不假设强伪单调性的情况下也能获得向最小范数解的强收敛性。
• 所提出的步长规则是自适应的，无需事先知道双函数的利普希茨型常数。
• 这些算法通过在一个可构造的支撑半空间上解决一个近端子问题，同时在C上解决另一个子问题，从而保持了次梯度外梯度方法的计算优势。

本文的其余部分结构如下：第2节回顾初步定义及辅助结果；第3节介绍所提出的算法，并证明其弱收敛性、强收敛性和R线性收敛性；第4节通过数值实验展示所提方法的效率与实际性能。

初步知识：本节回顾本文中将用到的符号、基本概念及辅助结果。设H为带有内积?·,·?及由此诱导的范数‖·‖的实希尔伯特空间。对于序列{xk}?H，我们用xk?x表示弱收敛，用xk→x表示强收敛。设C?H为非空、闭合且凸集。点x∈C处的C的法锥定义为NC(x):={v∈H∣〈v,y?x〉≤0,?y∈C}。点x∈H在C上的度量投影为

主要结果：本节提出了两种用于在实希尔伯特空间H中的非空、闭合且凸集C?H上求解(1)的迭代方案。从x?1,x0,x1∈H出发，所提方法如算法1和算法2所述生成序列{xk}。

假设3.1：双函数F:H×H→R满足以下条件：
(F1) 对所有x∈C，有F(x,x)=0。
(F2) 均衡问题的解集非空，即EP(C,F)≠?，其中EP(C,F):={x*∈C|F(x*,y)≥0,?y∈C}。
(F3) F在C上是伪单调的，即对所有x,y∈C，有F(x,y)≥0?F(y,x)≤0。
(F4) F满足

数值实验：本节通过数值实验评估第3节所提算法的性能，并将其与文献中的典型方法进行比较。实验考察了收敛行为、计算效率以及选定控制参数的影响。测试方法分为两类：弱收敛算法和强收敛算法。对于弱收敛类算法，将算法1与Alg-w1 [36]进行比较。

作者贡献：所有作者对本手稿的贡献均等。

CRediT作者贡献声明：
Zai-Yun Peng：监督、研究、形式分析、数据整理、概念构建。
Habib ur Rehman：写作——审阅与编辑、写作——初稿撰写、验证、软件应用、项目管理、形式分析、概念构建。
Jen-Chih Yao：写作——审阅与编辑、写作——初稿撰写、验证、监督、方法设计、概念构建。
Thidaporn Seangwattana：写作——审阅与编辑、可视化、项目管理、方法设计、资金获取。

利益冲突声明：作者声明不存在利益冲突。

Zai-Yun Peng | Habib ur Rehman | Jen-Chih Yao | Thidaporn Seangwattana
云南师范大学数学学院，中国昆明，650500