具有修正项的强收敛惯性近端点方法：理论及其在空气质量预测机器学习中的应用

《Mathematics and Computers in Simulation》：Strongly convergent inertial proximal point method with correction terms: Theory, applications in machine learning for Air Quality prediction

　　格蕾丝·恩内纳亚·奥格沃（Grace Nnennaya Ogwo）|瓦查拉蓬·乔拉姆贾克（Watcharaporn Cholamjiak）|耶基尼·谢胡（Yekini Shehu）
中国浙江省金华市浙江师范大学数学科学学院

**摘要**
本文介绍了一种新型的Halpern型近端点算法，该算法结合了惯性项和修正项，用于解决实希尔伯特空间中的单调包含问题。惯性项加速了收敛速度，而修正项增强了数值稳定性并减少了振荡。在标准假设下，我们证明了算法能够强收敛到解。除了定性收敛性外，我们还推导出了显式的收敛速率：当αk=1/(k+1)时，我们有∑i=1k‖yi?xi?1‖2=O(logk)和min1≤i≤k‖yi?wi?1‖2=O(logk/k)，从而提供了定量性能保证。为了展示其实际应用价值，我们在极端学习机（ELM）框架内实现了该算法，利用多传感器空气质量数据预测城市苯（C6H6）浓度。数值实验证明了该算法在高维机器学习应用中的有效性，突显了其鲁棒性、稳定性和计算效率。

**引言**
单调包含问题（MIPs）是优化和变分分析中的一个基本问题类别，其应用范围涵盖信号处理、机器学习、博弈论和偏微分方程。给定一个实希尔伯特空间H和一个最大单调算子A:H→2H，MIP的目标是找到一个点x∈H，使得0∈A(x)。解集A?1(0)概括了许多数学规划问题，包括凸优化、变分不等式、平衡问题和鞍点系统。

解决这类问题的经典方法是近端点算法（PPA）[1]、[2]、[3]、[4]、[5]。对于一个固定的正则化参数λ>0，PPA通过yk+1=JλA(yk)生成一个序列，其中JλA?(I+λA)?1表示预解算子。这种迭代可以解释为微分包含问题0∈y?(t)+A(y(t))的隐式离散化，并作为许多分裂技术（如增广拉格朗日方法[6]、[7]、Douglas–Rachford分裂[8]、[9]和交替方向乘子法[10]、[11]）的算法基础。

尽管经典PPA在温和条件下能够弱收敛[1]、[12]、[13]，但弱收敛通常不足以满足实际计算需求——特别是在无限维情况下，强收敛对于数值稳定性和可靠性能至关重要。这一限制促使人们开发了强收敛变体。为了克服弱收敛的局限性，徐（Xu）[14]和卡米穆拉-高桥（Kamimura–Takahashi）[15]独立引入了Halpern型修改（H-PPA）：yk+1=αky0+(1?αk)JλA(yk)，其中αk∈(0,1)。通过引入一个锚点y0和一个满足limk→∞αk=0且∑k=1∞αk=∞的松弛序列，H-PPA能够强收敛到最小化与y0距离的唯一解。

Halpern型PPA（2）通过引入锚点y0和松弛序列{αk}，与经典PPA有显著不同。这种结构确保了在无限维希尔伯特空间中的强收敛性，解决了经典PPA的一个关键局限性。继徐（Xu）[14]和卡米穆拉-高桥（Kamimura and Takahashi）[15]的开创性工作之后，已经发展出了几个重要的扩展和改进：
- **参数选择和收敛条件**：后续研究集中在序列{αk}的最优选择和保证收敛的条件上。Marino和Xu[16]在更一般条件下提供了收敛性分析，而Yao和Noor[17]为广义近端点算法建立了收敛标准。这些工作表明，当αk满足limk→∞αk=0和∑k=1∞αk=∞时，可以实现强收敛。
- **不精确和扰动变体**：考虑到实际计算限制，研究人员开发了不精确的Halpern型PPA版本。Boikanyo和Morosanu[18]、[19]引入了不精确的Halpern型近端点算法，这些算法在保持强收敛的同时能够适应计算误差，特别适用于大规模应用，因为在这些应用中精确的预解计算通常是不可行的。
- **参数化和多参数扩展**：Wang和Cui[20]研究了具有多个参数的收缩近端点算法，提供了一个更灵活的框架，其中Halpern型PPA是一个特例。同样，Boikanyo和Morosanu[21]研究了四参数近端点算法，展示了不同参数选择如何产生不同的收敛性质。
- **收敛速率分析**：虽然已经证明了Halpern型PPA的强收敛性，但在无限维情况下进行显式收敛速率分析仍然具有挑战性。Kohlenbach[22]分析了广义单调算子的近端点算法及其Halpern型变体，为速率分析奠定了基础。最近，Pinto[23]为Halpern型近端点算法建立了亚稳定性速率，提供了证明挖掘框架内的定量收敛信息。
- **粘性和正则化方法**：已经开发了结合粘性项的扩展，以增强收敛性能。He等人[24]提出了m-增生算子的粘性近似方法，而Khatibzadeh和Ranjbar[25]研究了带有额外正则化项的Halpern型近端点算法的强收敛性。
- **自适应和可变参数策略**：最近的研究探索了动态参数选择，以提高Halpern型方法的灵活性和性能。特别是He等人[26]引入了具有自适应锚点参数的Halpern迭代，展示了理论改进和实际优势。尽管这些自适应策略尚未应用于带有修正项的惯性近端点算法中。

尽管取得了这些进展，但仍存在一个根本性限制：标准Halpern型PPA缺乏加速机制，这可能导致实际收敛速度较慢。这激发了整合惯性技术的需求，因为惯性技术已被证明可以加速各种优化算法的收敛速度。受Nesterov型动量方法的启发，开发了惯性近端点算法（I-PPAs）来加速收敛：yk+1=JλA(yk+θk(yk?yk?1))，其中θk∈[0,1]。这些方法已被广泛研究[3]、[27]、[28]、[29]、[30]、[31]，并成功整合到Douglas–Rachford[8]、[32]、[33]、[34]、[35]和ADMM[11]、[12]、[35]、[36]等分裂框架中。虽然惯性项通常可以提高收敛速率，但大多数I-PPAs在一般希尔伯特空间中仅保证弱收敛，除非施加额外的结构假设（例如均匀单调性）。为了获得强收敛，常用的方法是将惯性与Halpern正则化结合：wk=yk+θk(yk?yk?1)，yk+1=JλA(αky0+(1?αk)wk)，其中惯性参数θk通常由在线规则控制[37]、[38]、[39]、[40]、[41]、[42]：θ?k=min{θ,?k‖yk?yk?1‖}，当yk≠yk?1时，θ=θ，否则0≤θk≤θ?k，θ>0，并且limk→∞?k/αk=0。这个条件确保了惯性步长的有界性，但引入了实现复杂性并限制了θk的允许范围。

最近的发展集中在结合修正项以稳定惯性方法和减轻振荡行为上。例如：
- Kim[43]提出了一种结合惯性和修正项的加速PPA，通过性能估计框架[44]证明了‖yk?wk?1‖=O(1/k)的速率。
- Maingé[45]引入了一种结合惯性、松弛和修正的混合方法，证明了‖yk+1?yk‖=o(1/k)的弱收敛。
- Izuchukwu等人[46]研究了一种同时具有惯性和修正项的PPA，但仍然只获得了弱收敛。

这些方法都有一个共同的限制：它们不保证强收敛，而这对于无限维应用中的可靠性能至关重要。在两个独立的方向上取得了一些进展：
- **仅修正项的强收敛**：Izuchukwu等人[46, Algorithm 2]为带有修正项的粘性型PPA获得了强收敛，但没有惯性加速。
- **仅惯性的强收敛**：Jolaoso等人[47]为带有双重惯性的Halpern型PPA证明了强收敛，但他们的方法缺乏修正机制。

文献中存在一个明显的空白：没有现有的近端点算法能够同时结合惯性加速和修正稳定，并在一般希尔伯特空间中保持可证明的强收敛性。本文通过引入一种新型的Halpern型近端点算法来填补这一空白，该算法同时整合了三个关键组件：
- （i）确保强收敛的Halpern型正则化；
- （ii）用于加速收敛的惯性外推；
- （iii）用于数值稳定性的简单修正项。

虽然我们的工作弥合了上述算法空白，但它也突出了一个重要的理论前沿。在无限维希尔伯特空间中为强收敛的Halpern型方法建立显式收敛速率仍然是优化理论中的一个未解决挑战。对于弱收敛的惯性PPA和有限维度中的强收敛方法，速率分析已经很成熟，但对于同时结合惯性和修正项的一般希尔伯特空间中的强收敛方法，最优收敛速率问题仍然悬而未决。我们的工作提供了必要的收敛保证，这是进行有意义速率分析的基础。

**算法设计**：我们提出了一种计算效率高的方案（3.3），它统一了Halpern型正则化、Nesterov型惯性外推和计算上可行的修正项。该算法使用固定参数θ和δ，避免了复杂的在线条件（5），并允许更宽的允许范围。

**强收敛分析**：在标准假设下，我们证明了迭代值强收敛到PA?1(0)(w0)，其中P表示度量投影（定理3.6）。

**显式收敛速率**：当αk=1/(k+1)时，我们建立了定量保证：∑i=1k‖yi?xi?1‖2=O(logk)，min1≤i≤k‖yi?wi?1‖2=O(logk/k)（定理3.8），提供了具体的性能基准。

**实际演示**：我们在极端学习机（ELM）框架内实现了该算法，利用多传感器空气质量数据预测城市苯浓度。实验结果表明，该算法在性能上可与经典机器学习模型和其他近端算法竞争。

**第2节**收集了必要的定义和技术引理。第3节介绍了算法，陈述了假设，并提供了详细的收敛证明。第4节描述了基于ELM的空气质量预测实验。第5节总结了研究发现和未来的研究方向。

**第1节**初步介绍了我们在收敛分析中使用的所有基本定义、性质和辅助引理。我们在一个带有内积〈?,?〉和诱导范数‖?‖的实希尔伯特空间H中工作。

**第3节**介绍了我们新型的强收敛近端点算法，该算法结合了惯性和修正项。我们首先陈述了所需的假设，然后正式描述了算法，并通过与现有方法的比较突出了其关键特征。

**应用于苯（C6H6）浓度预测**
为了展示3.3的实际效用和鲁棒性，我们在极端学习机（ELM）框架内实现了该算法，用于预测大气苯浓度。ELM训练问题归结为解决一个正则化最小二乘问题，这可以表述为一个单调包含问题。这提供了一个具体的高维测试平台，可以直接比较不同优化求解器的性能。我们使用了UCI的空气质量数据集。

**结论**
在这项工作中，我们介绍了一种新型的Halpern型近端点算法，该算法结合了惯性和修正项，用于解决实希尔伯特空间中的单调包含问题。惯性项加速了收敛速度，而修正项增强了数值稳定性并减少了振荡。在标准假设下，我们的分析证明了算法能够强收敛到解。此外，我们还推导出了显式的收敛速率：当αk=1/(k+1)时，我们有∑i=1k‖yi?xi?1‖2=O(logk)，min1≤i≤k‖yi?wi?1‖2=O(logk/k)，提供了具体的性能基准。

**作者贡献声明**
格蕾丝·恩内纳亚·奥格沃（Grace Nnennaya Ogwo）：撰写——原始草稿、可视化、方法论、调查。
瓦查拉蓬·乔拉姆贾克（Watcharaporn Cholamjiak）：可视化、软件、调查、数据整理。
耶基尼·谢胡（Yekini Shehu）：撰写——审阅与编辑、监督、形式分析、概念化。

**代码可用性**
由于实现中使用的编程语言和库的许可限制，本研究使用的代码不公开。

**出版同意**
所有作者同意在期刊和文章中公开可识别的细节。

**伦理批准和参与同意**
所有作者都同意参与本文的撰写并同意发表。

**利益冲突声明**
作者声明没有利益冲突。

**致谢**
作者感谢匿名审稿人的深刻评论和建设性建议，这些评论和建议显著提高了本文的质量和呈现效果。W. Cholamjiak感谢泰国科学研究与创新基金和帕尧大学（基础基金2026，授权号2253/2568）的支持。