一种用于非线性方程的惯性松弛三项共轭梯度投影方法,结合凸组合线搜索策略

《Applied Numerical Mathematics》:An inertial relaxed three-term conjugate gradient projection method with convex combination line search for nonlinear equations

【字体: 大 中 小 】 时间:2026年07月09日 来源:Applied Numerical Mathematics 2.3

编辑推荐:

  金宝健|罗翔|尹江华|王俊吉|张伟 中国广西民族大学数学科学学院,广西应用数学中心,南宁市530006 **摘要** 本文提出一种无需导数的投影方法,并结合惯性松弛步骤,用于求解大规模非线性方程。具体而言,我们通过在修正向量中引入曲率近似,对三项共轭梯度搜索方向进行

  金宝健|罗翔|尹江华|王俊吉|张伟
中国广西民族大学数学科学学院,广西应用数学中心,南宁市530006

**摘要**
本文提出一种无需导数的投影方法,并结合惯性松弛步骤,用于求解大规模非线性方程。具体而言,我们通过在修正向量中引入曲率近似,对三项共轭梯度搜索方向进行了修改。该设计无需依赖线搜索即可满足充分下降性和信赖域性质。此外,为避免标准Armijo准则导致的过小步长问题,我们通过凸组合技术设计了一种自适应线搜索策略。在连续映射和弱伪单调性假设下,可证明该方法具有全局收敛性。在标准局部Lipschitz连续性假设下,进一步系统分析了该方法的迭代复杂度与渐近收敛速率。通过对经典基准问题及稀疏信号恢复测试实例的数值实验,验证了所提算法的高效性与稳健性。

**引言**
本研究旨在解决求解如下形式的大规模非线性系统F(x)=0的计算难题,其中F:Rn→Rn为连续映射。非线性系统在诸多实际应用中十分常见,如稀疏信号恢复、压缩感知[1]、[2]、[3],以及图像修复等逆问题[4]、[5]、[6]。此外,在现代机器学习中,这类方程也常出现在神经网络的约束优化框架中[7]。

传统方法,如牛顿法和拟牛顿法[8]、[9]、[10],依赖于雅可比矩阵的计算以获得快速局部收敛。然而,在许多大规模或病态问题中,计算或存储雅可比矩阵的成本过高甚至不可行。这些挑战促使人们发展出仅依赖函数值的无需导数方法。由于具有数值可扩展性和较低的每次迭代成本,共轭残差投影方法(CRPMs)及谱CRPMs[11]、[12]、[13]已成为求解此类问题的优选方法。此外,尹等人[14]通过结合超平面投影与惯性松弛步骤,提出了一种无需导数的投影方法(DFPM),用于求解该类问题。基于投影的框架以及无需导数的谱共轭梯度方法也得到了广泛研究[15]、[16]、[17]、[18]、[19]。这些方法在理论收敛性与实际实现性之间取得了良好的平衡。

为提升收敛性能与稳健性,基于Polyak重球法的加速技术被越来越多地应用于DFPM框架中。近期研究[21]、[22]、[23]、[24]、[25]表明,将惯性步骤与投影方法相结合可提高数值性能。值得注意的是, Jian等人[26]构建了一种带有惯性松弛的共轭梯度投影算法,并证明了其在无需任何Lipschitz连续性假设的情况下仍具有全局收敛性。相比传统投影方法,这种惯性松弛框架具有更高的算法灵活性,通常能提升数值性能[27]、[28]、[29]、[30]、[31]。

尽管现有的无需导数投影方法已表现出良好效果,但其数值稳健性与适应性仍有提升空间。为确保全局收敛,标准框架通常依赖Armijo型线搜索,该搜索要求目标函数满足一定的充分下降条件[32]、[33]。为规避精确线搜索的高昂计算成本,人们基于残差范数与搜索方向设计了不精确的Armijo规则[34]、[35]、[36]、[37]。然而,对于接近解集的迭代点,这些方法往往会产生过小的步长,从而增加线搜索的计算开销。为解决这一问题,人们提出了自适应缩放的Armijo线搜索准则[38]、[39],其中[39]还分析了该方法在迭代复杂度方面的理论优势。

为进一步提升现有无需导数方法的数值性能,我们提出了一种结合凸组合线搜索的惯性松弛三项无需导数投影方法(IRTT-DFPM-CCLS),用于求解大规模非线性方程。本文的主要贡献如下:
? 我们通过在修正向量中引入曲率近似,修改了三项共轭梯度搜索方向。虽然传统的修正项在理论上无需依赖线搜索即可满足充分下降性与信赖域性质,但它们常常存在数值不稳定问题。我们的改进有效解决了这些问题,提升了IRTT-DFPM-CCLS算法的整体稳健性与实际性能。
? 为避免标准Armijo准则导致的过小步长,我们提出了一种基于凸组合技术的自适应线搜索策略。该策略允许使用更大的步长,从而提升整体计算效率。
? 我们在标准假设下证明了所提方法的全局收敛性,并指出该要求比标准的伪单调性假设更为宽松。在局部Lipschitz连续性假设下,我们进一步确定了该方法的非渐近收敛速率与渐近收敛速率。
? 通过基准问题评估了IRTT-DFPM-CCLS框架的计算效率。在稀疏信号恢复应用中,我们将所提方法与现有的无需导数投影方法及标准一阶求解器进行了比较。数值实验结果充分体现了该方法的稳健性与高效性。

**动机与算法**
本节详细介绍了所提出的IRTT-DFPM-CCLS算法框架。为满足充分下降条件,我们通过修改经典的三项共轭梯度(TTCG)方案,构建了一种稳健的搜索方向。接着,为克服现有准则的局限性,我们引入了凸组合线搜索策略。最后,通过加入惯性步骤,形成了完整的算法体系,以提高数值效率。TTCG方法能够提供稳健的搜索方向。

**收敛性分析**
接下来我们对所提方法进行收敛性分析。为便于理论推导,我们做出以下两个简单假设:
**假设1**:假设问题(1)存在非空解集S,且对于S中的任意x*,连续映射F满足F(?)?(??x*)?0,对所有?∈Rn均成立。
**备注2**:为阐明假设1,我们分析了其与标准单调性性质之间的关系。(i) 由于对于S中的任意x*均有F(x*)=0,因此若F(·)为伪单调函数,即满足F(x)?(??x)?0?F(?)?(??x)?0,对所有?成立,则假设1同样成立。

**迭代复杂度分析**
本节分析IRTT-DFPM-CCLS方法的渐近收敛速率与非渐近收敛速率。全局收敛仅需满足F的连续性及W-伪单调性(假设1)。而要推导收敛速率,则需要额外的条件,因此在此分析中需假设F具有局部Lipschitz连续性(假设3),这一假设比标准的Lipschitz连续性要求更为宽松[45]。
**假设3**:F在Rn上具有局部Lipschitz连续性[46]。具体而言,对于任意……

**数值实验**
本节通过两组测试实例评估IRTT-DFPM-CCLS算法的数值性能:高维非线性方程基准系统以及稀疏信号恢复应用。为验证其有效性,我们将所提方法与一些先进的求解器进行了比较,包括FIRDFPM框架(尤其是其中的IRGPM与IRTTCGPM[14],第4.1–4.2节)以及双参数缩放无记忆Broyden–Fletcher–Goldfarb–Shanno方法。

**结论**
本文提出了用于高维非线性方程的IRTT-DFPM-CCLS框架。在标准假设下,该框架具有全局收敛性。在添加局部Lipschitz连续性条件后,还可确定该方法的渐近收敛速率与非渐近收敛速率。通过对基准问题及稀疏信号恢复任务的数值实验,验证了该算法的高效性与稳健性。具体而言,IRTT-DFPM-CCLS方法的数值性能表现优异。

**CRediT作者贡献声明**
金宝健:写作——审稿与编辑,指导工作。罗翔:写作——初稿撰写,可视化处理。尹江华:形式化分析,概念构思。王俊吉:方法设计。张伟:可视化处理。

**利益冲突声明**:无。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号