多序列离散递归下降优化器:基于拟牛顿方向与非精确搜索步长的新型优化算法
《ARTIFICIAL INTELLIGENCE REVIEW》:Multi-sequence discrete recursive descent optimizer: a novel optimization algorithm based on quasi-Newton directions and imprecise search step lengths
【字体:
大
中
小
】
时间:2025年10月28日
来源:ARTIFICIAL INTELLIGENCE REVIEW 13.9
编辑推荐:
本文针对复杂优化问题中传统确定性方法依赖梯度计算而智能算法数学解释性弱的瓶颈,提出多序列离散递归下降优化器(MDRDO)。该算法通过多序列搜索框架融合离散拟牛顿方向(BFGS)与Armijo-Goldstein步长规则,结合随机策略平衡探索与开发能力。在CEC2017和CEC2020测试集上超越10种先进算法,62.07%和80%函数取得最优,工程应用验证其卓越性能,为优化理论与实践提供新范式。
在科学与工程实践中,优化问题无处不在,从生产调度到路径规划,从经济决策到机械设计,如何高效精准地找到最优解始终是核心挑战。传统确定性优化方法(如梯度下降法、牛顿法)虽收敛速度快,但严重依赖目标函数的解析表达式和梯度信息,面对复杂多峰函数或无显式表达的实际问题时往往束手无策。而智能优化算法(IOAs)虽规避了梯度计算,却因缺乏严谨数学理论基础,其“黑箱”特性使得算法解释性较差,收敛性能难以保证。
针对这一矛盾,西北工业大学黄汉桥等研究人员在《Artificial Intelligence Review》上发表题为“多序列离散递归下降优化器:基于拟牛顿方向与非精确搜索步长的新型优化算法”的研究,开创性地将确定性方法的数学严谨性与随机搜索的全局探索能力相结合。研究团队基于递归下降法的核心思想——下降方向与步长,构建了多序列搜索框架(MSF),通过离散梯度近似和拟牛顿方向加速收敛,引入非精确搜索规则动态调整步长,并嵌入随机策略增强局部极值逃逸能力,最终形成多序列离散递归下降优化器(MDRDO)。
关键技术方法主要包括:1)构建多序列搜索框架(MSF),采用多个初始序列并行探索解空间;2)基于泰勒展开计算离散近似梯度,结合BFGS公式构造离散拟牛顿方向,避免精确Hessian矩阵计算;3)采用Armijo-Goldstein非精确搜索规则确定最优步长;4)引入两种随机搜索策略(基于最佳个体方向与差分变异)维持种群多样性。实验部分使用CEC2017(29函数)和CEC2020(10函数)测试集,与差分进化(DE)、电鳗觅食优化(EEFO)等10种算法对比,并应用于减速器设计、压力容器设计等5个工程问题。
通过对比MSF-BR(最佳方向+随机步长)、MSF-DGR(离散梯度方向+随机步长)、MSF-DNR(离散拟牛顿方向+随机步长)和MSF-DNAG(离散拟牛顿方向+Armijo-Goldstein步长)四种组合,发现MSF-DNAG在单峰函数(如Sphere函数)上仅需20代即可收敛至全局最优,而MSF-BR因方向误导在40代后停滞。对于多峰函数(如Zakharov函数),MSF-DNAG虽优于梯度类方法,但随机策略的MSF-BR表现出更强的局部极值逃逸能力,证明随机策略的必要性。
算法包含初始化、离散递归下降和随机搜索三阶段。初始化阶段生成随机解并设Hessian近似矩阵为单位阵;离散递归下降阶段通过离散梯度计算方向(式28),结合BFGS更新矩阵(式21)和Armijo-Goldstein步长(算法2)更新解;随机搜索阶段以50%概率执行两种策略:一是向当前最优解随机偏移(式30),二是通过三解差分变异(式31)引入扰动。时间复杂度为O(MaxT×M×D2),空间复杂度为O(M×D)。
在CEC2017测试中,MDRDO在18个函数上排名第一(62.07%),显著优于QIO(6.90%)和ESMA(10.34%)。Wilcoxon检验显示其与EEFO、QIO等在65.52%函数上存在显著优势(p<0.05)。收敛曲线表明MDRDO在初期快速逼近最优解,如F01和F03函数因拟牛顿方向的高效性提前收敛。在CEC2020测试中,MDRDO在80%函数上领先,雷达图显示其解质量与稳定性全面优于对比算法。
在减速器设计问题中,MDRDO以最佳值2996.73(标准差5.00)超越GSA、HHO等9种算法,参数组合(x1=3.4541, x2=0.7000等)满足所有约束;在压力容器设计中,MDRDO将成本降至6063.17,较GSA(9386.23)提升35.4%;在汽车侧撞设计中,MDRDO以22.8638的防护性能指标验证其多变量优化能力。所有工程问题中MDRDO均排名第一,标准差远低于对比算法,证明其稳定性和实用性。
研究结论表明,MDRDO通过数学理论驱动的下降方向与步长控制,有效平衡了收敛速度与全局搜索能力。其创新点在于将离散拟牛顿方向与非精确搜索规则嵌入多序列框架,弥补了传统梯度方法适用性窄与智能算法理论弱的缺陷。未来工作可扩展至路径规划、图像分割等场景,并探索其他方向与步长组合的潜力。该研究为优化算法领域提供了兼具数学严谨性与工程实用性的新工具。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号