通过循环神经网络辅助的混合进化元优化方法,用于构建可解释的参数化符号模型

《Swarm and Evolutionary Computation》:Hybrid evolutionary meta-optimization assisted by recurrent neural networks for interpretable parametric symbolic models

【字体: 大 中 小 】 时间:2026年05月14日 来源:Swarm and Evolutionary Computation 8.5

编辑推荐:

  弗拉维奥·阿达尔贝托·戈麦斯 | 瓦ンダーソン·赖纳·H·阿劳霍 | 马尔西亚·R·库尼亚·雷伊斯 | 杰奥瓦内·佩雷拉·弗里埃尔 | 吉列尔梅·阿尔贝托·S·里贝罗 | 维维安·M·戈麦斯·帕切科 | 马塞拉·斯科奇恩斯基·R·马丁斯 | 克洛维斯·冈萨雷斯·罗德里格斯 | 安

  弗拉维奥·阿达尔贝托·戈麦斯 | 瓦ンダーソン·赖纳·H·阿劳霍 | 马尔西亚·R·库尼亚·雷伊斯 | 杰奥瓦内·佩雷拉·弗里埃尔 | 吉列尔梅·阿尔贝托·S·里贝罗 | 维维安·M·戈麦斯·帕切科 | 马塞拉·斯科奇恩斯基·R·马丁斯 | 克洛维斯·冈萨雷斯·罗德里格斯 | 安东尼奥·保罗·科英布拉 | 韦斯利·帕切科·卡利斯特

巴西戈亚斯联邦大学电气、机械与计算机工程学院,邮编74.605-010

摘要
对复杂非线性系统的建模对进化优化一直是一个持续的挑战,因为搜索空间维度高、收敛行为脆弱,以及在计算约束下平衡探索与利用的难度较大。为了解决这些限制,本研究探索了一种结合循环神经网络的混合进化元优化策略,旨在引导和稳定在识别分析模型过程中的搜索行为。所提出的框架将符号结构发现与连续参数精细化相结合,使得在进化环境中能够同时优化系数和实数值指数。在元优化循环中嵌入了循环神经网络,以自适应地影响进化动态,提高收敛稳定性和搜索效率,同时保持结构多样性。记录了全面的搜索轨迹,并使用Shapley加法解释法进行分析,从而将优化参数与主导物理机制联系起来。该方法在合成基准测试、机电系统、热力学图和物理化学表面上的应用中得到了评估,始终保持了全局形态特征和结构一致性。在所有情况下,都观察到了稳定的泛化行为,归一化相对误差通常在10^-4的范围内,结构相似性指数超过0.85,并且与参考方法有统计学上的显著差异。结果表明,神经辅助的进化元优化是一种可行的策略,可以改善复杂系统识别问题中的收敛鲁棒性和分析模型发现能力。

引言
科学和工程中复杂现象的建模基于识别功能关系[1],这些关系能够调和数值精确性、物理可解释性和计算可行性[2]、[3]。在控制、诊断、优化和预测等应用中,封闭形式的分析表达式可以实现直接的结构检查、降低推理成本以及高效实施,尤其是在需要超出样本域进行外推的操作情况下[4]、[5]。然而,当数据具有高变性、不连续性、几何各向异性或不完全采样特性时,传统的回归技术往往表现出数值不稳定性和在训练区域外的功能一致性丧失[6]、[7]。这一限制促使人们开发了适应性和结构化方法,以更一致地处理这些不规则性[8]、[9]。
科学和工程中复杂现象的建模长期以来依赖于识别功能关系[1],这些关系能够调和数值精确性、物理可解释性和计算可行性[2]、[3]。在涉及控制、诊断、优化和预测的应用中,封闭形式的分析表达式可以实现直接的结构检查、降低推理成本以及高效实施,特别是在需要超出采样域进行外推的操作情况下[4]、[5]。然而,当数据表现出高变性、不连续性、几何各向异性或不完全采样时,传统回归技术容易出现数值不稳定性和在训练区域外的功能一致性丧失[6]、[7]。当建模策略主要依赖于局部数值调整而非明确表示主导结构时,这种限制变得尤为突出,这激发了开发适应性和结构化方法,以便更一致地处理不规则和外推情况[8]、[9]。
在这种背景下,纯数值插值器,如惩罚样条、光谱近似器和径向基函数网络,在严格插值情况下表现良好,但在应用到外推任务时显示出结构上的局限性[5]、[10]。这些方法对可用数据进行局部调整,但缺乏捕捉现象背后支配规律的明确机制,这常常导致人工振荡、虚假梯度或在扩展域内预测行为的突然下降,这一点在数值外推的文献中有所讨论[11]、[12]。特别是多项式近似,容易受到龙格效应的影响,从而在实际相关场景中影响预测能力,尤其是在没有结合明确的物理或结构约束时[13]。
鉴于这些与外推和可预测性相关的限制,标准符号回归(SSR)作为一种替代方案出现,它通过结合算术运算符和以可解释结构组织的初等函数,从数据中自动推导出明确的分析表达式[3]、[14]。尽管具有这种潜力,但SSR主要在离散的结构空间内操作,依赖于固定的运算符库和限制为整数值的指数[15]。这种结构刚性限制了该方法表示分数曲率、复杂指数衰减、几何奇点和平滑过渡的能力,而这些在电气、机械、热能和物理化学系统中经常出现,因此最近的发展趋势是采用更灵活和连续的符号公式[16]、[17]。因此,即使在实现了泛化,但在需要连续表达灵活性的问题中,预测行为也可能恶化。
在这种背景下,一个核心问题出现了:在连续域中优化实数值指数引入的结构灵活性是否构成了支持结构复杂回归问题中泛化的机制,使得正则化项比传统二次方法更渐进地演变,并能够适应每个问题的特定结构[18]、[19]。识别出的差距在于SSR由于其结构刚性而无法在保持低计算成本的同时实现数值精度,其结构刚性仅限于整数指数和离散搜索空间。这种限制阻碍了对分数曲率和平滑过渡的适当表示[6],导致在资源受限的系统中的泛化能力降低和效率受限。
为了应对这一结构缺口,有必要采用优化实域指数的公式,以便在保持高性能应用中分析表达式的可行性的同时,连续适应数据几何形态。在这个框架内,中心假设认为同时优化实数值系数和指数是复杂系统中泛化的决定性机制,因为它能够捕捉连续曲率和潜在现象的固有几何结构[1]、[20]。有人认为这种灵活性使参数符号回归(PSR)能够克服与数值插值器相关的外推限制和SSR的结构刚性,从而能够识别紧凑且稳定的分析表达式,并为研究目标的定义提供了概念框架。
总体目标是调查所提出的假设,并开发并验证所提出的方法作为建模复杂现象的弹性方法,该方法能够通过封闭形式的分析表达式调和数值精确性和物理可解释性。为了实现这一目标,具体目标定义如下:(i) 评估PSR方法与通用近似器和SSR相比的泛化能力;(ii) 识别涉及分数指数、几何奇点和导数不连续性的分析规律;(iii) 建模工程系统以提取物理上有意义的参数;(iv) 即使在稀疏或噪声较大的实验采样下,也能重建具有平滑性和稳定性的多维现象学表面;(v) 通过Shapley加法解释(SHAP)值分析模型的可解释性,分离出控制每个系统动态的主导参数因素,并验证所得表达式的物理一致性;(vi) 展示在嵌入式系统中的实现可行性,优先生成推断计算成本较低的紧凑表达式,相比于连接主义模型。
为了实现既定目标,通过结合全局探索(通过启发式算法)和高精度确定性局部细化的混合优化过程进行了连续参数调整,这些过程组织在连续的循环中。为了加速收敛并减少陷入局部最小值的可能性,这一过程被封装在一个由循环神经网络辅助的元优化层中,使用完整的搜索历史进行训练,并与最新的优化策略学习和自适应参数调整策略保持一致[21]、[22]。此外,通过概率元优化程序调整了控制优化架构的超参数,确保在计算约束下的过程配置一致性,并为系统评估所提出方法建立了必要条件。
方法论的评估是在一个实验-计算协议中进行的,该协议的控制复杂性逐步增加。最初分析了合成函数,以识别特定的泛化挑战,包括实数值幂函数、非多项式函数、多维表面和几何奇点,从而控制对外推行为和渐近趋势的检测[23]、[24]。随后将分析扩展到来自不同工程领域的真实世界系统,这些系统的明确分析公式不可用,且可能存在实验噪声和采样限制。性能评估使用了量化回归误差大小和结构组织的补充指标[25],包括经典指标、用于跨尺度比较的归一化相对误差[26]、[27],以及带有基于梯度的扩展的结构相似性指数[28]。为了确保统计解释的一致性,应用了非参数测试,而不假设误差分布的正态性。
在这个方法论框架内,研究建立了一种参数符号回归(PSR)架构,它通过引入灵活的功能模板来克服标准符号回归的刚性,在其中系数和指数同时在实数域中优化。这种连续公式能够表示非整数曲率、分数幂定律和几何奇点,而这些是离散方法无法充分捕捉的,同时支持在外推情况下推断出紧凑且稳定的分析表达式。该方法结合了混合优化和非参数统计验证,实现了稳健的泛化、降低的操作成本,并在面临严重处理约束的设备(如实时嵌入式系统)中的实现可行性。此外,还结合了基于辅助模型和Shapley加法解释的可解释性框架,以分解优化动态并将参数因素与形态结构稳定性联系起来,从而支持对复杂系统的现象学解释,超越了纯粹的数值调整。
本研究的主要贡献可以总结为:(i) 引入了一种由循环神经网络辅助的进化元优化策略,以指导和稳定在高维和结构复杂优化问题中的搜索过程,改善了计算约束下的收敛行为;(ii) 通过结合符号结构发现与连续参数精细化,开发了一种混合进化方案,使得在统一的搜索过程中可以同时优化实数值系数和指数;(iii) 在元优化循环中嵌入了一种神经辅助机制,以自适应地影响进化动态,缓解过早收敛,同时保持结构多样性和搜索效率;(iv) 将所提出的进化策略应用于参数符号回归作为典型的系统识别问题,从而能够恢复连续且可分析解释的功能模型;(v) 记录并使用Shapley加法解释分析完整的搜索轨迹,将优化参数与主导物理机制联系起来,支持不干扰进化搜索的参数级解释性。
根据方法论框架和贡献,手稿分为四个部分。第2部分描述了开发的方法论,第3部分展示了所提出方法的应用结果,第4部分讨论了这些结果,第5部分总结了研究的结论。此外,还提供了补充材料,其中包含补充概念、解释和结果,以补充正文中呈现的分析。

方法论
本节描述了制定的实验计算协议,以验证本研究的核心假设,即通过优化实数值指数实现的结构灵活性是回归问题中泛化的决定性机制。该方法遵循了假设-演绎方法。为了组织这一验证,该部分分为四个部分:(i) 用于生成合成数据的方法论

结果
在本节中,对PSR方法进行了与现有方法的比较评估,评估分为两个阶段,逐渐增加复杂性。第一阶段使用具有已知数学公式的合成函数,以评估是否有效学习了结构规律,或者模型仅仅是复制了训练数据。分析分为四个部分,旨在表征不同的情况:(i) 典型SISO函数;(ii)

讨论
结果讨论的重点是确定在合成函数、工程系统和物理化学表面上观察到的泛化现象是仅仅源于有利的数值拟合,还是来源于建模过程中固有的可识别结构机制。在此背景下,分析集中在所提出的方法论架构上,其中指数的连续优化重新定义了探索的符号空间

结论
本研究解决了具有非线性、结构不连续性、不规则采样和对连贯功能外推需求系统的建模问题,涵盖了合成函数、工程系统和物理化学表面。在这个框架内,提出了参数化符号回归(Parametric Symbolic Regression,PSR)并将其作为一种方法论替代方案进行评估,旨在通过整合数值精度、形态结构稳定性和物理可解释性来实现研究目标。

Flavio Adalberto Gomes 的贡献包括:撰写 – 审稿与编辑、撰写 – 原初稿、可视化、验证、软件开发、资源提供、方法论设计、数据分析、概念化。

Wanderson Rainer H. Araujo 的贡献包括:撰写 – 审稿与编辑、撰写 – 原初稿、可视化、验证、软件开发、资源提供、方法论设计、数据分析、概念化。

Marcio R. Cunha Reis 的贡献包括:撰写 – 审稿与编辑、撰写 – 原初稿。

**资助**
本研究由葡萄牙科学技术基金会(FCT, Portugal)资助,项目编号为 UIDB/00048/2020(DOI: 10.54499/UIDB/00048/2020),同时得到了巴西国家科学技术发展委员会(CNPq)的支持,通过研究 productivity 奖学金(编号 301644/2022-5 和 303909/2025-0)以及项目编号 402016/2025-4 提供资金。此外,巴西联邦研究生教育支持与评估局(CAPES)也提供了额外资助。

**利益冲突声明**
作者声明:我们没有可能影响研究结果客观性、完整性或公正性的财务利益或利益冲突。具体如下:
1. **财务支持**:本研究及其剽窃稿的准备过程中未获得任何公共或私人实体的外部财政支持、资助或拨款。
2. **专利**:我们确认本剽窃稿中提到的研究工作不涉及任何专利。

**致谢**
作者感谢葡萄牙科学技术基金会(FCT, Portugal)和巴西国家科学技术发展委员会(CNPq)的财务支持,并感谢巴西联邦研究生教育支持与评估局(CAPES)提供的博士后奖学金。计算资源由 LaMCAD/UFG 提供。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号