《ARCHIVES OF COMPUTATIONAL METHODS IN ENGINEERING》：A Comprehensive Survey on Symbolic Regression: State-of-the-Art Approaches, Key Applications, Benchmark Evaluations, and Future Research Directions
编辑推荐：
符号回归（Symbolic Regression, SR）通过同时优化函数结构和相关参数，从数据中自主发现可解释的数学表达式。与传统回归方法依赖预定义模型形式不同，符号回归生成显式模型，在保持高预测精度的同时提供有价值的科学见解。本综述通过系统整合四种范式方法
符号回归（Symbolic Regression, SR）通过同时优化函数结构和相关参数，从数据中自主发现可解释的数学表达式。与传统回归方法依赖预定义模型形式不同，符号回归生成显式模型，在保持高预测精度的同时提供有价值的科学见解。本综述通过系统整合四种范式方法——确定性方法、元启发式算法、神经符号（Neural-Symbolic）框架和新兴混合策略，全面分析了当代符号回归方法。研究人员建立了一个统一的分类框架，桥接了进化计算、数学规划和深度学习范式。分析揭示了向物理信息发现、多目标优化和人机协作框架的收敛模式。研究人员审视了混合集成策略、语义感知算子和约束处理机制，并批判性地评估了评估方法、基准测试实践、跨科学与工程领域的应用以及基本局限性，包括搜索复杂度、过拟合和高维扩展挑战。本工作做出四项关键贡献：第一，提供了一个统一框架，分析了跨越四个范式的300多种方法；第二，全面涵盖了2020年至2025年的进展，包括基于Transformer和大型语言模型（Large Language Model, LLM）的方法；第三，系统分析了混合策略与收敛模式；第四，为方法选择提供了可操作的指导。该综述为符号回归研究建立了一个全面的当代参考，突出了通向鲁棒、可解释和可扩展的自动化科学发现系统的路径。
1 引言
符号回归解决了从经验数据中自动发现可解释数学表达式的根本挑战。与传统回归方法在预定函数形式内拟合参数不同，符号回归同时优化模型结构和参数，生成既能提供科学见解又保持预测精度的显式方程。其优化问题可表述为：f* = arg minf∈H L(f,D) + λΩ(f)，其中H表示符号表达式的假设空间，L衡量经验损失，Ω量化结构复杂度，λ平衡精度与简洁性。该公式揭示了符号回归的多目标性质和搜索空间的指数增长，确立了该问题是NP-hard的，即使仅使用基本算术运算。符号回归的历史演变从基础的遗传编程发展到当代混合系统。
1.1 符号回归的范式方法
该领域通过三个基础范式演进，混合集成现已成为第四个组织范式。确定性方法通过数学规划公式、穷举枚举策略和稀疏回归框架提供理论保证和可重复结果。方法如混合整数非线性规划（Mixed-Integer Nonlinear Programming, MINLP）、AI Feynman的物理信息分解和SISSO的压缩感知利用问题结构进行系统探索并获得收敛保证，但在高维设置和结合领域约束的灵活性方面存在计算限制。元启发式方法以Koza的遗传编程（Genetic Programming, GP）为先驱，利用基于种群的随机搜索进行鲁棒探索。创新包括语义算子、用于多样性保护的词典选择（Lexicase Selection）和多目标公式，解决了代码膨胀、早熟收敛和过拟合问题。神经符号方法代表了深度学习与符号计算的最新集成。序列到序列（Sequence-to-Sequence）架构将符号回归重新表述为翻译问题，通过大规模预训练实现数量级的速度提升。强化学习框架采用风险寻求策略梯度进行顺序表达式构建。方程学习器网络和符号神经网络将数学运算直接嵌入架构。物理信息神经网络（Physics-Informed Neural Networks, PINN）结合量纲分析和领域约束。近期大型语言模型和检索增强生成（Retrieval-Augmented Generation, RAG）的集成引入了自然语言接口和学习的语义映射。
1.2 混合集成策略的出现
混合方法协同结合范式优势以解决单个方法的局限性。神经引导的进化方法利用Transformer进行智能种群初始化，同时利用遗传编程的精炼能力。物理信息混合架构通过可微分编程将领域约束集成到神经符号框架中。多阶段流水线将结构发现与常数优化分离，结合神经预测与确定性精炼。集成方法融合跨范式的预测以提高鲁棒性。这些集成策略收敛于利用不同范式互补优势的统一框架。
1.3 综述范围与贡献
现有综述已为符号回归研究奠定了基础，但本全面综合的动机是神经符号集成的快速方法加速、对混合策略的有限处理以及对收敛导向分析的需求。与现有综述相比，本综述通过四个独特贡献推进了该领域：统一集成框架，系统分类分析超过300种方法，揭示了物理信息约束、语义感知和多目标优化作为跨越所有方法的普遍原则；全面的当代覆盖，涵盖2020年至2025年的进展，包括Transformer架构、大型语言模型集成和强化学习框架；系统的混合分析，首次全面处理混合集成策略，分析了超过50种方法并识别收敛模式；批判性评价框架，通过识别评估协议差距、综合跨领域部署经验并提取可泛化的成功模式和失败模式，为方法选择提供可操作指导。
1.4 文献收集方法
本综述通过在Scopus、Web of Science、IEEE Xplore和Google Scholar中的系统文献检索进行。主要搜索词包括“符号回归”、“遗传编程符号”、“神经符号回归”、“稀疏回归可解释模型”和“从数据中方程发现”。检索涵盖1992年至2025年的出版物，重点为2020年以来的进展。纳入标准要求论文呈现符号回归方法、基准、应用或理论贡献。初步检索产生超过500篇候选论文，根据相关性和贡献重要性选出300余篇进行详细审查。
1.5 组织
本综述的其余部分组织如下：第2节检查确定性方法，包括穷举搜索、混合整数规划、稀疏回归和物理信息方法。第3节调查元启发式方法，涵盖遗传编程变体、基因表达式编程、群智能和基于语法的进化。第4节分析神经符号方法，包括序列到序列模型、强化学习、方程学习器网络和物理信息架构。第5节系统分析混合集成策略。第6节回顾评估协议、软件框架和基准方法。第7节检查跨科学与工程领域的实际部署。第8节识别基本局限性，第9节概述未来研究方向，第10节总结。
2 确定性方法
确定性方法通过采用系统搜索策略、数学规划公式和严格优化框架提供计算保证和可重复结果。与随机方法不同，这些方法提供理论收敛特性并消除发现表达式中的随机变异。表2总结了跨七个方法类别的主要确定性方法。
2.1 穷举搜索
穷举搜索方法通过系统枚举指定复杂度界限内的所有数学表达式来保证最优解。Bartlett等人引入穷举符号回归（Exhaustive Symbolic Regression, ESR），实现了基于最小描述长度（Minimum Description Length, MDL）的框架，通过重复检测实现1400倍的搜索空间缩减。Kahlmeyer等人通过表达式有向无环图（Directed Acyclic Graph, DAG）推进穷举枚举，消除公共子表达式。Brence等人提出概率上下文无关语法（Probabilistic Context-Free Grammars, PCFG），通过表达式空间上的概率分布结合软约束。
2.2 混合整数非线性规划
MINLP公式通过将符号回归编码为约束优化问题来提供全局最优解。Austel等人提出了基础的全局最优MINLP公式。Cozad等人通过析取规划推进了该框架。后续工作通过改进的配方提高计算效率，包括Kim等人引入更强的树定义约束和顺序树构建启发式（Sequential Tree Construction Heuristic, STreCH）。Neumann等人通过修改的树构建减少二元变量。高级求解技术进一步扩展了MINLP能力，如Wei等人提出广义Benders分解（Generalized Benders Decomposition, GBD-PCR），Forster等人将MINLP应用于生物过程模型。
2.3 稀疏回归
压缩感知方法通过系统稀疏化实现高维特征空间上的符号回归。Ouyang等人提出SISSO，结合基于相关性的筛选和稀疏化算子处理数十亿候选。后续扩展包括多任务SISSO（Multi-Task SISSO, MT-SISSO）和变量选择辅助SISSO（Variable Selection-assisted SISSO, VS-SISSO）。Chen等人提出精英基回归（Elite Bases Regression, EBR），采用解析矩阵编码进行系统基函数生成。
2.4 结构化表示
结构化表示约束表达式空间以提高可解释性和效率。De Fran?a等人提出交互变换（Interaction-Transformation, IT）数据结构，约束表达式为组合函数的线性组合。后续工作扩展为变换-交互-有理（Transformation-Interaction-Rational, TIR）表示。Chen等人引入广义可分离性，将传统理论扩展到处理跨子函数的重复变量。
2.5 贝叶斯与物理信息方法
贝叶斯方法将符号回归公式化为表达式空间上的概率推断。Guimerà等人提出贝叶斯推断框架，采用边际后验分布的显式近似。Bartlett等人开发n-gram语言模型先验，捕获算子相关性。物理信息方法利用特定领域的结构属性进行系统分解。Udrescu等人提出AI Feynman，采用神经网络发现潜在数学属性，实现递归问题归约。后续工作AI Feynman 2.0扩展到发现任意图模块性。
2.6 确定性优化框架
确定性优化方法解决可重复性和复杂性的挑战。Rivero等人提出DoME，确保可重复结果。Fong等人提出DistilSR，优先考虑简洁性。Kahlmeyer等人提出模型无关框架，通过符号替换降维。
3 符号回归的元启发式方法
元启发式方法采用基于种群的随机搜索来探索复杂的表达式空间，是符号回归的主要范式。本节检查遗传编程及其变体、基因表达式编程、群智能算法和基于语法的进化方法。
3.1 遗传编程方法
遗传编程是符号回归最广泛采用的元启发式方法，通过生物启发的算子引导的基于种群的搜索进化数学表达式。将GP方法组织为核心方法、解决特定挑战的增强变体、迁移学习扩展和领域特定应用。
3.1.1 核心GP方法
表3和表4全面总结了按研究焦点领域组织的核心遗传编程方法，包括适应度和复杂度管理、种群多样性、语义算子和领域特定创新。
3.1.1.1 适应度函数与复杂度控制
适应度函数创新通过多样化评估策略解决代码膨胀和过拟合。Vladislavleva等人开发基于切比雪夫多项式近似的非线性阶数度量。Haeri等人提出统计GP（Statistical GP, SGP）。Chen等人提出GPOPSRM，整合非均匀优化的VC维测量与结构风险最小化理论。后续工作包括加权残差与变量相关性（MGPWC）、多度量随机选择、异步并行GP（Asynchronous Parallel GP, APGP）、贝叶斯适应度指标、基于相关性的适应度与后处理线性缩放（GPCorLLS）、函数频率概率树生成（FFBPTG）、局部敏感哈希简化、符号变化检测（Sign Change Detection, SCD-GEP）和一致性相关系数（Concordance Correlation Coefficient, CCC）适应度。
3.1.1.2 种群管理与多样性
种群管理技术通过高级策略和协同进化框架增强多样性保持和选择机制。Leit?o等人开发自适应配偶选择。Kommenda等人提出双重训练子集方法。La Cava等人扩展词典选择，引入ε-词典选择及其概率和多目标分析。Chen等人开发基于熵的多样性（GPED），采用转换语义熵。Sopov等人提出pdccGP，整合随机自适应分组。Ding等人提出概率词典选择（plexicase）。
3.1.1.3 高级算子与搜索机制
高级遗传算子利用问题结构和语义信息提高搜索效率和解质量。Azad等人引入Chameleon，采用终身学习和缓存。Chen等人提出块构建编程（Block Building Programming, BBP），利用可分离结构的双层分治框架。Liu等人扩展为SD-GP，多染色体框架。Virgolin等人推进GP-GOMEA，开发有偏互信息链接学习。Koch等人引入GP-RV-GOMEA，用实值常数增强离散基因型。Fang等人开发范围绑定GP（Ranging-Binding GP, RBGP）。
3.1.1.4 专用方法
专用表示解决领域特定挑战。Kronberger等人引入因子变量直接处理分类数据。Azzali等人开发向量遗传编程（Vectorial Genetic Programming, VE-GP）用于面板和时间序列数据。De Fran?a等人提出交互变换进化算法（Interaction-Transformation Evolutionary Algorithm, ITEA），并扩展为TIR表示。
3.1.1.5 语义感知GP
语义感知方法利用行为信息通过各种策略引导进化搜索。Nguyen Quang Uy等人开发基于语义相似性的交叉（Semantic Similarity-based Crossover, SSC）。Krawiec等人提出近似几何交叉（Approximate Geometric Crossover, AGX）。Szubert等人提出前向传播变异（Forward Propagation Mutation, FPM）。Oliveira等人引入几何分散算子。Huynh等人提出语义驱动框架（Semantics-driven framework, SSR）。Fracasso等人引入多目标语义变异。Chen等人提出角度驱动几何语义GP（Angle-Driven GSGP, ADGSGP）。Martins等人通过GSGP-Red解决指数增长。Chu等人开发统计锦标赛选择。Pawlak等人建立胜任GP框架。Virgolin等人整合线性缩放。Jeong等人开发语义聚类算子（Semantic Cluster Operator, SCO）。Zojaji等人引入基于模式的GP（Schema-Based GP, SBGP）。Nadizar等人提出拉马克线性缩放（GSGP-LLS）。
3.1.1.6 线性GP
线性GP方法通过顺序指令表示实现计算效率。La Cava等人开发表观遗传LGP（Epigenetic LGP, ELGP）。Sotto等人研究非参数简洁性压力技术。Monta?a等人建立直线程序GP的VC维上界。Huang等人提出语义LGP（Semantic LGP, SLGP），引入变异与划分传播（Mutate-and-Divide Propagation, MDP）算子。
