从观测数据集中揭示自然现象的潜在规律已成为人工智能的核心目标。2009年,Schmidt和Lipson在《科学》杂志上发表了一项有影响力的研究,证明符号回归(SR)可以从运动追踪数据中推导出经典力学定律(Schmidt和Lipson,2009)。这项工作突显了SR在促进科学发现方面的潜力(Krenn等人,2022;Wang等人,2023)。作为一种数据驱动的方法,SR旨在自动发现最能描述数据集的方程式。在物理学、化学和生态学等领域,SR得到了广泛应用(Burlacu等人,2023;Kim等人,2020;Neumann等人,2020;Quade等人,2016)。
20世纪90年代初,Koza将遗传编程(GP)引入SR领域,其中个体被视为包含运算符、变量和常量的方程树(Koza,1994)。GP通过模拟基因复制、交叉和突变等生物过程来进化个体(La Cava等人,2016;Schmidt和Lipson,2010;Udrescu等人,2020)。当初始种群较大且交叉和突变的概率调整得当时,基于GP的模型能够抵抗局部最优解。然而,广阔的搜索空间通常需要大量的计算资源,这促使人们开发了基于深度学习(DL)的SR模型,这些模型通过梯度下降或强化学习来指导方程搜索(Derner等人,2018;Mundhenk等人,2021;Petersen等人,2019;Scholl等人,2025)。然而,基于GP和DL的模型都是为每个问题从头开始优化的,这限制了它们利用先前经验加速新问题收敛的能力。
最近在SR领域的进展引入了Transformer架构(Biggio等人,2021;Chen等人,2025;Kamienny等人,2022;Valipour等人,2021;Vastl等人,2024),将SR问题重新定义为数据集到方程的转换任务,类似于机器翻译模型。与传统的基于GP和DL的模型不同,基于Transformer的范式利用注意力机制捕捉数据集内的依赖关系,从而实现无需迭代的直接方程生成。然而,尽管提高了部署效率,这些模型往往无法充分考虑到数据集与方程之间的模态差异,这增加了收敛难度。为了解决这个问题,Li等人(2025)首次提出了多模态学习方法(MMSR),它在训练期间将数据集和方程的融合表示作为直接输入,并引入了交叉注意力特征融合和对齐损失等多模态技术,在多个场景中表现出优于仅使用数据集的基线模型。我们的解决方案进一步通过结合视觉模态来推进多模态学习,这是一种容易获得且关键的资源,但在之前的研究中被忽视了。
目前,视觉多模态模型已被证明对于提升各种机器学习任务非常有效,特别是在机器翻译领域(Gupta等人,2023;Shen等人,2024)。其原理很直观。例如,在机器翻译中,英语单词“Dog”和德语单词“Hund”具有相同的视觉感知。类似地,在SR中,尽管数据集和方程的形式不同,但它们对应于相同的几何拓扑结构。
然而,现有的多模态模型通常依赖于CT和雷达等专业设备,或预先创建的数据库来确保在训练和推理过程中视觉模态的可用性(Zhang等人,2024),这对SR来说是一个挑战。主要障碍是现有的高维可视化方法要么由于采样点数量呈指数级增加而产生过高的CPU开销,要么存在变量退化和非线性交互缺失的问题。因此,目前关于视觉SR的讨论范围仅限于二维及以下维度(Chen等人,2025)。
为了解决这个问题,我们提出了多视图随机切片(MVRS)技术,它通过由随机正交基定义的二维仿射变换将多变量方程投影到二维空间。通过仅使用可控的采样点,复杂的抽象符号关系可以被转换为可见的模式,如曲线和梯度,从而使标准视觉模型能够捕捉和理解它们,而无需考虑维度。理论上,我们证明了MVRS能够确保变量的非退化,并且不会丢失重要的非线性交互。
基于MVRS,我们提出了ViSymRe,这是一个基于Transformer的符号回归框架。虽然MVRS实现了低成本的可视化,但其应用受到分析方程可用性的限制,而这一条件仅在训练期间成立。为了实现仅使用数据集的推理,ViSymRe使用辅助视觉解码器直接从数据集嵌入中预测视觉特征,从而消除了对真实视觉输入的需求。与传统基于像素的重建或直接特征回归不同,我们引入了向量量化机制,将视觉特征投影到有限空间(Van Den Oord等人,2017)。具体来说,ViSymRe维护了一个可学习的代码本,将连续的视觉特征空间离散化为有限的码字集。视觉解码器根据数据集进行多头分类,以预测对应于视觉特征的码字索引。通过将视觉重建任务从回归转换为分类,我们避免了高维回归中常见的均值塌陷问题(Mathieu等人,2015)。本质上,ViSymRe建立在两个耦合的视觉管道之上。真实的视觉管道编码由分析方程生成的MVRS切片,并提供量化的视觉特征。虚拟视觉管道基于这些视觉特征进行学习,从而从数据集嵌入中重建相应的视觉语义,从而实现仅使用数据集的推理,而无需丢弃训练期间获得的视觉先验。
此外,我们提出了一个受Press等人(2021)启发的偏置交叉注意力模块,用于替代虚拟视觉管道中的标准交叉注意力模块进行特征融合。通过施加偏置来抑制预测视觉特征中噪声成分的注意力权重,该模块有效地减轻了噪声被过度强调的问题。最后,我们在解码过程中引入了一个约束算法,以提高生成方程的可解释性和物理合理性(Petersen等人,2019)。通过在每一步施加元数约束并禁止物理上不合理的嵌套结构,这种方法优化了搜索空间,从而优先生成结构上有效的方程。
总体而言,我们的主要创新如下:
我们提出了ViSymRe,这是一个基于Transformer的框架,它将视觉模态作为桥梁整合到SR中,以解决传统预训练模型面临的数据集与方程之间的模态异质性问题。广泛的评估表明,所提出的架构在各种场景中都具有很强的鲁棒性,特别是在低复杂度和快速推理任务中表现出强大的潜力。我们提出了多视图随机切片(MVRS)技术,这是一种支持大规模预训练的可视化策略。MVRS将多变量方程投影到二维空间,而不会导致变量退化或采样复杂性呈指数级增长,从而以较低的计算成本将ViSymRe泛化到高维场景。我们构建了一个双视觉管道,它引入了虚拟视觉来协调多模态训练和仅使用数据集推理之间的冲突。通过使用偏置交叉注意力特征融合模块来抑制虚拟视觉中噪声成分的注意力权重,两个视觉管道被鼓励一致收敛。本文的其余部分组织如下:第2节介绍了我们工作的动机。第3节回顾了相关工作。第4节详细介绍了ViSymRe框架,包括其核心模块和参数。第5节介绍了数据预处理过程,包括骨架生成和数据集采样。第6节提供了实验设置和结果,以验证ViSymRe的有效性。最后,第7节讨论了ViSymRe的局限性并概述了未来研究的潜在方向。