ViSymRe:视觉多模态符号回归

《Neural Networks》:ViSymRe: Vision Multimodal Symbolic Regression

【字体: 大 中 小 】 时间:2026年04月24日 来源:Neural Networks 6.3

编辑推荐:

  提出ViSymRe框架,通过多视角随机切片(MVRS)将高维方程映射到二维空间,结合双视觉管道与偏置交叉注意力模块,解决符号回归中数据与方程的模态异质性,实现低计算成本的可解释方程生成,并在主流基准测试中表现优异。

  
作者:李达、尹俊平、徐进、李欣欣、张娟
中国吉林省长春市东北师范大学高级跨学科研究学院,邮编130024

摘要

从观测数据集中提取可解释的方程式以描述复杂的自然现象是人工智能的核心目标之一。这一领域被称为符号回归(SR)。近年来,基于Transformer的范式成为SR领域的新趋势,解决了众所周知的搜索效率低的问题。然而,数据集与方程式之间的模态异质性往往阻碍了这些模型的收敛性和泛化能力。在本文中,我们提出了ViSymRe,这是一个结合了视觉模态的符号回归框架,旨在探索视觉模态在提升基于Transformer的SR范式性能方面的积极作用。为了解决高维场景下视觉SR模型难以训练的问题,我们提出了多视图随机切片(MVRS)技术。通过使用随机仿射变换将多变量方程投影到二维空间,MVRS避免了高维可视化中的常见问题,如变量退化、非线性交互缺失以及采样复杂性呈指数级增长,从而使ViSymRe能够在较低的计算成本下进行训练。为了支持仅使用数据集部署ViSymRe,我们设计了一种基于生成技术的双视觉管道架构,该架构能够直接从数据集中重建视觉特征,并通过提出的偏置交叉注意力特征融合模块自动抑制重建噪声的注意力权重,确保后续过程不受噪声模态的影响。消融实验表明,视觉模态对提高模型收敛水平和各种SR指标具有积极贡献。此外,在主流基准测试上的评估结果表明,ViSymRe的性能与基线模型相当,尤其是在低复杂度和快速推理场景中。我们的代码可以在以下链接找到:https://github.com/aidalee123/Vision-SR

引言

从观测数据集中揭示自然现象的潜在规律已成为人工智能的核心目标。2009年,Schmidt和Lipson在《科学》杂志上发表了一项有影响力的研究,证明符号回归(SR)可以从运动追踪数据中推导出经典力学定律(Schmidt和Lipson,2009)。这项工作突显了SR在促进科学发现方面的潜力(Krenn等人,2022;Wang等人,2023)。作为一种数据驱动的方法,SR旨在自动发现最能描述数据集的方程式。在物理学、化学和生态学等领域,SR得到了广泛应用(Burlacu等人,2023;Kim等人,2020;Neumann等人,2020;Quade等人,2016)。
20世纪90年代初,Koza将遗传编程(GP)引入SR领域,其中个体被视为包含运算符、变量和常量的方程树(Koza,1994)。GP通过模拟基因复制、交叉和突变等生物过程来进化个体(La Cava等人,2016;Schmidt和Lipson,2010;Udrescu等人,2020)。当初始种群较大且交叉和突变的概率调整得当时,基于GP的模型能够抵抗局部最优解。然而,广阔的搜索空间通常需要大量的计算资源,这促使人们开发了基于深度学习(DL)的SR模型,这些模型通过梯度下降或强化学习来指导方程搜索(Derner等人,2018;Mundhenk等人,2021;Petersen等人,2019;Scholl等人,2025)。然而,基于GP和DL的模型都是为每个问题从头开始优化的,这限制了它们利用先前经验加速新问题收敛的能力。
最近在SR领域的进展引入了Transformer架构(Biggio等人,2021;Chen等人,2025;Kamienny等人,2022;Valipour等人,2021;Vastl等人,2024),将SR问题重新定义为数据集到方程的转换任务,类似于机器翻译模型。与传统的基于GP和DL的模型不同,基于Transformer的范式利用注意力机制捕捉数据集内的依赖关系,从而实现无需迭代的直接方程生成。然而,尽管提高了部署效率,这些模型往往无法充分考虑到数据集与方程之间的模态差异,这增加了收敛难度。为了解决这个问题,Li等人(2025)首次提出了多模态学习方法(MMSR),它在训练期间将数据集和方程的融合表示作为直接输入,并引入了交叉注意力特征融合和对齐损失等多模态技术,在多个场景中表现出优于仅使用数据集的基线模型。我们的解决方案进一步通过结合视觉模态来推进多模态学习,这是一种容易获得且关键的资源,但在之前的研究中被忽视了。
目前,视觉多模态模型已被证明对于提升各种机器学习任务非常有效,特别是在机器翻译领域(Gupta等人,2023;Shen等人,2024)。其原理很直观。例如,在机器翻译中,英语单词“Dog”和德语单词“Hund”具有相同的视觉感知。类似地,在SR中,尽管数据集和方程的形式不同,但它们对应于相同的几何拓扑结构。
然而,现有的多模态模型通常依赖于CT和雷达等专业设备,或预先创建的数据库来确保在训练和推理过程中视觉模态的可用性(Zhang等人,2024),这对SR来说是一个挑战。主要障碍是现有的高维可视化方法要么由于采样点数量呈指数级增加而产生过高的CPU开销,要么存在变量退化和非线性交互缺失的问题。因此,目前关于视觉SR的讨论范围仅限于二维及以下维度(Chen等人,2025)。
为了解决这个问题,我们提出了多视图随机切片(MVRS)技术,它通过由随机正交基定义的二维仿射变换将多变量方程投影到二维空间。通过仅使用可控的采样点,复杂的抽象符号关系可以被转换为可见的模式,如曲线和梯度,从而使标准视觉模型能够捕捉和理解它们,而无需考虑维度。理论上,我们证明了MVRS能够确保变量的非退化,并且不会丢失重要的非线性交互。
基于MVRS,我们提出了ViSymRe,这是一个基于Transformer的符号回归框架。虽然MVRS实现了低成本的可视化,但其应用受到分析方程可用性的限制,而这一条件仅在训练期间成立。为了实现仅使用数据集的推理,ViSymRe使用辅助视觉解码器直接从数据集嵌入中预测视觉特征,从而消除了对真实视觉输入的需求。与传统基于像素的重建或直接特征回归不同,我们引入了向量量化机制,将视觉特征投影到有限空间(Van Den Oord等人,2017)。具体来说,ViSymRe维护了一个可学习的代码本,将连续的视觉特征空间离散化为有限的码字集。视觉解码器根据数据集进行多头分类,以预测对应于视觉特征的码字索引。通过将视觉重建任务从回归转换为分类,我们避免了高维回归中常见的均值塌陷问题(Mathieu等人,2015)。本质上,ViSymRe建立在两个耦合的视觉管道之上。真实的视觉管道编码由分析方程生成的MVRS切片,并提供量化的视觉特征。虚拟视觉管道基于这些视觉特征进行学习,从而从数据集嵌入中重建相应的视觉语义,从而实现仅使用数据集的推理,而无需丢弃训练期间获得的视觉先验。
此外,我们提出了一个受Press等人(2021)启发的偏置交叉注意力模块,用于替代虚拟视觉管道中的标准交叉注意力模块进行特征融合。通过施加偏置来抑制预测视觉特征中噪声成分的注意力权重,该模块有效地减轻了噪声被过度强调的问题。最后,我们在解码过程中引入了一个约束算法,以提高生成方程的可解释性和物理合理性(Petersen等人,2019)。通过在每一步施加元数约束并禁止物理上不合理的嵌套结构,这种方法优化了搜索空间,从而优先生成结构上有效的方程。
总体而言,我们的主要创新如下:
  • 我们提出了ViSymRe,这是一个基于Transformer的框架,它将视觉模态作为桥梁整合到SR中,以解决传统预训练模型面临的数据集与方程之间的模态异质性问题。广泛的评估表明,所提出的架构在各种场景中都具有很强的鲁棒性,特别是在低复杂度和快速推理任务中表现出强大的潜力。
  • 我们提出了多视图随机切片(MVRS)技术,这是一种支持大规模预训练的可视化策略。MVRS将多变量方程投影到二维空间,而不会导致变量退化或采样复杂性呈指数级增长,从而以较低的计算成本将ViSymRe泛化到高维场景。
  • 我们构建了一个双视觉管道,它引入了虚拟视觉来协调多模态训练和仅使用数据集推理之间的冲突。通过使用偏置交叉注意力特征融合模块来抑制虚拟视觉中噪声成分的注意力权重,两个视觉管道被鼓励一致收敛。
  • 本文的其余部分组织如下:第2节介绍了我们工作的动机。第3节回顾了相关工作。第4节详细介绍了ViSymRe框架,包括其核心模块和参数。第5节介绍了数据预处理过程,包括骨架生成和数据集采样。第6节提供了实验设置和结果,以验证ViSymRe的有效性。最后,第7节讨论了ViSymRe的局限性并概述了未来研究的潜在方向。

    部分摘录

    动机

    基于Transformer的范式已成为SR的新趋势。它们实现了一次性推理,从而避免了昂贵的迭代搜索。然而,将机器翻译范式适应SR仍然具有挑战性。一个关键难点在于数据集与方程之间的模态异质性,这限制了模型的收敛性。为了解决这个问题,Li等人(2025)初步探索了将多模态学习应用于SR,通过处理数据集和方程之间的模态同质性来确保收敛性

    相关工作

    经典SR模型。 SR长期以来一直被视为方程空间中的搜索问题,其中遗传编程(GP)被视为其经典范式(Koza,1994)。通过模拟生物进化,基于GP的模型可以在庞大的方程空间中自主搜索。虽然适用于大多数SR场景,但基于GP的模型在计算负担和超参数敏感性方面也存在挑战。为了解决这些问题,最近的研究越来越多地关注改进搜索策略和集成

    方法

    ViSymRe的总体架构如图2所示。在以下部分,我们将详细介绍所有模块和参数。本文使用的关键符号在表1中进行了总结。

    数据预处理

    在本节中,我们详细介绍了用于生成ViSymRe训练数据集的数据预处理流程。该过程分为三个阶段:首先,基于二叉树生成多样化的方程骨架;其次,对骨架中的常量进行采样以生成分析方程;最后,采样点以生成输入数据集。

    实验

    在本节中,我们介绍了ViSymRe的训练和推理细节。随后,我们在主流基准测试上进行了广泛的实验,以验证ViSymRe相对于现有竞争基线的优势及其潜在的局限性。

    结论

    在本文中,我们提出了ViSymRe,这是一个基于Transformer的预训练框架,探讨了视觉模态如何提升SR性能。我们提出了MVRS技术,以实现多变量方程的非退化可视化,并将采样复杂性降到最低,从而使ViSymRe能够进行大规模预训练。通过使用双视觉管道和偏置交叉注意力特征融合模块,我们将视觉先验整合到推理过程中,而无需显式的视觉输入

    未引用的表格

    表F1、表G1和I.14

    CRediT作者贡献声明

    李达:写作——审稿与编辑、原始草稿撰写、软件开发、资源管理、方法论、数据管理、概念化。尹俊平:写作——审稿与编辑、概念化。徐进:软件开发、概念化。李欣欣:形式分析、数据管理、概念化。张娟:写作——审稿与编辑、监督、概念化。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作部分得到了中国国家重点研发计划(2023YFA1009002)、国家自然科学基金(编号12292980、12292984、12031016、12201024)、国家重点研发计划(编号2023YFA1009000、2023YFA1009004、2020YFA0712203、2020YFA0712201)以及北京自然科学基金(BNSF-Z210003)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号