《Neurobiology of Disease》:Contrastive Diffusion Model for Exploring Mathematical Expressions from Data
编辑推荐:
符号回归(Symbolic Regression, SR)是一项旨在发现最能拟合给定数据的数学表达式的任务,该问题具有挑战性且在各种现实应用中具有重要意义。现有的深度生成模型通常通过自回归(Autoregressive)生成来解决这一问题。然而,这些模型依赖于
符号回归(Symbolic Regression, SR)是一项旨在发现最能拟合给定数据的数学表达式的任务,该问题具有挑战性且在各种现实应用中具有重要意义。现有的深度生成模型通常通过自回归(Autoregressive)生成来解决这一问题。然而,这些模型依赖于单向依赖关系,这可能与数学表达式中各组件之间固有的全局和双向关系不一致,从而阻碍了在生成过程中有效捕捉隐式的全局语义结构。本文提出了一种基于扩散模型(Diffusion Model)的迭代非自回归(Non-Autoregressive, NAR)方法,通过在潜在空间(Latent Space)内细化整个数学表达式的生成过程,以增强对全局语义逻辑的建模。此外,研究人员在模型训练期间结合了对比学习(Contrastive Learning),以将数据点的特征与符号表达式的特征对齐。这种对齐缓解了这两种数据类型之间的模态差异(Modal Discrepancies),促进了非自回归生成中多模态数据(Multimodal Data)的改进利用,同时赋予模型更全面的语义理解。实验结果表明,该模型在各种基准数据集上显著优于多个主流基线模型。值得注意的是,它从数据中高效地探索数学表达式解,在确保高度简洁性的同时实现了卓越的拟合性能。这些发现突出了该方法从全局视角建模数学表达式的有效性,并阐明了其高效解决符号回归问题的能力。
该论文题为《Contrastive Diffusion Model for Exploring Mathematical Expressions from Data》,发表于《Neurobiology of Disease》期刊。论文针对符号回归(Symbolic Regression, SR)领域中现有深度生成模型的局限性展开研究。SR旨在通过实验数据发现潜在的数学表达式,传统方法主要依赖遗传编程(Genetic Programming, GP),虽能发现准确表达式但计算密集。近年来,基于监督学习的深度模型将SR转化为序列生成任务,采用Transformer架构进行自回归(Autoregressive)生成。然而,这种单向依赖假设限制了模型捕捉数学表达式固有的全局组合语义,且数值数据与符号表达式之间存在显著的模态鸿沟,阻碍了条件概率分布的建模。
为解决上述问题,研究人员提出了一种名为DiffuSR的对比扩散模型。该研究通过引入连续去噪扩散概率模型(Continuous Denoising Diffusion Probabilistic Model),在潜在空间中迭代地、非自回归地细化表达式生成,从而强调表达式的整体逻辑结构而非线性顺序。同时,设计了一种跨模态对比学习机制,利用自监督信号对齐数值数据与符号表达式的表示,以缓解模态差异。实验结果表明,DiffuSR在拟合精度、表达式简洁性和计算效率方面均优于经典方法。
在关键技术方法方面,研究人员构建了基于分类器引导的连续扩散框架,将数学表达视为整体进行潜在空间映射。具体采用了可学习的嵌入映射和软吸收状态设计,以桥接离散符号逻辑与连续扩散动力学。同时集成了跨模态对比学习模块,实现数据点特征与符号表达式特征的对齐。模型训练采用端到端的优化策略,并在多个标准基准数据集上进行评估,涵盖单变量和多变量函数生成任务。
研究结果部分显示:
- 1.
Related work:回顾了基于搜索的方法(如GP)和基于监督学习的方法(如SymbolicGPT、NeSymReS),指出现有自回归模型因单向依赖假设而无法充分捕捉全局语义结构的问题。
- 2.
Contrastive Diffusion Model for Symbolic Regression:详细阐述了DiffuSR架构,包括潜在空间扩散过程和对比学习机制,通过引入潜在变量将复杂分布映射到低维空间,并利用对比损失函数优化模态对齐。
- 3.
Experiment:通过实验验证了三个研究问题(RQ)。结果显示,DiffuSR在基准数据集上的表现显著优于现有最先进方法,尤其在表达式复杂度和数据拟合性能上具有优势;扩散模型在处理SR问题时表现出更高的时间效率;模态对齐模块的引入有效提升了模型性能。
- 4.
Discussion:讨论指出,DiffuSR的优势源于其扩散生成机制在训练期间进行的全局优化,使其能更有效地建模数学表达式中固有的综合语义和逻辑结构。
- 5.
Conclusion:总结认为,该迭代非自回归方法不预设表达式生成的方向性约束,通过潜在空间内的迭代细化,成功解决了自回归模型在捕捉全局语义逻辑方面的局限。
- 6.
Data available:数据及代码可根据请求获取。
- 7.
CRediT authorship contribution statement:明确了Canmiao Zhou、Han Huang等人的具体贡献,涵盖概念化、方法论、验证、写作等环节。
- 8.
Declaration of competing interest:作者声明无已知竞争性财务利益或个人关系影响研究工作。
- 9.
Acknowledgements:致谢部分列出了国家自然科学基金、广东省普通高校创新团队项目等多个资助机构。
讨论部分总结指出,DiffuSR通过扩散机制实现了全局优化,从而在建模数学表达式的综合语义结构方面表现出色。结论部分强调,该研究提出的基于对比学习的扩散模型为符号回归提供了一种新的有效范式,通过非自回归生成和模态对齐,显著提升了从数据中探索数学表达式的性能与效率。