基于分层贝叶斯方法的非线性、动态、时滞系统稀疏模型构建

《Engineering Applications of Artificial Intelligence》：Sparse model building for nonlinear, dynamic, time-delay systems using a hierarchical Bayesian approach

　　

摘要

本文提出了两种层次贝叶斯动态稀疏代数模型识别算法（H-BIDSAM），用于构建具有未知输入延迟的流程系统的稀疏层次数据驱动模型。第一种方法采用双向分支定界法系统地寻找层次模型的合适层级，而第二种方法则先对输入变量可能存在的延迟进行评估。在两种情况下，都使用BIDSAM算法来识别各层级的稀疏模型。对于具有时空分布特性的系统，还提出了层次模型结构以进一步提升局部计算效率及模型稀疏性。H-BIDSAM算法被应用于两个案例研究：一个是考虑延迟微分方程系统的简单示例，另一个是插件流反应器的仿真案例。研究表明，对于集中式插件流反应系统，H-BIDSAM算法构建的模型在延迟量化方面的误差小于5%，能够准确识别所有输入延迟。与BIDSAM相比，集中式插件流反应系统的参数数量减少了$\pm 10\%$，而对于离散化系统，即便使用包含自相关和交叉相关噪声的训练数据，H-BIDSAM算法也能使参数数量减少多达33%。

引言

数学模型被广泛应用于系统设计、优化、敏感性分析、控制以及过程开发与监控等领域（Pantelides和Renfro，2013）。构建第一性原理模型需要考虑质量、能量和动量的守恒，同时还要兼顾动力学与机制（如质量传递、热传递、反应）、材料/热力学性质以及其他本构关系。对于高度非线性且复杂的系统，由于对相关物理/化学/现象的理解不足，构建第一性原理模型往往十分繁琐困难。此外，这类模型可能难以求解，也不适合用于在线应用。近年来，人们致力于开发数据驱动模型，这类模型可以快速构建和调整，且无需理解相关系统的底层物理/化学原理。计算机硬件和算法能力的进步，以及更便宜的数据存储系统的出现，推动了数据驱动模型的发展。与此同时，机器学习（ML）和人工智能（AI）领域的快速发展也为数据驱动模型的构建提供了有力支持。尤其是人工神经网络（ANN），它试图模拟人脑的运算机制（Andina等人，2007），越来越多地被用于复杂系统的功能近似，以实现预测和控制（Venkatasubramanian，2019）、故障检测（Venkatasubramanian等人，2003），以及分类任务，应用领域涵盖地震和声纳信号处理、语音识别等多个学科（Andina等人，2007；Decatur，1989；Roth，1990）。然而，传统ANN通常具有大量参数，因此需要大量数据才能避免过拟合问题。这对于那些数据获取成本高昂、数据获取间隔较长，或因恶劣工况或可及性限制而难以布置传感器的系统来说，无疑是个挑战。为了解决这一问题，人们提出了新的ANN结构与训练算法，比如混合串并联全非线性动态静态ANN（Mukherjee和Bhattacharyya，2023；Mukherjee等人，2024）。不过，ANN模型的一个关键局限在于其黑箱特性，缺乏可解释性，因为无法通过分析ANN模型了解输入变量与输出变量之间的关联。

为了解决ANN模型可解释性不足的问题，一种方法是构建具有明确基函数的数据驱动模型。已有不少研究通过从一组候选基函数中优化选择，来构建可解释的过程系统数据驱动模型（Mukherjee等人，2024；Cozad等人，2014、2015；Brunton等人，2016；Mangan等人，2017；Sun和Braatz，2020；Adeyemo和Bhattacharyya，2024a、2024b、2024c；Wang和Wu，2022）。例如，自动代数模型学习算法（ALAMO）就被用于构建稳态模型（Cozad等人，2014、2015）。在动态模型构建方面，也出现了诸如稀疏非线性动态识别算法（SINDy）（Brunton等人，2016；Mangan等人，2017）、弹性网代数学习算法（ALVEN）（Sun和Braatz，2020）以及基于贝叶斯推断的集成核典型变异分析算法（Wang和Wu，2022）等。不过，这些方法都基于一个基本假设，即数据中的噪声是高斯分布且相互独立的。这一假设使得这些算法难以应用于那些过程数据中存在非高斯分布、非独立噪声的系统，也就是噪声可能是非高斯分布且存在相关性的。贝叶斯动态稀疏代数模型识别算法（BIDSAM）（Mukherjee等人，2024；Adeyemo和Bhattacharyya，2024a）可以解决这些问题，即使训练数据中存在交叉相关性噪声，该算法仍能生成稀疏的预测模型。该算法结合了分支定界法与有效的剪枝策略，既能构建简洁的模型，又能通过贝叶斯推断实现参数估计与不确定性量化。在期望最大化框架下的实现，使得能够明确考虑噪声及其可能的关联性（Adeyemo，2024；Mukherjee等人，2025）。不过，该方法的局限性在于忽略了时间延迟问题。近期有一些关于稀疏模型构建的研究提出了基于SINDy的方法（Sandoz等人，2023；Pecile等人，2025），用于从仿真数据和实验数据中识别含延迟的微分方程。但这些方法仍然存在SINDy框架的固有缺陷，最突出的是对噪声数据敏感，因为需要从训练轨迹中计算导数，同时用户还需要将基函数库的大小控制在合理范围，并选择合适的基函数用于模型构建（Adeyemo和Bhattacharyya，2024a；Kaheman等人，2020）。此外，这些方法主要在输入变量不随时间变化的微分方程系统上进行了验证。据我们所知，目前尚未有研究针对具有多个候选基函数的非线性、动态、带时间延迟的系统，明确考虑训练数据中的噪声因素，尤其是输入变量随时间变化的情况，开展稀疏模型构建工作。本文的目标就是改进BIDSAM算法，使其更适用于带时间延迟的系统。具体而言，我们研究了输入时间延迟未知、训练数据中存在交叉相关和自相关噪声的系统的模型构建问题。此外，我们还扩展了该算法，用于构建空间分布式系统的模型。整体思路是通过构建稀疏层次模型，实现局部计算，从而提升计算效率与模型鲁棒性。由于实际工业应用中输入输出数据存在较大不确定性（Gupta和Gupta，2019；Wu等人，2021；Liu和Li，2025），因此我们采用了概率方法，同时借鉴贝叶斯方法进行局部计算，实践表明贝叶斯方法在处理训练数据中的自相关噪声时具有明显优势（Meera和Lanillos，2023；Salvatori等人，2023）。

本文的主要贡献包括：

• •
  针对因未知时间延迟导致输入不确定性的系统，开发了两种用于构建层次模型的训练算法；
• •
  能够自动确定从给定过程数据出发，实现系统动态精准预测所需的层次模型层级；
• •
  提出了用于时空分布式系统稀疏层次建模的框架；
• •
  将所开发的算法应用于含有交叉相关和自相关噪声的测量数据对应的动态系统建模。

章节节选

从噪声数据中识别稀疏模型

在本节中，我们将简要介绍用于构建过程系统稀疏、可解释数据驱动模型的BIDSAM算法（Mukherjee等人，2024；Adeyemo和Bhattacharyya，2024a），随后还会简要说明本研究中考虑的噪声特征。

案例研究

所提出的算法在两个案例研究中进行了测试：首先是一个考虑延迟微分方程系统的简单示例，其次是插件流反应器的仿真案例。对于第一个案例，我们采用了用于研究疾病传播的SIR模型的改进版本。而在第二个案例研究中，我们为用于丙酮气相热裂解的插件流反应器构建了层次模型，共分析了两种场景。

结论

本文提出了两种算法，用于从含有未知输入延迟的噪声数据中识别过程系统的稀疏数据驱动模型。H-BIDSAM算法通过局部计算将误差分散到层次模型的不同层级，从而自动确定能够表征系统动态的最佳模型层级。在所有情况下，都会使用BIDSAM算法选择合适的基函数，用以近似表示过程的非线性特征，进而

CRediT作者贡献声明

Samuel Adeyemo：概念构思、形式分析、研究调查、方法设计、软件开发、初稿撰写。Debangsu Bhattacharyya：概念构思、资金筹集、方法设计、指导监督、论文审阅与编辑。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究得到了美国能源部的支持，项目名称为“基于混合第一性原理与人工智能模型的锅炉健康监测”（资助编号# DE-FE0031768）。本文作者对能源部的财政支持表示衷心感谢。第一作者还感谢加尔文大学德弗里斯全球教师发展学院提供的博士后奖学金支持，部分研究成果正是在该奖学金支持下完成的。

Samuel Adeyemo|Debangsu Bhattacharyya

西弗吉尼亚大学化学与生物医学工程系，美国西弗吉尼亚州摩根敦市埃文斯代尔大道395号，邮编26506-6070