通过潜在函数启发的级联网络结合分阶段物理 - 数据编码求解 DR-PDEE 的时空过渡迁移学习

《International Journal of Non-Linear Mechanics》：Spatiotemporal Transitional Transfer Learning for Solving DR-PDEE through Latent-Function-Inspired Cascaded Networks with Stage-Wise Physics-Data Encoding

　　

**摘要**
随机响应分析是随机力学中的一项基本任务。降维概率密度演化方程 (DR-PDEE) 为确定高维非线性系统的响应概率密度函数 (PDFs) 提供了一个有效的框架。多物理信息神经网络 (MPINNs) 通过将物理定律与有限样本嵌入，为解决 DR-PDEE 提供了一种诱人的替代方案。然而，MPINNs 通常是针对特定系统定制的，并且在新任务中需要完全重新训练，这限制了效率和可迁移性。本研究利用了 DR-PDEE 在不同系统中保持通用形式这一事实，而 PDF 演化是由系统特定的时空内在漂移函数 (IDFs) 驱动的。因此，PDF 演化可被视为以 IDFs 为条件的功能映射，揭示了 IDFs 与 PDFs 之间的潜在依赖关系。基于这一视角，提出了一种潜在函数启发的级联网络 (LFICN)，并结合了一种两阶段过渡迁移学习策略，以实现阶段性的物理 - 数据编码。LFICN 包括一个学习 IDFs 的上游子网络和一个根据学习的 IDFs 预测 PDFs 的下游子网络，从而显式参数化潜在的 IDF-PDF 关系并实现渐进式领域适应。训练分为两个阶段：第一阶段执行弱约束、系统无关的预训练，仅通过最小化 DR-PDEE 残差，产生捕获通用物理的可复用初始化。第二阶段通过结合特定任务的物理和有限数据进行 IDF 学习，同时强制执行 DR-PDEE 残差，进行全约束细化。借助第一阶段的可迁移初始化，新任务可通过高效的微调来处理，而无需完全重新训练，从而显著提高训练效率。数值研究表明，该框架在显著降低计算成本的情况下，能够跨结构、自由度和时间实例提供准确的响应 PDFs，并具有鲁棒性。

**引言**
工程结构不可避免地表现出固有的不确定性，这种不确定性源于材料性能、边界条件和操作载荷的变化 [1], [2], [3]。对于受随机激励的非线性结构系统，准确评估随机结构响应对于结构安全评估 [4]、可靠性评估 [5] 和设计优化 [6] 至关重要。

在过去的几十年里，大量的努力致力于开发随机响应分析方法。其中，蒙特卡洛模拟 (MCS) 由于其广泛的适用性和概念上的简单性，仍然是使用最广泛的技术之一 [7]，尽管其高昂的计算成本和随机收敛性严重限制了其在复杂工程结构中的实际应用 [8]。为了缓解这些问题，人们提出了各种效率增强策略，包括线抽样 [9]、重要性抽样 [10]、子集模拟 [11] 和机器学习方法 [12]。然而，对于高维非线性系统，这些方法仍然面临过重的计算负担和与罕见事件相关的尾部区域准确性有限的问题 [13], [14]。另一条研究路线专注于基于矩的方法 [15]，该方法计算统计矩并随后重构响应概率密度函数 (PDFs)。这些方法对于线性系统通常有效 [16]，但对于非线性系统则变得不太可靠 [17]。此外，当响应 PDFs 表现出多模态特征时，它们会遇到显著的困难 [18]。

福克 - 普朗克 - 科尔莫戈罗夫 (FPK) 方程提供了一个基于控制方程的框架，用于直接描述响应 PDFs 的瞬态演化 [19], [20]。然而，FPK 方程的解析解仅适用于有限类别的系统 [21]，这促使了有限差分法 [22], [23] 和路径积分方法 [24], [25], [26] 等数值求解技术的发展。尽管取得了这些进展，由于维数灾难，FPK 方程的数值求解对于高维非线性系统仍然具有挑战性 [27]。为了解决这个问题，人们探索了几种降维策略，包括状态空间分裂法 [28]、基于统计线性化和随机平均的降维 [29] 以及 Wiener 路径积分法 [30], [31]。在此背景下，基于概率守恒原理，李和陈 [32] 提出了概率密度演化方法 (PDEM) 并推导出了广义密度演化方程 (GDEE)，从而实现了高维随机系统中任意物理量的完全解耦表述 [33]。最近，陈和刘 [34], [35] 通过构建控制响应 PDF 演化的内在漂移函数 (IDFs)（等效于条件导数矩），进一步发展了降维概率密度演化方程 (DR-PDEE)。通过引入 IDFs，DR-PDEE 避免了 PDEM 中的概率空间划分，并提供了概率密度演化的全局解 [34]。尽管 DR-PDEE 提供了响应 PDF 演化的精确控制方程，但对于复杂非线性系统，时变 IDFs 通常是未知的。在实际应用中，IDFs 通常使用基于 Copula 的方法 [35] 或局部加权散点图平滑 (LOWESS) [36], [37] 等数值方法从代表性样本中估计。然而，当由于计算效率和准确性之间的权衡而仅有有限数量的样本可用时，准确估计 IDFs 仍然是一个巨大的挑战，特别是在与罕见事件相关的稀疏样本尾部区域 [36]。

随着深度学习方法的发展，物理信息神经网络 (PINNs) [38] 已显示出在随机响应分析中的巨大潜力，并有成功应用于求解 FPK 方程 [39], [40], [41], [42] 和 GDEE [43], [44], [45], [46] 的报告。最近，多物理信息神经网络 (MPINNs) [47], [48], [49] 通过并发嵌入物理和数据，为解决 DR-PDEE 提供了一种诱人的替代方案。MPINNs 针对不同物理变量采用了多个并行子网络，从而将 DR-PDEE 和支配 IDFs 的物理定律纳入学习过程 [47]。此外，MPINNs 编码从代表性样本中提取的噪声 PDF 数据，并从逆问题的角度求解 DR-PDEE，实现了准确高效的响应 PDF 预测和增强的 IDF 估计 [48], [49]。尽管取得了这些进展，MPINNs 通常是针对特定系统定制的。当时空目标发生变化，包括结构配置、自由度 (DOFs) 或时间实例，MPINNs 需要进行完全重新训练，这显著损害了计算效率并限制了可迁移性。

回顾基于 DR-PDEE 的随机动态响应分析，可以观察到主要控制方程 DR-PDEE 在不同系统中保持相同的数学形式，而相关的 PDF 演化则由系统和任务特定的 IDFs 支配，这些 IDFs 是根据 IDFs 本质上是条件导数矩这一物理定律，从代表性样本中估计的。这种区别表明响应 PDFs 对 IDFs 存在潜在的函数依赖，表明 PDF 演化可被解释为以 IDFs 为条件的功能映射。遵循这一因果视角，引入了潜在函数启发的级联网络 (LFICN)，并结合了一种两阶段过渡迁移学习策略，以实现阶段性的物理 - 数据编码。主要贡献总结如下：
●开发了一种名为 LFICN 的新型级联架构，其中包括一个用于学习 IDFs 的上游子网络和一个用于根据学习的 IDFs 预测 PDFs 的下游子网络，从而显式捕获潜在的 IDF-PDF 关系，并自然支持渐进式领域适应策略。
●提出了一种具有阶段性物理 - 数据编码的两阶段过渡迁移学习策略。第一阶段执行弱约束、系统无关的预训练程序，仅最小化 DR-PDEE 残差，产生捕获 DR-PDEE 通用物理知识的可复用初始化。第二阶段通过联合结合特定任务的物理和数据，同时继续强制执行 DR-PDEE 残差，进行全约束细化。
●借助从第一阶段获得的适用于任意场景的可迁移初始化，新任务可以在第二阶段无需完全重新训练的情况下高效微调，从而显著提高训练效率。因此，迁移学习可以轻松地应用于不同的结构配置、DOFs 和时间实例，通过结合与 IDFs 相关的物理约束，实现对新兴场景的快速适应。

本文其余部分组织如下。第 2 节回顾了 DR-PDEE 的公式化及其求解中的关键挑战。第 3 节介绍了所提出的 LFICN 的架构。第 4 节进一步发展了两阶段过渡迁移学习策略。第 5 节提出了所提出框架的工作流程。第 6 节提供了案例研究，以展示所提出框架的可行性、准确性和效率。第 7 节总结了本研究。

**章节片段**
**DR-PDEE 及其挑战**
为了解决策略建立清晰的基础，本节首先回顾 DR-PDEE 的公式化及其实施程序。然后简要回顾现有的求解方法，接着讨论激发本研究方法论的关键挑战。

**潜在函数启发的级联网络架构**
如前几节所述，DR-PDEE 在不同系统和任务中保持不变的支配形式，因此只要构建可迁移的表示以支持跨系统适应，就可以将其嵌入为通用物理知识。在 DR-PDEE 框架中，系统和任务特定的 IDFs 作为响应 PDF 演化的直接驱动力，意味着 IDFs 的变化是 PDFs 变化的根本原因。然而，在传统的 MPINNs 中...

**具有阶段性物理 - 数据编码的两阶段过渡迁移学习策略**
如第 2 节所述，DR-PDEE 在不同系统和任务中保持不变的数学形式，而系统相关的物理信息主要通过任务特定的 IDFs 进入。受这一观察的启发，提出了一种具有阶段性物理 - 数据编码的两阶段过渡迁移学习策略，以提高训练效率和可迁移性。在第一阶段，通过仅最小化...执行弱约束、系统无关的预训练程序。

**两阶段过渡迁移学习策略的工作流程**
所提出框架的实施程序总结在算法 1 中，并可以表述为以下逐步过程。
步骤 1：构建 LFICN。首先通过排列具有可训练参数集的子网络 Net-A 和 Net-P 来构建一个级联网络。Net-A 的输出传递到 Net-P 的输入，从而在训练期间实现两个子网络之间的梯度传播。
步骤 2：执行任意任务的第一阶段预训练。在...

**案例研究**
本节使用三个例子系统地评估了所提出的框架。第一个案例考虑了一个具有可用解析解的两自由度非线性振动冲击振荡器，旨在验证所提出方法在预测响应 PDFs 中的可行性和准确性。第二个案例研究了高斯白噪声激励下的随机多自由度 (MDOF) 线性结构，重点关注计算效率和迁移学习...

**结论**
DR-PDEE 为获取高维非线性随机系统的瞬态响应 PDFs 提供了一个高效的框架。最近开发的 MPINNs 通过将控制定律和噪声数据纳入学习过程，显示出解决 DR-PDEE 的强大潜力。然而，现有的 MPINNs 通常是针对特定系统和时空设置定制的，当目标结构、DOFs 或时间实例发生变化时需要完全重新训练。这一限制导致...

**CRediT 作者贡献声明**
孙川：写作 – 初稿，软件，方法论，调查，形式分析，数据整理，概念化。郝腾腾：写作 – 初稿，软件。袁克峰：写作 – 审查与编辑，资金获取。严万基：写作 – 审查与编辑，监督，资源，项目管理，资金获取，形式分析，概念化。

**竞争利益声明**
? 作者声明他们没有已知的竞争财务利益或个人关系可能影响本文中报告的工作。

**致谢**
完成本研究所需的资金支持由澳门特别行政区科技发展基金 (文件编号：0038/2024/RIB1, 0120/2025/AMJ, 001/2024/SKL 和 0002/2025/EQP)、澳门大学研究委员会 (文件编号：MYRG-GRG2024-00119-IOTSC, MYRG-GRG2025-00270-IOTSC) 和粤港澳联合实验室计划 (项目编号：2020B1212030009) 提供。作者们还衷心感谢同济大学陈剑平教授为此提供的支持。

孙川 | 郝腾腾 | 袁克峰 | 严万基
智慧城市物联网国家重点实验室及土木与环境工程系，澳门大学，中国澳门