用于随机结构响应预测的深度学习代理模型中的回归模式崩溃

《Probabilistic Engineering Mechanics》：Regression mode collapse in deep learning surrogates for stochastic structural response prediction

　　

• •
  回归模式坍塌被定义为随机响应预测退化为类似均值的确定性曲线。
• •
  高的确定性精度并不一定意味着可靠的随机预测，因为传统误差指标可能会掩盖响应多样性的丧失。
• •
  CNN-RNN、CNN-LSTM 和 ViT 表现出回归模式坍塌，而 CNN-KAN 保留了随机响应变异性。

引言

预测结构在随机输入下的响应变异性仍然是结构可靠性分析中的核心挑战。在现有方法中，随机有限元方法（SFEM）为此提供了一个严格的框架。在实践中，获取这些分布需要进行大量随机仿真，通常采用蒙特卡洛方法。由于每次实现都涉及独立的有限元分析，计算成本可能迅速变得难以承受。这一局限性促使了代理模型的发展，以近似从随机输入到结构响应的映射。

各种代理建模方法，包括多项式混沌展开[1]、[2]、[3]和高斯过程回归[4]，已被开发用于降低随机分析的计算成本。近年来，深度学习（DL）因其强大的高维非线性映射逼近能力而在此领域得到广泛应用。对于空间分布的随机输入，卷积神经网络（CNN）被广泛用于提取空间特征，并将复杂几何形状和材料微观结构直接映射到高分辨率响应场。Saha 等人[5]使用深度 3D U-Net CNN 代理模型将两相复合材料微观结构映射到局部弹塑性应力和应变场。Jiang 等人[6]使用 CNN 从 3D 随机土场中提取特征，并建立了预测冲击荷载下管道损伤的高效代理模型。Lin 等人[7]开发了基于 CNN 的相场代理模型，用于高效预测随机准脆性材料中的断裂和损伤演化。

基于序列的模型，如循环神经网络（RNN）和长短期记忆（LSTM）网络，已被广泛用于捕捉非线性结构响应中的时间依赖性和历史依赖性特征。Zhang 等人[8]将 LSTM 和 Transformer 模块整合在一起，以预测主震-余震序列下的桥梁响应和抗震韧性。Zhai 等人[9]将 Bouc–Wen 滞回模型融入 RNN，以再现钢筋混凝土柱的非线性力-变形行为。

视觉 Transformer（ViT）提供了一种替代框架，通过自注意力学习空间关系，使其能够捕捉超越局部感受野的长距离依赖关系。这种能力有助于表示复杂物理系统中的全局空间相互作用。Wang 等人[10]结合 Swin Transformer 和 MaskFormer 架构，用于桥梁构件和混凝土损伤的像素级识别。在细观力学中，Wang 等人[11]提出了一种基于 ViT 的模型 Micrometer，直接学习从材料微观结构到全场应力响应的映射，与传统数值模拟相比，计算成本大幅降低。

除了代理架构之外，近期研究还关注不确定性本身的表示和传播。Bonnet-Eymard 等人[12]将物理信息神经网络与多项式混沌展开相结合，用于随机场传播，而 Shi 等人[13]使用梯度增强贝叶斯神经网络进行非线性不确定性传播。Wang 等人[14]从不完整概率数据中表征了黏土力学参数的各向异性空间变化，Song 等人[15]利用多源不完整数据开发了黏土参数的多元概率模型。对于大型混凝土结构，Liang 等人[16]使用随机有限元分析量化了空间几何缺陷引起的钢筋混凝土冷却塔承载力降低。这些研究强调了真实的不确定性表征和高效预测由此产生的随机结构响应的重要性。

尽管取得了这些进展，SFEM 中的深度学习代理模型通常仍使用决定系数（R2）、平均绝对误差（MAE）和均方根误差（RMSE）进行评估。这些指标量化了整体预测精度，但关于代理模型是否保留了随机实现之间的响应差异所提供的信息有限。因此，一个模型可能达到有利的传统精度指标，同时产生的响应集合的离散度明显小于相应的 SFEM 结果。这种变异性的丧失对于不确定性量化和可靠性分析尤其相关，因为结构响应的离散度和尾部本身就是感兴趣的量。

一个相关问题可能源于点估计训练，即与响应相关的信息没有被学习到的表示完全保留。在平方误差损失下，最优预测对应于条件均值，而绝对误差损失针对的是条件中位数。然而，对于本文考虑的 SFEM 问题，一旦完整的随机场实现被指定，结构响应就是确定性的。因此，不同的随机样本本质上不需要平均化。然而，如果不同的随机场实现被映射到区分度不足的内部表示，它们的响应差异可能会减弱，产生的预测可能趋向于相似的中心响应。我们将这种严重的集合级响应变异性丧失称为回归模式坍塌（RMC）。该术语是类比于生成建模中的模式坍塌使用的，因为两者都涉及输出多样性的大幅减少，尽管底层问题不同：RMC 发生在配对的确定性回归中，不需要多模态目标分布。在本研究中，条件平均被视为 RMC 的一种可能机制，欠离散是其主要的集合级表现，过度平滑是可能的曲线形状表现。

我们在两个力学上截然不同的问题中研究 RMC：单向拉伸下混凝土的相场断裂和 U 形钢筋混凝土剪力墙的循环响应。使用传统精度指标以及 SDR 和 WDR 对 CNN-RNN、CNN-LSTM、ViT 和 CNN-KAN 进行评估，以检查预测精度和响应多样性保留。进一步考察学习率、批大小、训练集大小和点估计损失的影响，以评估观察到的多样性丧失在常见训练配置下是否发生变化。本研究的主要贡献在于识别和定量表征深度学习 SFEM 代理模型中严重的集合级随机响应变异性丧失，这在使用传统精度指标单独评估模型性能时可能很大程度上被掩盖。

章节片段

问题定义与案例概述

本研究制定了一个代理建模回归任务，用于量化由材料空间异质性引起的结构响应变异性。具体来说，该任务将 2D 材料随机场映射到高度非线性的宏观响应曲线。与传统的确定性评估不同，该任务考察深度学习模型在复杂随机场输入下能否保留预测多样性。为确保严格的评估，选取了两个具有不同

深度学习模型

使用四种深度学习架构将 2D 随机场映射到非线性响应曲线。CNN-RNN、CNN-LSTM 和 CNN-KAN 共享一个 CNN 编码器[35]，用于提取空间特征，随后是 RNN、LSTM 或 Kolmogorov–Arnold 网络（KAN）解码器。ViT 作为非卷积的替代方案，通过自注意力直接从图像块中学习空间关系。

确定性性能与 RMC 的出现

为评估四种深度学习模型的基础预测能力，我们首先利用传统的确定性指标：R2、MAE 和 RMSE。计算公式如下：$$$$$$$$$$$$其中$$为预测值，$$为对应的 SFEM 参考值，$$为 SFEM 参考响应值的均值，$$为数据点的数量。

表 5 和表 6 显示，所有四种模型在两种情况下都实现了高的点预测精度。图 14 中的代表性预测

RMC 的进一步分析

第 5 节检查观察到的多样性丧失在几种常见训练选择下是否发生变化，然后讨论可能的架构相关解释。比较涵盖了学习率、批大小、训练集大小和损失函数的选定值；它们并非打算作为完整的敏感性研究。因为我们没有直接检查训练模型的内部表示，所以架构讨论被框定为假设而非已建立的机制。

结论

本研究使用两个力学上截然不同的案例——单向拉伸下混凝土的相场断裂和 U 形钢筋混凝土剪力墙的循环响应——调查了用于随机结构响应预测的深度学习代理模型中的 RMC。对四种代理架构 CNN-RNN、CNN-LSTM、ViT 和 CNN-KAN 在预测精度和随机响应变异性保留方面进行了评估。主要结论如下：

• (1)
  CNN-RNN、CNN-LSTM 和 ViT 实现了高的

CRediT 作者贡献声明

Yanping Liang：写作 – 审阅与编辑，方法论，调查。Shixue Liang：写作 – 审阅与编辑，监督，项目管理，资金获取，概念化。Xing Lin：写作 – 原稿，验证，软件，方法论，形式化分析。Xiaodong Xu：写作 – 原稿，验证，软件，方法论，形式化分析，概念化。Yuanyuan Zeng：写作 – 审阅与编辑，验证，数据管理

数据可用性声明

支持本研究结果的部分或全部数据、模型或代码可通过合理要求向通讯作者获取。

利益冲突声明

? 作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

本研究得到中国国家自然科学基金（基金号：LY22E080016）、国家自然科学基金（基金号：51808499）、浙江科技大学基本研究基金（基金号：24052126-Y）以及土木工程防灾减灾国家重点实验室访问学者基金（基金号：SLDRCE25-F-10）的支持。

Xiaodong Xu|Xing Lin|Yuanyuan Zeng|Yanping Liang|Shixue Liang