一种用于稀疏多项式混沌展开的自适应加权套索回归方法：在多源不确定性量化中的应用

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：An Adaptive Weighted Lasso Regression Method for Sparse Polynomial Chaos Expansion: application to multi-source uncertainty quantification

　　谢坤·王|焕·赵|郑刚·张|魏峰·张
西北工业大学航空学院，西安，710072，中国
摘要
作为一种高效的不确定性量化（UQ）方法，多项式混沌展开（PCE）能够缓解计算密集型模型的维度灾难问题。然而，许多稀疏PCE变体更侧重于基函数减少和训练效率，而不是重构稳定性、噪声鲁棒性和小样本泛化能力，这限制了其在高维或数据稀缺的工程环境中的实用性。本文提出了一种基于自适应加权Lasso（wLasso）的稀疏PCE构建方法。具体来说，首先通过最小角度回归等回归方法估计初始PCE系数，然后将数据驱动的自适应权重纳入凸权重?1-正则化问题，以对重要项和不相关项施加差异性收缩。通过将wLasso理论扩展到PCE，理论上证明了所提出的wLasso–PCE能够确保一致的基函数选择、渐进无偏估计和最优收敛性，并且具有明确的近似-统计误差权衡。该算法已在经典基准函数、跨音速空气动力学和音爆传播UQ问题上得到实现。与主流PCE相比，wLasso–PCE在更少的基函数项和样本量下就能达到目标精度，并且在有限数据下稳定基函数选择。借助神谕型保证和近似-统计误差分解，它形成了一个适用于高维或小样本场景的样本高效、可解释且可部署的UQ模块。

引言
在现实世界中，几乎所有工程应用都包含不同的不确定性。例如，在航空航天领域，飞机设计过程中需要考虑许多不确定性因素。在飞行过程中，诸如来流参数和飞机表面处理误差等各种因素可能导致空气动力性能急剧恶化，甚至使飞机无法使用。这促使人们发展出鲁棒优化设计概念，如用于空气动力性能和音爆强度的鲁棒优化设计。
随着计算科学的进步，使用数学模型模拟复杂的工程和物理问题变得越来越可行。例如，在结构力学中的有限元方法（FEM）和流体力学中的计算流体动力学（CFD）。然而，由于现实世界中各种不确定性的干扰，尽管计算模型的准确性不断提高，计算机模拟仍无法完全预测复杂现实世界系统的行为。不确定性可以分为模型不确定性和参数不确定性[1,2]，或随机不确定性和认知不确定性。由于模型本身固有的随机不确定性以及由知识差距引起的认知不确定性，导致模型数值解与实验观测或现实世界数据之间存在差异。因此，考虑计算模型不确定性的影响至关重要[[2], [3], [4], [5], [6]]。
在复杂的工程问题中考虑不确定性的存在是必要的。然而，如FEM和CFD这样的高保真模型具有高昂的计算成本，通过大量重复实验进行不确定性量化（UQ）是不切实际的。因此，迫切需要开发能够在较低计算成本下获得高精度随机响应模型的算法。常用的UQ技术包括蒙特卡洛模拟[7,8]、谱展开方法、扰动方法[9]、贝叶斯神经网络[10,11]等。在这些方法中，谱展开方法中的多项式混沌展开因其完整的数学理论、均方收敛性和通过计算系数获得响应矩的解析表达式的便利性而被广泛用于UQ和敏感性分析[[12], [13], [14], [15]]。然而，PCE也面临一系列挑战，包括维度灾难、对噪声的敏感性以及超参数选择的困难。PCE的计算成本随输入不确定变量的数量呈指数级增加。这些限制了PCE在实际工程问题中的应用。为了解决PCE面临的挑战，特别是维度灾难问题，出现了稀疏PCE技术[16,17]。根据 certain 标准添加基函数多项式，而不是像传统方法那样从预定义的大量集合中选择所有基函数多项式。通过减少基函数的数量，可以有效降低样本需求，提高结果的鲁棒性，并在不过度降低准确性的前提下保持模型精度。
为了获得具有随机响应的近似PCE模型，需要求解相应的PCE系数。PCE系数的计算可以分为侵入式和非侵入式方法。侵入式方法需要修改控制方程，常用的方法是Galerkin投影方法[18,19]。非侵入式多项式混沌方法不需要修改控制方程，将计算模型视为“黑箱”。只要随机输入和相应输出已知，就可以调用模型。常用的方法包括“伪谱投影[20]（积分方法）”和“随机点配置[16,17,21]（回归方法）”。投影方法利用基函数的正交性通过数值积分计算系数。随机点配置方法基于线性回归，通过最小化残差平方和来获得最优PCE响应。最常用的是最小二乘法。然而，随着随机输入维度的增加，积分方法所需的函数评估次数呈指数级增加，回归方法需要评估的样本数量也超过了PCE项的数量。这两种方法都深深的陷入了“维度灾难”。因此，需要开发能够有效缓解“维度灾难”的PCE重构方法。
为了减轻维度灾难，积分方法基于Smolyak公式[22,23]开发了一种稀疏网格方法，这对高维问题有一定的缓解效果。然而，其计算成本对于真正的高维场景来说仍然过高。回归方法也开发了基于效应稀疏原理[17]的稀疏回归方法：对于绝大多数实际物理系统，整体响应主要由低阶主效应和低阶交互效应主导，而高阶交互项对输出的贡献随阶数增加而迅速减小。因此，PCE的系数向量是稀疏的，这为稀疏回归提供了物理依据。在求解稀疏系数的方法中，找到最大稀疏性的PC表示（即?0-范数最小化）是一个NP困难问题，但可以使用贪婪算法或添加?1正则化项来解决。常用方法包括正交匹配追踪（OMP）方法[24,25]、最小角度回归（LARS）[16,26]、最小绝对值收缩和选择算子（Lasso）回归及其变体[[27], [28], [29]]。针对高维问题的高计算成本问题，许多学者进行了广泛的研究并取得了丰富的成果。学者们还开发了结合这些方法的联合方法，如前向-后向策略[30,31]。稀疏回归显著减少了估计PCE系数所需的样本数量，使其成为缓解维度灾难的有前景的方法。
此外，还有许多其他策略可以实现更稀疏和更准确的PCE重构。这些策略包括但不限于：（1）设计重加权策略以实现更稀疏的信号恢复[[32], [33], [34]]，一些学者也将其应用于PCE[35,36]。虽然重加权对于提高稀疏性有效，但它可能会引入额外的计算开销。（2）优化采样策略，使用尽可能少的样本点来恢复准确的PC系数[[37], [38], [39]]，有两篇综述文章[17,40]对采样策略进行了详细比较。自适应采样通常比随机采样表现更好，但在高维设置中可能会因采样复杂性增加而效率降低。（3）采用自适应基函数选择方法[16,35,41]来选择PCE基函数候选集。自适应性提高了准确性，但增加了算法复杂性和计算成本。（4）使用增强梯度的PCE方法，通过引入模型响应的导数或梯度信息来提高系数恢复性能[42,43]。但这种方法依赖于梯度的可用性，获取梯度可能成本较高。有时梯度信息也可能导致收敛不良。（5）利用基于核的学习技术增强PCE方法[44,45]，以更有效地处理非线性或高维问题。它扩展了PCE在更复杂模型中的适用性，但引入了需要仔细调整的额外超参数。（6）开发多保真度PCE框架，结合低成本的低保真度模拟和有限的高保真度数据来降低计算成本，同时保持准确性[46,47]。然而，它们的性能很大程度上取决于低保真度模型的质量，如果保真度相关性描述不准确，可能会引入偏差。（7）采用物理信息PCE（PC2）方法[[48], [49], [50]]，结合物理约束以提高准确性。（8）开发基于降阶/降维的PCE框架[51,52]。然而，它们的有效性依赖于准确的约束制定，并且在强非线性系统面前可能面临挑战。虽然这些策略在提高稀疏性和准确性方面展示了有希望的结果，但许多方法在计算效率、样本利用或鲁棒性方面仍面临挑战——我们的L1-正则化重加权方法旨在通过实现更高的稀疏性和更强的鲁棒性以及从有限样本中提取更多信息来解决这些挑战。
尽管这些方法为促进稀疏性提供了有价值的见解，但它们也突显了需要平衡准确性、鲁棒性和计算效率的替代方法的必要性。本文提出了一种自适应加权Lasso（wLasso）方法来进行稀疏PCE构建。首先使用普通最小二乘（OLS）、LARS或OMP等回归方法获得PCE系数的初始估计，然后构建数据驱动的权重。这些权重用于wLasso算法的凸优化问题中，以实现基函数的正确选择和系数重新估计。这种方法的优点是将理论上的Oracle属性纳入PCE构建过程，从而提高了选择的一致性，同时保持了计算效率。结果是最重要的PC项被选中，相应的系数被准确恢复。与广泛使用的稀疏回归方法（如LARS、OMP和Lasso）相比，所提出的方法产生了显著更稀疏的PCE表示，并提高了预测准确性和鲁棒性。
为了验证所提出算法的优势，本文使用多种输入分布类型的复杂解析函数以及两个具有挑战性的空气动力学应用来验证其优势：考虑大气不确定性的音爆传播分析和考虑来流不确定性的机翼表面力计算。通过与一些流行的PCE方法相比，全面评估了所提方法的性能。数值实验表明，使用wLasso构建的稀疏PCE需要更少的基函数和样本量，即使在数据有限的情况下也能实现更高的预测准确性，并表现出比其他稀疏回归方法更大的鲁棒性。
本文的其余部分组织如下。第2节介绍了PCE的公式化和系数确定的回归框架。第3节介绍了所提出的基于wLasso的稀疏PCE方法，包括其加权策略、实现程序和理论属性。第4节通过基准函数、RAE2822空气动力学测试案例和LM1021音爆传播测试案例的数值研究来检验其性能。第5节总结了主要结论并讨论了未来的研究方向。所提出的框架为高维不确定性量化提供了一种有效的方法，并在航空航天工程中的鲁棒设计和分析方面展示了有用的潜力。第一部分包括基准函数，这些函数为经典方法之间的系统比较提供了可控的设置。本研究提出了一种基于wLasso的稀疏PCE（粒子嵌入烛光）构建方法，以解决传统PCE在维度灾难、基选择不稳定性和对噪声敏感性方面的局限性。该方法首先使用OLS（普通最小二乘法）、LARS（最小absolute regression coefficients）或OMP（最优Multilinear Regularization）等回归方法获得初始估计，然后将数据驱动的权重引入到凸优化框架中，实现对系数的差异化惩罚。理论分析表明，所提出的方法能够有效改善这些问题。

CRediT作者贡献声明：
谢坤王（Shekun Wang）：撰写 – 修订与编辑、撰写 – 原始稿、可视化、软件开发、方法论、数据分析、概念化。
赵娟（Huan Zhao）：撰写 – 修订与编辑、指导、方法论、资金获取、概念化。
张正刚（Zhengang Zhang）：撰写 – 修订与编辑、数据分析。
张伟峰（Weifeng Zhang）：撰写 – 修订与编辑、数据分析。