从搜索到提取：一种用于结构可靠性分析的强化学习方法

《ADVANCED ENGINEERING INFORMATICS》：Search-to-Extraction: A reinforcement learning approach for structural reliability analysis

结构可靠性分析中，传统实验点选择方法存在模型依赖性强、计算成本高、高维空间适应性差等问题。本文提出的Search-to-Extraction（STE）方法采用强化学习框架，通过连续状态-动作表示避免网格离散化缺陷，结合显式搜索-提取策略提升收敛性和可解释性，并利用异步并行计算优化效率。数值案例表明，STE在2维基准测试中减少87%计算时间，在50-100维问题中保持近线性时间复杂度，且在航空航天高维应用（58维）中相比传统主动学习和贝叶斯强化学习方法，调用代理模型次数减少25%-63%的同时保持更优精度（0.33%-4.08%）。

　　

Baiyang Zheng|Jiongran Wen|Yiping Sun|Chen Li|Yat-Sze Choy|Chengwei Fei

摘要

结构可靠性分析广泛采用替代模型来降低计算成本，其中实验点的选择对分析的准确性至关重要。现有的实验点选择方法存在一些局限性，包括对特定替代模型的依赖性、过度调用替代模型、对模型拟合偏差的敏感性以及在高维空间中的较差可扩展性。本文提出了一种强化学习方法——Search-to-Extraction（STE），该方法能够学习出最优的实验点选择策略。STE方法通过定义连续的状态-动作表示来规避基于网格的方法所固有的维数灾难；采用显式的搜索-提取策略以提高收敛速度和可解释性；并采用异步并行框架来提升计算效率。通过将状态表示为单个点而非离散化的网格，STE利用基于梯度的策略更新直接选取样本，从而保持维度稳定性并避免不必要的替代模型调用。四个数值案例验证了STE的优越性能：在二维基准测试中，使用Kriging和ANN替代模型时，STE的误差率为0.33-0.42%，仅需79-82次极限状态函数（LSF）调用，计算时间减少了87%；在五维和十维问题中，仅需102-145次调用，误差率为0.33-0.73%，同时保持了接近线性的计算效率；在航空航天应用中（最多58维），STE的调用次数比主动学习和贝叶斯强化学习基线方法减少了25%-63%，同时实现了更高的准确性（误差率为0.99-4.08%）。STE为复杂的工程可靠性分析提供了一个高效的、与模型无关的框架。