一种用于障碍问题最优控制的单循环双层深度学习方法

《Neural Networks》：A Single-Loop Bilevel Deep Learning Method for Optimal Control of Obstacle Problems

　　

• 一种用于障碍物问题最优控制的新型双层深度学习框架。
• 约束嵌入网络强制执行状态和控制的可容许性。
• 在温和假设下进行了收敛性分析。
• 在不同设置下实现了令人满意的精度和效率。
• 无网格学习可处理高维度、不规则障碍物和复杂区域。

引言
作为一类基本的非光滑非线性问题，障碍物问题出现在多种应用中，这些应用中必须满足某些障碍物约束。例如，弹塑性扭转问题（Glowinski, 2015）、弹性薄膜变形（Glowinski, 2008）、润滑现象（Cryer, 1971）、多孔介质渗流（Kinderlehrer 和 Stampacchia, 2000）、尾流问题（Bourgat 和 Duvaut, 1977）、无旋完美流体流动（Brezis 和 Stampacchia, 1976），以及美式期权定价（Jaillet 等人, 1990）。除了对障碍物问题进行数值模拟之外，人们还常常有兴趣对其进行控制，以实现特定目标。因此，障碍物问题的最优控制在各个领域中出现，其中引入控制量将系统引导至预定目标（Barbu, 1984）。此类最优控制问题涵盖了许多领域中的重要应用，并在 Barbu (1984)；Bergounioux (1997)；Bergounioux 和 Lenhart (2004)；Hintermüller (2008)；Hintermüller 等人 (2014)；Hintermüller 和 Kopacka (2011)；Hintermüller 等人 (2015)；Hintermüller 和 Surowiec (2016)；Ito 和 Kunisch (2007)；Meyer 等人 (2015)；Meyer 和 Thoma (2013)；Mignot (1976)；Mignot 和 Puel (1984)；Schiela 和 Wachsmuth (2013)；Surowiec (2018) 中得到了深入研究。

由于固有的非凸性和不可微性，障碍物问题的最优控制在理论和算法方面都面临重大挑战。例如，控制到状态算子的不可微性使得全梯度计算变得复杂，需要借助变分分析和逼近理论的某些工具来应对这一困难（Mignot, 1976, Surowiec, 2018）。此外，障碍物约束是非光滑的，并产生一条自由边界，跨越该边界解通常缺乏正则性。而且，这条自由边界可能与有限差分（FDM）或有限元（FEM）方法中的网格线不一致。因此，数值解可能遭受显著误差，特别是在自由边界附近；参见，例如，De Los Reyes (2018)；Friedman (2010)。

从计算角度来看，这些挑战凸显了开发可扩展算法的必要性，这些算法避免反复求解离散化产生的大型病态代数系统，并在不同问题设置中保持稳健性。一般而言，高效算法的开发需要仔细考虑所研究问题的特定结构和特征。

我们考虑可以建模为以下形式的障碍物问题的最优控制：
min_{y∈Y, u∈U} J(y,u)，s.t. y = argmin_{y'∈Y_ad} E(y',u), u∈U_ad。
其中，Y 和 U 是 Hilbert 空间，J: Y×U→R 是目标泛函，y∈Y 和 u∈U 分别是状态和控制。障碍物约束 y∈Y_ad 和控制约束 u∈U_ad 对 y 和 u 施加了实际限制，其中 Y_ad?Y 和 U_ad?U 是非空、凸、闭的可容许集。状态 y 由障碍物问题控制，定义为对于给定控制 u∈U_ad，能量泛函 E: Y×U→R 在 Y_ad 上的唯一最小值点（Mignot 和 Puel, 1984）。这种结构导致了双层问题：
• 下层：对于固定的 u，找到 y∈Y_ad，使得 E(y,u) 最小。
• 上层：找到最优控制 u*∈U_ad，使得对 (y*, u*) 最小化 J(y, u)，其中 y* 是以 u* 为控制的障碍物问题的解。

从物理角度来看，下层问题模拟了在给定控制下系统的平衡，而上层问题寻求一个控制，将这种平衡引导至期望目标。

注意，(1) 中的双层公式是本质性的，而非可选的。事实上，对于每个可容许控制 u∈U_ad，相应的状态 y 隐式地定义为障碍物问题的解，即 E(y,u) 在 Y_ad 上的最小值点。由此障碍物问题诱导的解算子通常是不可微的，这阻止了直接消去下层问题。

文献中提出了各种数值方法来处理问题 (1)。这些方法一般可分为两类。第一类通过惩罚项或松弛技术对障碍物问题进行平滑化处理，参见，例如，Hintermüller, Kopacka, 2009, Hintermüller, Kopacka, 2011；Hintermüller 等人 (2015)；Schiela 和 Wachsmuth (2013)。虽然这些方法有效地缓解了解算子的不可微性，但它们的数值实现需要求解一系列近似子问题，从而显著增加了整体复杂度。此外，这些方法不能保证严格执行障碍物约束 y∈Y_ad。第二类使用非光滑优化工具来处理问题 (1)，例如次梯度和广义微分方法（Hintermüller, 2008, Hintermüller, Surowiec, 2016, Surowiec, 2018）。这些方法在每次迭代中需要求解一个障碍物问题，通常使用半光滑 Newton 或多重网格技术。关于求解 (1) 的数值方法的详细讨论可在 Surowiec (2018) 中找到。

两类方法都依赖于基于网格的离散化技术，如 FDM 或 FEM，这产生了大规模的代数系统，且通常病态。求解此类系统通常需要结合精心设计的预条件策略的高级数值求解器，这可能导致显著的 computational 和内存开销，特别是对于精细网格、复杂几何或高维问题。因此，这些方法通常仅限于低维问题，难以扩展到高维设置或复杂区域。虽然已经提出了自适应有限元方法来减少自由度（Brett, Elliott, Hintermüller, L?bhard, 2015, Gaevskaya, Hintermüller, Hoppe, L?bhard, 2014, Hintermüller, Hoppe, L?bhard, 2014, Meyer, Rademacher, Wollner, 2015），但由于主动区和非主动区之间不断变化的自由边界，使得网格细化策略变得复杂，其实际实施仍然具有挑战性。

近年来，深度学习技术在计算数学领域取得了显著成功，特别是在求解偏微分方程（PDE）方面。这些方法利用了深度神经网络（NN）的万能逼近能力（Cybenko, 1989, Hornik, 1991, Hornik, Stinchcombe, White, 1989），实现了无网格解，在高维设置和复杂区域中具有高效性。显著的方法包括物理信息神经网络（PINN）（Raissi 等人, 2019）、深度 Ritz 方法（E 和 Yu, 2018），以及深度 Galerkin 方法（Sirignano 和 Spiliopoulos, 2018）。

基于这些进展，最近的努力试图利用深度学习来求解障碍物问题，参见，例如，Alphonse 等人 (2024)；Cheng 等人 (2023)；Combettes 和 Pesquet (2020)；Darehmiraki (2022)；El Bahja 等人 (2025)；Gao 等人 (2025)；Zhao 等人 (2022)。注意，这些方法专门针对障碍物问题而设计，但并未解决最优控制问题 (1)，其中障碍物问题作为约束出现。同时，用于偏微分方程最优控制的深度学习方法已在 Barry-Straume 等人 (2025)；Cao 等人 (2025)；Hao 等人 (2023)；Lai 等人 (2025)；Lu 等人 (2021)；Mowlavi 和 Nabi (2023)；Song 等人 (2024a) 中进行了探索。虽然深度学习在障碍物问题和偏微分方程最优控制方面都取得了显著成功，但将现有深度学习方法直接应用于障碍物问题的最优控制是不切实际或低效的，这将在第 2.2 节中证明。

我们提出了一种用于求解问题 (1) 的双层深度学习框架。首先，我们设计了约束嵌入神经网络来逼近 u 和 y。这些网络严格执行约束 y∈Y_ad 和 u∈U_ad，无需惩罚项或主动集识别。基于这些网络逼近，我们制定了一个有限维随机双层优化问题，以无网格方式近似 (1)。

为了解决所生成的随机双层优化问题，我们开发了单循环随机一阶双层算法（S2-FOBA），它能够实现网络的效率训练，并提供几个显著优势。首先，它不需要下层单点假设，而下层网络参数化问题高度非凸，因此通常违反该假设。其次，S2-FOBA 本质上是随机的；它在每次迭代中通过蒙特卡洛采样使用小批量来近似 J 和 E 中的积分，这加速了训练并缓解了过拟合到固定点集的问题。此外，S2-FOBA 采用单循环结构，且仅需要一阶梯度信息，使其在计算和内存方面都是高效的。最后，S2-FOBA 的收敛性在温和假设下进行了分析，保证了训练过程的数值稳定性。相比之下，Hao 等人 (2023) 的方法不包含收敛性分析，且仅在确定性设置中提供了误差估计，这不适用于实际随机设置。而且，其有效性需要下层问题的强凸性，这是一个限制性假设，并且它需要在每次控制更新时求解一个大型线性系统，导致更高的计算成本。

所提出的双层深度学习方法保留了 (1) 的固有双层结构，而不是将问题公式化为上层和下层目标的加权组合。关键在于，这种加权公式忽略了状态 y 对控制 u 的严格层级依赖性。因此，计算出的解在物理上往往不一致，并且对权重参数的选择高度敏感，参见第 5 节中的数值演示。与经典数值方法相比，所提出的方法不需要反复求解离散化的 PDE 相关子问题。此外，它是无网格的，因此适用于建模在高维或复杂区域中的问题。由于这些特性，该方法适用于多种最优控制设置，并自然扩展到一般椭圆变分不等式（EVI）的最优控制，如第 6 节所示。

进行了广泛的数值实验来评估所提出的方法。除了标准的二维基准算例外，数值研究还包括一个五维算例和一个提出于复杂域上的问题，证明了框架的可扩展性和几何灵活性。此外，还与广泛使用的基于离散化的主动集方法（Hintermüller, 2008）进行了比较。结果表明，所提出的方法实现了令人满意的精度、稳健的约束执行，以及与现有深度学习方法相比的优良性能。

本文的主要贡献总结如下：
• 我们提出了一种用于障碍物问题最优控制的双层深度学习框架，该框架保留了模型的固有层级结构，而不是用加权单层公式替代。
• 我们为状态和控制设计了约束嵌入神经网络，使得可容许条件通过构造强制执行，训练期间无需惩罚调优或主动集识别。
• 我们开发了单循环随机一阶算法 S2-FOBA，基于下层问题的 Moreau 包络重新公式化。该算法仅使用一阶信息，避免嵌套求解，且不依赖于下层唯一性。
• 我们在温和假设下建立了 S2-FOBA 的收敛保证，尽管下层更新不精确，仍证明了惩罚问题的效用函数下降和一阶平稳性度量的衰减。
• 我们在几个基准问题上验证了所提出的框架，包括具有规则和不规则障碍物的二维情形、一个五维算例，以及一个提出于复杂域上的问题，并将其与现有深度学习方法及基于离散化的主动集方法进行了比较。

本文其余部分组织如下。在第 2 节中，为方便后续，我们将一般模型 (1) 指定为一个具体的分布式最优控制问题，然后总结一些现有结果。接着，我们在第 3 节中引入神经网络逼近，开发 S2-FOBA 训练算法，并因此提出所提出的双层深度学习方法。S2-FOBA 的收敛行为在第 4 节中进行了分析。几个基准算例的数值实验在第 5 节中呈现。在第 6 节中，我们展示了双层深度学习方法的一些扩展。最后，我们在第 7 节中提出了一些结论性评论，并在第 8 节中讨论了可能的改进方向和未来工作。

小节片段
预备知识
本节介绍了一些基本概念，这些概念将在全工作中有用。为了固定思路，我们首先将一般模型 (1) 专门化为一个障碍问题的分布式最优控制。随后，我们总结了一些相关的现有理论结果，并讨论了当前深度学习方法在此特定问题类别中的应用。

用于求解问题 (2) 的双层深度学习方法
本节提出了用于求解问题 (2) 的双层深度学习方法。我们首先使用直接嵌入问题约束的神经网络来逼近状态 y 和控制 u。由此产生的 (2) 的逼近导致了一个以神经网络参数为公式的双层优化问题。为高效求解此双层问题，从而训练神经网络，我们开发了 S2-FOBA，一种专门为此设置设计的随机算法。

算法2的收敛性分析

本节分析算法2所产生的迭代序列的收敛行为。该分析确立了精确随机更新的控制和性能函数的下降性，从而得出定理1中的主要收敛结果，并为S2-FOBA提供了理论依据。

CRediT作者贡献声明
宋永存：审阅与编辑、监督、调查、概念设计。曾尚智：审阅与编辑、验证、监督、形式化分析。张金：监督、项目管理、方法论、资金获取。张旅刚：原始草稿撰写、可视化、验证、软件、形式化分析。

利益冲突声明
作者声明，他们没有已知的、可能会影响本文所述工作的竞争性经济利益或个人关系。

致谢
本研究由NTU启动基金、国家重点研发计划（2023YFA1011400）、国家自然科学基金（12326605，12222106，12501429）以及深圳市基础研究计划（20250530150024003）资助。

宋永存|曾尚智|张金|张旅刚