基于图的物理响应预测与深度强化学习的地下洞室开挖顺序自动化优化方法

《TUNNELLING AND UNDERGROUND SPACE TECHNOLOGY》：Automated optimization of underground cavern excavation sequences via deep reinforcement learning with graph-based physical response prediction

　　

## 基于图结构的洞室群开挖顺序优化框架（Auto-Exca）

- 采用图结构对洞室群开挖顺序进行优化建模。
- 利用融合图神经网络（GNN）准确预测物理响应。
- 双阶段奖励机制兼顾施工可行性与洞室稳定性。
- Auto-Exca 减少了开挖阶段数并提升了稳定性。

### 引言

可再生能源的开发与应用已成为构建脱碳化能源体系的关键路径之一。凭借其高效性和经济性，水电是可再生能源的重要组成部分（IHA, 2025）。2024年，水电贡献了约4578太瓦时（TWh），占全球发电量的14%，接近所有可再生能源电量的二分之一（IEA, 2024）。因此，积极发展水电已成为全球能源转型战略中的重要政策优先事项，特别是在发展中国家（Hussain et al., 2019）。然而，全球超过三分之二的潜在水电资源分布于喜马拉雅地区，这得益于其独特的地形和水文条件（Xu et al., 2023）。在多次构造事件的叠加作用下，该地区形成了典型的高山峡谷地貌（Ghosh and Holt, 2012）。为确保发电机组稳定运行，地下洞室群通常被用作水电项目的主要发电结构（Liu et al., 2024a; Liu et al., 2024b; Shi et al., 2022; Song et al., 2016）。中国水电和抽水蓄能深部地下基础设施的迅速扩张，进一步凸显了施工前预测评估的必要性（Jiang et al., 2026）。因此，确保此类洞室群的安全施工已成为释放全球水电潜力和加速脱碳化能源体系转型的核心工程挑战。

与隧道等地下结构不同，地下洞室群通常由多个大跨度洞室以紧密间距排列组成，以满足发电功能需求。连同母线洞和尾水洞等狭窄结构，它们构成了一个高度复杂、空间交错相互关联的系统，其中多阶段开挖扰动相互叠加，共同影响稳定性（Duan et al., 2021; Wang et al., 2023; Zhao et al., 2022）。在高地应力和复杂地质条件下，不同的开挖顺序会导致应力集中、围岩变形和破坏程度出现显著差异。不合理的顺序甚至可能引发岩爆、剥落和坍塌等工程灾害（Hu et al., 2024; Li et al., 2020; Xiao et al., 2016）。因此，优化开挖顺序对于确保施工安全和降低工程风险至关重要。然而，洞室群开挖涉及多种空间结构，每种结构都允许采用多种潜在的分层开挖方案，由此产生了一个庞大的解空间，这构成了优化的根本性挑战。

传统的基于经验的设计方法在一定程度上可以改善施工稳定性，但它们从根本上依赖于工程师的主观判断和对历史案例的类比，难以系统评估各种开挖顺序在复杂地质条件下对岩体稳定性的差异影响（Sharifzadeh et al., 2013）。数值评估方法可以模拟整个开挖过程，并定量分析开挖后的变形、应力和塑性区分布。然而，对庞大的潜在洞室开挖顺序进行穷尽式数值评估在计算上是不可行的。一些研究人员对大量历史地下洞室开挖程序进行了统计分析，提出了不同地应力水平下的优先规则，但这些发现仍停留在宏观判断层面（Liu et al., 2021）。代理辅助优化为那些候选方案评估依赖于昂贵数值模拟的问题提供了一种成熟的方法。通过在搜索过程中引入计算高效的代理模型，这些方法可以减少优化过程中所需的高保真度评估次数（Liu et al., 2024a; Liu et al., 2024b）。在地下工程中，代理模型也已与数值模拟结合用于TBM导向和逐步开挖诱发的响应快速预测（Nini? et al., 2017; Zheng et al., 2023）。近年来，一些研究将机器学习与元启发式算法相结合，用于优化洞室或隧道的开挖设计（Jiang et al., 2019; Kashani et al., 2021; Zhang et al., 2022）。近期研究还开发了数字孪生和建筑信息建模（BIM）框架，以整合地质信息、数值分析、监测数据和施工过程，用于地下洞室评估和设计（Sharafat et al., 2025; Sharafat and Tanoli, 2026; Tanoli et al., 2025）。相关的数字孪生和BIM研究还涉及了地下施工爆破设计和隧道信息建模（Muhammad Waleed et al., 2024）。相关工作还扩展了此类集成数字化工作流至隧道掘进机设计和组装规划（Sharafat et al., 2026）。基于学习的组合优化提供了另一种相关范式，即利用数据或奖励信号在反复出现的结构化问题上学习决策（Cappart et al., 2023）。然而，开挖顺序规划是一个动态组合优化问题，其中每个决策都会改变后续状态、可行操作和工程约束。将传统优化器应用于此问题需要专门的序列编码、约束处理和可行性修复机制，而强化学习可以通过顺序交互和延迟奖励学习状态相关的策略。在大多数情况下，基于数值模拟的方案筛选仍然是最常见的研究途径（Chen et al., 2024; Li et al., 2022）。尽管取得了这些进展，但在施工前对相互关联的洞室群进行完整开挖顺序自动规划方面，关注仍十分有限。一个关键的研究空白是缺乏一个集成框架，该框架能够更新动态工程约束、快速评估每个候选序列的最终岩体响应，并利用这些信息指导顺序决策。

深度强化学习（DRL）在处理具有复杂约束的大规模离散决策空间方面已显示出显著优势。它通过智能体与环境的迭代交互学习策略（Mnh et al., 2013; Mnh et al., 2015），使决策能够适应状态转移和延迟奖励，而无需枚举所有可能的操作序列。其有效性已在机器人控制、游戏系统和组合优化领域得到验证（Bello et al., 2017; Lillicrap et al., 2019; Zolman et al., 2025）。在建筑工程领域，DRL已被应用于项目进度优化（Yao et al., 2024; Zhang et al., 2025）、施工机械控制（Sun et al., 2026; Zhu et al., 2023）和资源分配（Lin et al., 2025; Soleymani et al., 2024）。尽管一些研究人员已将DRL应用于隧道开挖策略优化并验证了其在地下工程中的可行性（Erharter et al., 2021），但那些工作主要涉及单一隧道面的开挖方法选择，未涉及多个相互关联空间的顺序决策。此外，开挖过程中的物理响应（如隧道变形和应力演化）未被纳入决策框架。近期研究还进一步将强化学习应用于变化地质和运营条件下的盾构机运行和刀具更换决策（Cao et al., 2024; Hansen et al., 2024）。与隧道结构不同，洞室群固有的复杂拓扑和空间耦合关系难以使用固定维度的特征向量来捕捉。图神经网络（GNN）凭借其处理不规则拓扑结构的能力，已在分子结构表示和建筑行为预测中得到有效验证（Ali et al., 2025; Buterez et al., 2024; Wang et al., 2025）。近期的图神经网络代理模型也已展示了在地下结构中快速预测多个响应场的能力（Wu et al., 2026）。洞室之间的空间邻接关系和开挖状态的演化可以通过图结构自然表示。这为强化学习智能体在开挖顺序规划中提供了更具表达力的状态表示。

本研究提出了Auto-Exca，一个用于在施工前规划地下洞室群开挖顺序的智能框架（图1）。该框架包含两个独立训练的部分。首先，利用FLAC3D生成的数据集训练一个时空图代理模型，该模型从完整的开挖序列预测19个物理响应变量。训练完成后，代理模型的参数保持固定，在强化学习期间提供快速的稳定性评估。随后，一个深度Q网络基于当前图状态和工程约束，通过连续决策生成完整的开挖序列。因此，开挖问题被表述为一个具有图状态的马尔可夫决策过程。主要贡献如下：

（1）采用图结构来编码地下洞室群的复杂空间构型，将不规则几何和约束关系转化为统一且可计算的表示形式。这为将GNN应用于物理响应预测和强化学习状态感知奠定了基础。

（2）提出了用于物理响应预测的时空图代理模型。通过整合三类互补特征——时间演化、静态空间关联和动态邻域交互——该模型实现了对19个涵盖变形、应力和塑性区指标的物理响应变量的快速准确预测。

（3）设计了一种双阶段奖励机制，将逐步反馈与回合结束时的物理响应评估相融合。这使得深度Q网络能够在满足高程依赖、空间邻接等工程约束的同时，主动优化岩体稳定性指标，实现施工可行性与结构安全性的联合优化。一种轻量级经验回放表示仅存储已开挖层编码和全局特征，减少了图状态的存储需求。

（4）该框架利用实际抽水蓄能电站地下洞室群的工程数据进行了验证，并以遗传算法和贪心策略作为优化基准。与工程设计方案的比较以及梯度显著性分析证明了Auto-Exca在减少开挖决策步骤、改善大多数评估稳定性指标以及恢复工程模式（如优先开挖主洞室）方面的有效性。

### 章节摘要

#### 问题建模与数据框架

本研究提出的框架以当前在建的抽水蓄能电站洞室项目作为实际案例进行开发。三维模型构建、地质环境和数值模拟参数均参考该项目的实际工程条件。本节介绍项目概况、开挖数值模拟过程和洞室群表示方法，三者共同建立了……

#### 时空图代理模型

时空图代理模型用于计算DRL框架中的终端稳定性奖励，其预测精度可能会影响候选方案的排序。地下洞室群的开挖过程既是一个顺序问题，也涉及复杂的空间拓扑关系。不同的开挖顺序会产生不同的物理和力学响应，但每一层开挖对最终响应的影响并不……

#### 时空图代理模型的性能

时空图代理模型用于作为耗时数值模拟的替代，快速评估开挖方案的稳定性指标，为强化学习训练提供快速反馈。该模型在2.2节构建的数据集上进行训练，经过600个训练轮次后收敛。图7展示了测试集上19个目标变量的预测结果，横轴表示真实值，纵轴表示……

#### 优化序列的工程解释

强化学习智能体生成的优化方案与传统工程设计方案在宏观战略层面存在一定的趋同，两者都遵循优先开挖主洞室、延后辅助洞室的基本原则。主厂房、主变压器洞和尾水调压室的开挖顺序在早期阶段基本一致，同步启动，而母线洞等小型辅助洞室则……

#### 适用性与局限性

所提出框架最直接的价值在于初步设计和施工前规划阶段快速生成和比较候选开挖顺序。传统方法依赖过往工程经验和数值验证，既耗时又难以覆盖方案空间。在所研究项目中，该框架生成了数百个候选方案，并识别出一个更加紧凑的开挖序列，其各项变化表现良好……

### 结论

本研究提出了Auto-Exca，一个整合时空图代理模型的深度强化学习框架，用于地下洞室群的自动开挖顺序优化。大跨度洞室群由多个相互关联的洞室组成，其实际开挖过程面临复杂的空间拓扑和叠加多阶段开挖扰动。庞大的顺序解空间、动态更新的工程约束以及缺乏一个……

### CRediT作者贡献声明

宋泽宾（Zebin Song）：撰写——审阅与编辑、撰写——初稿、方法论、调查、形式化分析、概念化。

江全（Quan Jiang）：撰写——审阅与编辑、指导、资源、资金获取、概念化。

刘剑：可视化、验证、数据整理。樊全：软件、调查研究、正式分析。巩峰强：撰写 – 审阅与编辑，方法论。赵军：撰写 – 审阅与编辑，验证。利益冲突声明：作者声明无已知的存在冲突的财务利益或个人关系可能影响本文所报告的工作。致谢：本研究得到了国家自然科学基金、湖北省自然科学基金优秀研究团队项目以及中国电力关键技术研究项目的支持。宋泽宾 | 蒋全 | 刘剑 | 樊全 | 巩峰强 | 赵军