面向气候韧性的城市雨洪系统拓扑感知与约束引导深度强化学习控制

《Frontiers in Environmental Science》：Topology-aware and constraint-guided deep reinforcement learning for climate-resilient control of urban stormwater systems

　　

摘要 引言： 城市雨洪系统日益受到极端降水事件的挑战，当系统容量超限时会导致水力超载。传统基于规则的控制（rule-based control, RBC）具有反应性，而标准深度强化学习（deep reinforcement learning, DRL）并未显式利用排水管网拓扑结构，也无法确保物理一致性控制。本研究提出了约束引导图PPO（Constraint-guided Graph-PPO, PIG-PPO），一种拓扑感知的强化学习框架，旨在改善极端降水条件下的雨洪控制。 方法： PIG-PPO将图卷积网络（graph convolutional network, GCN）状态编码器与近端策略优化（proximal policy optimization, PPO）相结合。奖励函数中引入软质量平衡残差惩罚，以鼓励物理一致性控制。该框架在20场中等设计暴雨上训练，并在30场留出极端暴雨和20场长历时季风型事件上评估。性能评估涵盖10个独立PPO随机种子，并与RBC和拓扑无关的MLP-PPO消融进行对比。此外，还进行了少样本自适应、在第二个PyStorms场景上重新训练后的跨拓扑验证，以及参数数量分析。 结果： 在10个独立PPO随机种子中，PIG-PPO相对于RBC平均溢流量减少31.2%，相对于MLP-PPO消融控制努力指标减少78.3%，Holm校正p值均低于0.001。少样本自适应使季风型事件溢流量相对于零样本迁移减少58.8%。参数数量分析表明，在1000个节点规模下，编码器尺寸优势是扁平MLP的106.69倍。然而，该结果反映的是参数效率，而非城市尺度的直接验证。 讨论： 结果表明，拓扑感知状态编码和约束引导奖励塑形能够改善雨洪控制性能，并支持对未见降水情形的适应。跨拓扑评估为该框架在初始网络配置之外的适用性提供了额外证据。然而，气候韧性意义仅限于在模拟极端降水情形下的性能表现，该情形旨在模拟与气候变化相关的增强降雨模式；未针对观测性气候预估数据集进行直接验证。

面向气候韧性的城市雨洪系统拓扑感知与约束引导深度强化学习控制——论文解读

一、研究背景与问题提出

全球范围内，气候变化导致极端降水事件的频率和强度持续增加，城市化进程中不透水地表比例不断上升，城市内涝威胁日益严峻。大量城市预计将在本世纪中叶面临超出既有灰色基础设施设计能力的降雨。水力超载的后果涵盖财产损失、交通中断，以及与合流制溢流相关的公共卫生问题和经济损失。在此背景下，城市雨洪管网实时控制（real-time control, RTC）成为扩建基础设施之外具有成本效益的替代方案，通过利用管网内现有调蓄能力，在暴雨峰值到达前协调预泄，将输送系统转化为可主动缓解洪涝的资产。

当前最常用的RTC方法是基于规则的控制（rule-based control, RBC），依赖专家经验和离线水力模拟生成的if-then启发式规则库。RBC简单且运行成本低，但本质上是反应式的，仅在阈值被超过后才触发控制动作，在暴雨峰值前缺乏主动调蓄管理的灵活性。模型预测控制（model predictive control, MPC）通过基于物理的水力预测来最小化有限时域目标，能够弥补这一不足，但在不确定性条件下，降雨临近预报误差和部分可观测的非线性地下水力过程会造成预测与实际不匹配，在极端事件中可能导致约束违反；此外，随网络规模增大，在线非线性优化日益困难，限制了城市尺度的实时实施。

深度强化学习（deep reinforcement learning, DRL）提供了数据驱动的替代方案，通过与高保真水力模拟器交互学习控制策略，无需显式预测模型，且能适应随机降雨变异性。然而，现有DRL控制器存在系统性缺陷：其一，常规DRL架构将网络状态表示为无序特征向量，丢弃了管网图中的空间信息，无法区分网络中的水力瓶颈与上游管道调蓄盈余，而这种区分对于基于当前网络状态决策至关重要；其二，标准DRL奖励设计往往仅惩罚终端溢流，未显式表征中间物理一致性，可能鼓励高频振荡执行（"抖振"）并加剧机械磨损；其三，拓扑无关策略在降水分布偏移下可能脆弱，缺乏显式结构归纳偏置。

图神经网络（graph neural network, GNN）天然适合排水管网这类由节点、汇水区和管道构成的图结构，通过沿物理边迭代消息传递，可模拟水力扰动在网络中的传播。但已有图方法在水领域的应用主要集中在开环预测而非闭环控制，将其可训练性用作DRL智能体的状态编码器，并结合约束引导奖励机制，仍显著未充分探索。文献综述识别出三个相互关联的研究空白：DRL控制器拓扑盲、DRL奖励设计中物理约束定义不完整、气候与网络泛化证据有限。

二、研究内容与主要结论

针对上述空白，研究人员提出了闭环约束引导图PPO（PIG-PPO）框架。PIG-PPO以GCN状态编码器替代扁平状态编码器，将观测到的水力状态映射到排水管网物理连通性上；奖励函数结合溢流控制、执行器平滑性和软质量平衡残差惩罚，而非将圣维南方程作为硬约束强加；训练使用强度与时间结构各异的中等设计暴雨，极端和季风型事件留出用于压力测试和自适应实验。

研究得出四项主要贡献：一是提出嵌入PPO的GCN状态编码器拓扑感知DRL控制器，在Zeta基准上相对于RBC基线平均总溢流减少31.2%；二是匹配消融研究显示，在相同奖励公式下，GCN编码器相对于拓扑无关MLP-PPO在10个独立种子上控制努力指标减少78.3%，Holm校正p值低于0.001；三是通过30场极端设计暴雨和20场长历时季风型事件进行留出气候偏移评估，少样本自适应使季风事件溢流相对零样本迁移减少58.8%；四是在第二个PyStorms场景上重新训练后进行跨拓扑验证，参数效率分析显示GCN参数共享显著限制编码器增长，城市尺度计算被解释为参数效率证据而非城市尺度部署的直接验证。

三、关键技术方法

研究人员将城市雨洪管网RTC建模为部分可观测马尔可夫决策过程（partially observable Markov decision process, POMDP），状态以图信号形式映射到物理拓扑。PIG-PPO采用两层64隐单元ReLU激活的GCN编码器，经全局均值池化生成系统级嵌入，Actor和Critic各使用两层64单元tanh全连接层。奖励函数由三部分组成：溢流项惩罚超过临界深度（0.9 m）的平方超出量；控制平滑项惩罚相邻步执行器开度绝对差；质量平衡残差项惩罚入流减出流减蓄水量变化率平方残差。训练使用PyStorms接口调用EPA-SWMM 5.1引擎，训练集为20场30–60 mm/h中等设计暴雨，极端测试集为30场70–100 mm/h暴雨，外部验证集为20场8–12小时季风型事件。训练采用Adam优化器，10个独立随机种子，学习率1×10??，折扣因子0.99，裁剪范围0.2，梯度范数裁剪0.5，奖励裁剪[?10, 10]，批大小2048，每更新10个PPO轮次。少样本自适应阶段学习率降至1×10??，使用5场季风事件进行50个训练回合微调。

四、研究结果

4.1 基线对比与消融研究

在30场留出极端暴雨上，PIG-PPO相对于RBC平均总溢流减少31.2%，10个独立种子间结果一致。匹配消融研究中，相同奖励公式下GCN编码器相对于MLP-PPO控制努力指标减少78.3%，Holm校正p值低于0.001，表明拓扑感知编码带来的性能提升具有统计显著性。

4.2 气候偏移压力测试

在30场极端设计暴雨（峰值强度70–100 mm/h）上评估极限状态行为，这些事件超出训练范围（30–60 mm/h），且均未用于策略优化。结果显示PIG-PPO在未见极端降水情形下仍保持有效控制。

4.3 少样本自适应

在20场季风型事件上，零样本迁移策略表现受限；使用5场季风事件进行少样本微调后，溢流相对零样本迁移减少58.8%，表明有限自适应能够显著改善对未见降水情形的适应能力。

4.4 参数效率分析

参数数量分析显示，在1000个节点规模下GCN编码器尺寸优势是扁平MLP的106.69倍，反映了GCN参数共享对编码器增长的显著限制作用，但该结果被明确解释为参数效率证据而非城市尺度部署验证。

4.5 跨拓扑验证

在第二个PyStorms场景上重新训练后，PIG-PPO展现出超越初始网络配置的适用性，为框架泛化能力提供了额外证据。

4.6 权重敏感性分析

通过网格搜索系统变化λ?∈[1, 10]和λ?∈[0.01, 1.0]，确认所选值（λ?=5.0，λ?=0.1）在最小化溢流体积与防止高频执行器抖振之间提供了最稳健的平衡。

五、讨论与结论

研究人员指出，拓扑感知状态编码和约束引导奖励塑形能够改善雨洪控制性能并支持对未见降水情形的适应。然而，研究存在明确局限性：气候韧性意义仅限于模拟极端降水情形下的性能，该情形旨在模拟与气候变化相关的增强降雨模式，未针对观测性气候预估数据集进行直接验证；所有实验假设理想传感条件，传感器测量无噪声、无偏差、无丢失，执行器响应瞬时无机械滞后或速率限制，性能指标反映的是完美信息条件下的架构上限能力；研究未纳入MPC基准，性能增益仅相对于被动控制、RBC和MLP-PPO等特定控制方法而言，而非声称对所有RTC方法（包括模型预测方法）的普遍优越性。研究结论为：PIG-PPO框架通过拓扑感知图编码与约束引导奖励塑形，在极端降水条件下实现了优于RBC和拓扑无关MLP-PPO的雨洪控制性能，并通过少样本自适应和跨拓扑验证展示了气候韧性与泛化潜力，但城市尺度部署仍需进一步验证。