基于神经网络模型的高效强化学习方法，通过截断与并行滚动策略实现城市排水系统控制

《Water Research》：Efficient reinforcement learning for urban drainage control via a neural network-based model using truncated and parallel rollouts

　　张志宇|田文冲|廖振良|袁志国

摘要
强化学习已被越来越多地应用于城市排水网络的实时控制智能体训练，但由于需要大量的滚动模拟来生成控制经验，其训练成本非常高。虽然可以使用快速替代模型来加速强化学习训练，但多步自回归预测过程中误差会不断累积，从而为强化学习训练提供的经验数据带来偏差，导致控制策略不可靠。本文提出了一种基于神经网络模型的截断并行滚动框架，通过有限时间范围的滚动模拟来控制误差累积，并同时并行生成控制经验，从而实现高效且可靠的强化学习训练。该框架在两个污水网络的强化学习应用中得到了验证，通过与传统基于物理模型的强化学习方法进行对比，评估了其训练效率和控制性能。研究结果表明，基于神经网络模型的强化学习能够保持可靠的训练效果，生成的控制策略在基于物理模型的评估中依然有效，且控制性能可与后者相媲美；而在采用GPU并行计算架构后，智能体训练时间可减少30倍以上。基于神经网络模型的强化学习所采用的截断滚动时间范围是经过精心设计的，旨在平衡模型误差的累积与水力响应的延迟。实验表明，这种截断并行滚动框架使得强化学习更适用于流域规模排水网络的实时控制。

引言
实时控制技术能够优化流量控制设备（如泵和阀门）的在线运行，提高城市排水网络的使用效率，进而减少污水溢出和洪水灾害（Garcia等人，2015；Webber等人，2022；Yuan等人，2019）。强化学习作为一种新兴的实时控制方法，能够根据状态观测值训练智能体以实现实时决策（Bowes等人，2022；Mullapudi等人，2020；Tian等人，2022）。通常，基于物理模型被用作强化学习的环境，通过滚动模拟为智能体训练生成控制经验（Negm等人，2024）。研究表明，通过强化学习训练得到的控制智能体具有可解释性（Tian等人，2023）且稳定性强（Zhang等人，2022），非常适合用于城市排水网络的实时控制。

尽管强化学习在在线决策效率方面表现优异（Huang等人，2025），但其训练过程极其耗时，这限制了其在复杂实时控制任务以及流域规模排水网络中的应用（He等人，2025）。Mullapudi等人（2020）报告称，即使使用高性能计算集群，训练一个用于控制包含10条管道和4个蓄水池的小型基准雨水网络的强化学习智能体也需要近两个月的时间。导致训练效率低下的有两个主要原因。首先，作为环境模型的基于物理模型计算量巨大，因为需要在每种控制策略下为整个网络求解圣维南方程（Garzón等人，2022）。其次，虽然基于神经网络的强化学习智能体能够在图形处理单元上实现并行决策，但当其与基于CPU的基于物理模型结合使用时，会存在较大的设备通信延迟，这会影响强化学习训练的滚动模拟效率。

深度学习已被用于捕捉污水管内的流动动态，由此产生了基于神经网络的模型，这些模型在基于物理模型生成的数据上进行训练，作为基于物理模型的替代模型（Fu等人，2022；Garzón等人，2022）。这类基于神经网络的模型凭借其轻量级的架构和GPU并行处理能力，加速了城市排水网络的建模速度（Palmitessa等人，2022；Zhang等人，2024），并且已被整合到模型预测控制系统中（Luo等人，2023；Zhang等人，2026）。然而，与模型预测控制中的直接多步预测不同，当这些模型被用作强化学习的环境时，它们通常用于水力状态的自回归预测，即过去的预测结果作为后续步骤的输入（Zandsalimi等人，2025），如公式1所示。这种自回归实现方式符合常见强化学习方法所要求的马尔可夫转移形式（Sutton和Barto，2018）。

s^t+T=P^(?P^(P^(st,at),at+1)?,at+T?1)T

模型の逐次呼び出し

基于神经网络模型的s^t+1=P^(st,at)利用当前状态st和动作at来预测下一步状态s^t+1。随着T次连续预测的进行，模型误差δt+1=s^t+1?st+1会不断累积，因为不精确的状态估计s^t+1会被递归地用作后续步骤的模型输入s^t+2=P^(s^t+1,at+1)，从而导致误差δt+1,…,δt+T累积到强化学习经验的奖励评估中（Talvitie，2014；Tian等人，2022）。这类有偏的奖励可能会在强化学习训练过程中误导智能体，从而导致控制策略不可靠。因此，基于神经网络模型的强化学习面临的一个核心挑战就是防止预测误差的累积影响训练经验的质量。

在此，我们提出了一种简单而有效的方法，用于解决基于神经网络模型的强化学习在实时控制城市排水网络时的误差累积问题：一种截断并行滚动框架，该框架能够提升数据质量并提高训练效率。这一框架受到模型预测控制中有限时间范围原则的启发，通过限制基于神经网络模型的预测在有限时间内使用，而非针对整个降雨事件，从而控制误差的累积，保持为强化学习训练生成的控制经验的准确性。通过将基于神经网络模型的模型和基于神经网络的控制智能体集成到基于GPU的工作流程中，该框架可以并行生成控制经验，大幅加快强化学习训练的速度。我们在两个污水网络的强化学习应用中展示了该方法，训练出的控制智能体用于调节蓄水池的出水口或泵站，目的是减轻洪水泛滥和溢出现象。我们还研究了滚动时间范围的选择问题，这涉及到基于神经网络模型误差增长与水力响应延迟之间的权衡，以确定基于神经网络模型的强化学习的可靠应用范围。在本研究中，基于神经网络模型的强化学习的可靠性并不意味着它比基于物理模型的强化学习更优，而是指其能够限制由误差引起的策略性能下降，保持与基于物理模型的强化学习相当的控