面向服务的大型城市地铁系统洪后恢复调度的多任务深度强化学习

《International Journal of Disaster Risk Reduction》：Multi-task deep reinforcement learning for service-oriented post-flood recovery scheduling of large urban metro systems

　　

城市地铁系统（UMS）极易遭受洪水灾害，然而针对大规模地铁网络的高效且可解释的洪后恢复调度仍然具有挑战性。这一挑战源于需要在大型动作空间中协调顺序性的物理修复，并在时变起讫点（OD）需求、依赖换乘的路径选择以及地上/地下中断异质性条件下，区分其对多种服务结果的影响。为此，本研究提出了一种面向服务的多任务深度强化学习（DRL）框架，用于战略性UMS恢复调度。该框架：(1) 对物理UMS网络中断与恢复进行建模；(2) 通过网络效率、运营流量和票务收入评估主要服务损失维度；(3) 将这些维度嵌入为相关但不同的恢复目标。其共享主干架构在保留服务特定偏好的同时学习通用恢复表示，支持计算高效且可解释的调度。在上海地铁10年、100年和1000年洪水情景下的评估中，学习率为1e-4的PPO取得了最佳训练性能。学习到的策略展现了跨情景鲁棒性，识别出空间集中的服务关键域，揭示了额外应急团队随中断严重程度递增的边际价值，并相对于所测试的启发式算法、MILP和NSGA-II基线，将累积服务损失降低了0.8%–6.0%。总体而言，本研究推进了战略性面向服务的UMS恢复调度，并为更广泛的基础设施系统提供了可扩展框架。

**面向服务的大型城市地铁系统洪后恢复调度：多任务深度强化学习框架的构建与验证**

**1. 研究背景与问题**

城市地铁系统（UMS）作为联合国可持续发展目标（SDG）11.2所倡导的安全、可负担、可达且可持续的交通方式，对城市出行至关重要。然而，其大量地下车站、隧道和机电设施使其特别容易受到洪水侵袭，因为水可以迅速侵入但排水缓慢。纽约、伦敦、郑州、香港和米兰等城市的洪水事件已造成服务中断、经济损失，甚至人员伤亡。既有研究与实践主要聚焦于风险评估、缓解设计和应急响应，方法上已从模糊层次分析法（FAHP）、集成地理信息系统（GIS）的多准则决策（MCDM）框架，发展到机器学习（ML）驱动的易损性预测与缓解分析。然而，随着气候变化预计将加剧极端降水，中断影响和系统脆弱性也可能增加，这表明当前的反应性范式已不足，凸显了韧性（即基础设施系统准备、适应、承受并从中断中快速恢复的能力）的重要性。

在基础设施韧性研究中，灾后恢复已成为关键议题，因为韧性由中断和恢复期间累积的损失所决定，反映在韧性三角形中。早期研究主要采用系统导向视角，通过拓扑连通性、交通容量等指标评估恢复；但对服务导向系统而言，这些指标难以捕捉用户实际经历的中断影响。近年研究转向运营流量、出行效率、乘客效用和运营商收入等服务指标。与此同时，恢复调度方法也从确定性规则、数学规划、进化算法发展到深度强化学习（DRL）。然而，现有DRL应用主要面向较小或简化系统中的拓扑或工程功能恢复，如社区恢复、变电站修复和重建资源分配，将其应用于大规模UMS恢复仍很有限，尤其是在服务耦合环境下，需要将并行修复与时变OD需求、依赖换乘的路径选择以及地上/地下异质性中断相关联。此外，既有UMS研究通常优化单一服务维度（如收入损失），或将异质维度聚合成加权标量指标，可能掩盖尺度、时间基线和治理含义上的差异。

**2. 研究内容与结论**

针对上述问题，本研究开发了一种面向服务的多任务DRL框架，用于大规模UMS的洪后恢复调度，旨在最小化恢复范围内的累积服务损失。该框架整合了物理网络中断与恢复建模、服务导向韧性评估，并将调度问题形式化为顺序马尔可夫决策过程（MDP）。采用近端策略优化（PPO）作为主要学习算法，同时纳入优势演员-评论家（A2C）和信任域策略优化（TRPO）作为算法级基准。框架在上海地铁10年、100年和1000年洪水情景下进行了实现和验证。

研究得出以下主要结论：(1) 在测试的演员-评论家设置中，学习率为1e-4的PPO在收敛稳定性和策略性能之间取得了最佳平衡；离线训练后，策略可在49.0秒至1.1分钟内为未见降雨情景生成完整恢复计划，而无需针对特定情景重新训练。(2) 时变的流量和收入基线使这两个维度对恢复时机的敏感性高于使用固定基线的网络效率，特别是在高峰需求时段，其恢复轨迹呈现更明显的阶跃变化。(3) 恢复性能不仅取决于恢复时长，还取决于服务关键站点是否足够早地恢复以减少累积服务损失；学习到的优先级集中于密集的内城网络和主要换乘走廊，且随中断严重程度增加而更加分化。(4) 额外应急团队的边际价值随中断严重程度增加而增加，凸显了中断引起的恢复需求与可用修复能力有效利用之间的平衡。(5) 多任务设计在服务目标透明度、恢复性能和计算负担之间实现了平衡；相对于启发式、MILP和NSGA-II基线，MT-PPO在九个比较中均取得了最低的累积服务损失，降低幅度为0.8%–6.0%，同时生成计划的速度显著快于MILP和NSGA-II。

**3. 主要关键技术方法**

研究人员构建的框架包含三个关键方法模块。第一，UMS物理建模采用线路级网络表示，将物理站点分解为线路特定节点，明确刻画换乘结构和分支线路；洪水中断建模区分地上和地下设施，地上站点仅影响可达性而轨道可跳站运行，地下站点则同时移除站点和相邻地下轨道段；恢复建模定义了自然消退、人工控制和紧急抽水三种模式。第二，服务导向韧性评估定义了三个指标：基于最短出行时间的网络效率、基于乘客延迟容忍阈值的运营流量（采用分段线性衰减函数，阈值设为30和60分钟）、以及基于距离收费的票务收入，并以累积损失（LoR）聚合韧性。第三，恢复调度形式化为MDP，状态包含站点失效、轨道失效、团队状态等六部分，动作定义为多团队联合调度，奖励设为各服务指标的瞬时损失负值；采用共享主干加任务特定头的多任务架构，三个任务模式（效率、流量、收入）使用独热编码，通过PPO算法联合训练。案例数据来自上海地铁，使用了包含约7亿条自动售检票（AFC）记录的人类移动数据集（2017年），覆盖298个站点（208个地下、90个地上）和343个轨道段，OD需求聚合成小时分辨率。洪水情景通过当地降雨强度公式生成，采用洼地淹没映射方法，并基于DEM数据分配站点的洪水风险等级。

**4. 研究结果**

**4.1 DRL训练性能**
在三种学习率（1e-3、1e-4、1e-5）下比较PPO、A2C和TRPO的累积奖励轨迹。结果显示学习率1e-4呈现持续上升趋势并达到最高最终值，1e-3波动较大，1e-5收敛缓慢。PPO在1e-4下效率、流量和收入的奖励分别为?102.087、?3.15e7和?2.54e8，均优于其他配置。总损失轨迹也显示1e-4收敛到最低水平。

**4.2 跨洪水情景的恢复性能**
在10年、100年、1000年情景下评估PPO策略。随着洪水严重程度增加，累积奖励从10年情景的?12.41、?4.35e6、?3.54e7下降到1000年情景的?81.74、?2.48e7、?2.04e8，恢复持续时间从34.0小时增加到119.1小时。恢复轨迹显示，较短恢复时长不一定产生较低累积效率损失，因为较早恢复服务关键站点可在整个恢复范围内维持较高网络性能。流量和收入因时间变化基线而呈现运营时段波动，对高峰时段前或期间的关键恢复动作尤为敏感。

**4.3 关键恢复域的空间解释**
通过高斯核密度估计（KDE）分析站点优先级空间分布。10年情景下高优先级集中于紧凑的内城核心，100年和1000年情景下向外扩展并沿主要放射线和换乘线呈现走廊导向。东安路（2006）、昌平路（738）、汉中路（2039）等站点跨情景重复出现高优先级。优先级不仅反映局部损坏和拓扑，还体现网络结构中嵌入的服务重要性。随着严重程度增加，优先级分化加剧，表明固定修复能力约束增强。

**4.4 不同应急配置下的恢复性能**
比较15、20、25、30、35个应急团队的配置。从15增加到35个团队，绝对累积服务损失降低34.6%–50.9%，平均恢复时长缩短25.6%–47.1%。恢复时长饱和所需容量随洪水严重程度增加：10年情景下25个团队即达饱和（34.0小时），100年情景下30个团队饱和（63.0小时），而1000年情景下未观察到饱和，35个团队时仍继续下降至98.3小时。利用率轨迹解释了额外团队在轻度中断下主要增加空闲容量，但在严重中断下仍保持高利用率。

**4.5 多任务架构合理性验证**
将多任务PPO（MT-PPO）与单任务PPO（ST-PPO）、加权PPO和多目标PPO（MO-PPO）比较。MT-PPO在九个服务损失面板中的四个取得最低平均损失（10年效率、100年流量、10年和100年收入），在1000年情景下MO-PPO表现更优（差距1.9%–2.7%）。计算效率方面，MT-PPO和MO-PPO只需要一次共享训练（约1.83和1.93小时），而ST-PPO和加权PPO分别需要7.23和7.93小时。MT-PPO的优势在于允许操作员选择明确的服务目标而无需分配跨目标权重。

**4.6 与优化基线的基准比较**
MT-PPO与两种启发式规则（H1、H2）、混合整数线性规划（MILP）和NSGA-II比较。MT-PPO在所有九项比较中均取得最高报告奖励，相对于每个比较中的最佳基线，相应累积服务损失降低了约0.8%–6.0%。恢复时长方面，MT-PPO并非始终最短，但在累积损失方面一致优于传统方法。计算时间上，MT-PPO推理需49.0秒至1.1分钟，比MILP快约3.6–9.1倍，比NSGA-II快约190–237倍。

**4.7 敏感性与不确定性分析**
敏感性分析显示应急抽水时间是最有影响力的操作参数，将其从基线调整至0.8倍或1.2倍会导致服务损失和恢复时长变化约±16%～±21%。自然消退时间影响很小。站点洪水风险不确定性和乘客容忍度阈值的扰动未引起结果单调恶化，主要恢复结果在所测试的水文和行为变化下保持稳定。

**5. 讨论与结论**
讨论部分指出，该框架通过将DRL适应于大规模、面向服务的基础设施恢复调度，并实现离线训练支持快速跨情景策略生成，推进了韧性研究。其状态-动作-奖励结构可扩展到其他网络化基础设施（如公路和电力系统）。基于学习到的优先级模式，研究人员提出了站点优先层级分类（1-3级）和分阶段应急团队调配流程。局限性包括：未显式建模列车运行图调整、线路容量约束和乘客排队延误；服务指标未涵盖乘客福利、服务公平性及替代交通方式；水文模块采用简化洼地方法；DRL实现采用标准演员-评论家结构，未探索更先进的学习架构。未来研究可耦合高保真运行模拟、整合更广泛的服务指标和异构乘客行为模型、采用物理水文模型以及先进学习策略。

研究结论总结如下：本研究为大规模UMS战略洪后恢复调度贡献了面向服务的多任务DRL框架，在上海地铁多种洪水情景下验证了其有效性。主要发现包括：PPO学习率1e-4的最佳性能；流量和收入维度对恢复时机的更高敏感性；服务关键站点优先级的空间集中性；额外团队边际价值随严重程度递增；以及多任务设计在目标透明性、性能和计算效率间的平衡。该框架为基础设施恢复决策提供了可扩展且可解释的工具。