在单向电力供应短缺的情况下，通过安全的强化学习算法来考虑再生能量的分布式列车重新调度

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Distributed train rescheduling considering regenerative power during unidirectional power supply shortages via safe reinforcement learning

　　• 考虑再生能量再利用的分布式列车重新调度。• 反馈调整机制用于耦合不同区域的重新调度结果。• 在电力供应充足的地区，采用两阶段列车时刻表重新调度（TTR）模型来考虑乘客需求。• 结合多种保护机制的混合屏蔽深度Q网络算法。• 采用预防性/事后屏蔽措施及惩罚条款以满足安全相关约束。

1. 引言
由于其安全、效率、准点和节能方面的优势，城市轨道交通（URT）在全球范围内正在迅速发展。作为URT的“动力心脏”，牵引电力供应系统（TPSS）旨在为列车提供足够的牵引动力。然而，由于设备老化和外来物体入侵（Huang等人，2020年），TPSS故障在日常运营中很常见，这经常导致牵引变电站（以下简称“变电站”）出现暂时性故障。在这种情况下，调度员必须迅速组织紧急电力供应模式，以确保列车持续获得牵引动力。本文研究了采用单边电力供应模式来解决常见的TPSS故障——即局部断路器故障的情况。在这种情况下，变电站一侧的直流馈线断路器（例如图1中的变电站2）发生故障，使得该变电站无法向相邻电力供应段内的单向列车供电（例如图中标记为红色的部分）。作为临时补救措施，组织单边电力供应模式，允许邻近的变电站为受影响区域提供所有牵引动力。例如，在图1中，只有变电站1为原本由两个变电站供电的受影响区域供电。这种活跃电源数量的减少降低了可用的电力供应能力，从而显著限制了电力供应不足区域的列车总需求。同时，其他未受影响的区域仍通过两个变电站的双重电力供应获得足够的电力。这种中断定义了单向电力供应短缺（UPSS）场景。

在UPSS场景中，牵引动力的限制导致列车无法按照计划的牵引制度运行。随后，列车密度（即单位距离内的列车数量）和运行速度都会下降，从而降低了线路容量利用率（即每天运营中通过给定点的列车数量）。如图2所示，TPSS故障发生后，由于电力立即中断，线路容量利用率急剧下降。然后，调度员临时实施单边电力供应模式，使列车恢复运行以维持部分容量利用率。一旦故障得到解决，电力供应能力得到恢复，线路容量逐渐恢复。因此，UPSS期间指的是从单边电力供应模式启动到故障修复完成并恢复电力的时间间隔。在此期间，线路容量利用率持续低于计划水平，严重影响列车运营和乘客服务。为了减轻这一影响，需要列车重新调度方法来调整运营计划并在故障期间提高线路容量利用率。

为了解决UPSS场景下的列车重新调度问题，调度员主要采用列车时刻表重新调度（TTR）方法，该方法调整列车的到达和离开时间。这种方法基于“所有列车始终以最大牵引动力运行”的保守假设。依靠运营经验或重新调度指南，调度员通常会增加电力供应不足区域的行车间隔（Liu等人，2021a），从而降低列车密度并避免过载（即列车总需求超过变电站的电力供应能力）。例如，在北京地铁7号线，调度员需要将最小行车间隔增加到7分钟以上。这个值是根据可用电力和列车的牵引性能预先计算的，以确保所有列车都能同时以最大牵引动力运行。然而，这种保守假设往往导致列车功率利用率低下。实际上，列车并不总是发挥最大牵引动力；它们的实际功耗会随着驾驶制度的切换（如加速、巡航、滑行和制动）而动态变化。因此，当前的TTR方法无法充分利用有限的电力供应能力。为了克服这一限制，可以采用协同控制方法，该方法明确考虑动态列车功率，并协调电力供应不足区域内多列车的控制策略，以保持总需求在额定容量范围内。通过这种方式，多列车的牵引制度可以错开，防止同时出现的峰值功率需求超过额定电力供应能力。此外，减速列车的制动制度与加速列车的牵引制度对齐，以最大化再生能量的利用。例如，如果可用电力可以支持两列列车同时以最大牵引动力运行，那么在电力供应不足区域内最多可以有四列列车运行，前提是同一时间没有两列列车使用最大牵引动力。作为一种更灵活的重新调度方法，协同控制使得更多列车能够运行，从而有可能提高线路容量利用率。

近年来，学者们对TPSS故障下的列车重新调度问题进行了研究。早期研究主要应用传统的TTR方法来处理UPSS和双向电力供应短缺（BPSS）场景（Liu等人，2021a）。如上所述，这种方法可以有效防止过载，但效率较低。最近，一种更灵活的方法——协同控制已被应用于BPSS场景，并显示出改进的性能（Wang等人，2023a，Wang等人，2021a）。然而，现有方法直接应用于UPSS场景还存在问题：尽管协同控制方法在BPSS场景中表现出优于TTR方法的性能，但尚未有研究将其扩展到UPSS场景。与BPSS相比，UPSS场景涉及的电力供应不足区域较小，仅限于单一单向路段，受影响的列车数量较少。此外，电力供应能力约束的性质也发生了变化：在BPSS中，它由变电站负荷限制决定，而在UPSS中，则取决于电力供应不足区域的总需求。因此，需要专门为UPSS场景设计一种协同控制模型。此外，在电力供应不足区域，制动列车产生的再生能量可以被加速列车再利用，从而减少变电站的电力需求并减轻UPSS的影响。然而，现有研究尚未考虑再生能量的有效再利用问题，这仍是未来列车重新调度模型的一个重要方向。目前仍缺乏适用于整个线路的高效UPSS场景列车重新调度方法。在故障期间，UPSS直接影响电力供应不足区域的列车运营，并对线路的其他部分产生连锁效应。传统的TTR方法可以在集成模型中重新安排整个线路的时刻表。但是，当考虑动态列车功率时，需要分别对不同区域应用协同控制（CC）和TTR方法，因为集成模型不再适用。为了系统地减轻UPSS对网络的影响，有必要研究分布式列车重新调度。这需要构建针对不同区域和时间段的列车重新调度特点的子模型，并独立设计解决每个子问题的算法。此外，现有关于电力供应短缺场景下的分布式列车重新调度研究通常没有考虑乘客服务（Wang等人，2025），这严重限制了它们的实际应用性。

在UPSS场景中，仅限制单个电力供应段内的总需求，因此电力供应不足区域的列车数量相对较少（即使在高峰时段通常也不超过四列）。因此，在UPSS场景中采用集中式强化学习算法是可行的。这种方法可以根据全局状态信息和全局奖励函数做出系统决策，并且与Wang等人（2023a）提出的分布式算法相比，有潜力进一步提高解决方案的质量。然而，考虑到大规模的最小行车间隔和电力供应能力约束，现有的解决方案方法（如带有惩罚条款的DQN算法Wang等人，2023b）只能降低选择违反安全相关约束的不安全控制策略的概率，但仍然无法严格防止这些违规行为。为了保证运营安全和解决方案的可行性，需要一种新型算法，能够在所有条件下确保列车避免不安全的控制策略。

基于上述研究现状，本文提出了一种分布式列车重新调度方法来解决UPSS场景下的列车重新调度问题。在这种方法中，通过地理和时间划分将整个线路的全局问题分解为三个子问题。对于电力供应不足区域，开发了一种协同控制模型，该模型结合了再生能量利用来协调优化列车控制策略。对于电力供应充足的区域，构建了两阶段TTR模型，通过采用各种重新调度措施（如服务取消和返回 depot）来最大化线路容量利用率并最小化乘客的总等待时间。此外，引入了反馈调整机制，以同步列车在不同区域边界处的进出时间。对于恢复期，进一步制定了TTR模型以最小化重新调度时间和计划到达/离开时间之间的总偏差。这些子问题在安全性上至关重要，特别是满足最小行车间隔和电力供应能力约束，这对于确保UPSS下的运营安全至关重要。为了解决这些约束，通过将保护机制集成到经典DQN框架中，设计了一种混合屏蔽深度Q网络（HSDQN）算法。与传统的DQN不同，这种安全强化学习（SRL）算法包含了预防性和事后屏蔽措施，以防止执行违反安全相关约束的不安全行为。此外，在与不安全行为的过渡经验中考虑了惩罚条款，以降低再次选择这些行为的概率。最后，基于北京地铁颐庄线进行了两组案例研究，以证明所设计算法和分布式列车重新调度方法的有效性。

本文的其余部分组织如下：第2部分提供了相关研究的文献综述，并总结了本文的主要贡献。第3部分详细介绍了问题描述和假设，第4部分为每个子问题制定了数学模型。第5部分开发了列车重新调度问题的解决方法，第6部分通过数值案例研究证明了所提方法的有效性。最后，第7部分总结了本文的主要贡献并提出了一些未来的研究方向。

2. 文献综述
在轨道交通系统中，足够的电力供应能力是列车按计划运行的前提。然而，设备容量设计不足和TPSS故障的发生都可能导致电力供应短缺（PSS）场景，从而限制了列车可用的牵引动力。为了减少对列车运营的影响，需要采用离线优化方法或实时列车重新调度方法。本节将回顾相关文献。

2.1. 电力供应短缺场景下的运营计划离线优化
为了确保列车的正常运行，通过牵引电力供应计算仔细设计电力供应设备（如变压器）的容量是至关重要的（Wang等人，2022）。然而，对长期交通密度的估计不准确可能导致电力供应能力难以满足高密度列车的峰值功率需求（Kim等人，2010）。为了避免过载，应在列车运营前离线优化运营计划（如列车时刻表、控制策略）。相关研究分为列车时刻表优化（TTO）和协同控制。对于TTO方法，Chen等人（2005）开发了一个数学模型，通过修改停留时间来最小化列车的峰值功率需求。金等人（2010年）提出了一个混合整数规划模型，用于解决类似问题，以优化终点站的发车时间。通过CPLEX求解器和启发式算法解决该问题后，峰值功率需求可以降低32%。阿尔布雷希特（2010年）提出了一个双目标优化模型，以最小化列车运行的能耗和峰值功率需求。在该模型中，缓冲时间被优化分配到每个区段的运行时间中，并给定了车头时距。金等人（2021年）构建了一个混合整数规划模型来优化到达/发车时间。在该模型中，最小化了加速时间重叠，以减少变电站的峰值功率。此外，还最大化了加速和减速之间的时间重叠，以有效利用再生能量。基于相同的原则，王等人（2022年）开发了一个双目标优化模型，同时最小化能耗和峰值功率。该问题通过考虑列车时刻表鲁棒性的功率峰值削减算法得到解决。贝尔曼等人（2021年）提出了一种TTO方法，通过调整列车的发车时间来降低最大峰值消耗。这项研究推导出了紧凑的多面体公式，并设计了一种高效、专门定制的Benders分解方案来解决问题。

近年来，协作控制方法在离线优化问题中受到了关注。例如，周等人（2017年）基于时空速度（STS）网络方法开发了一个针对BPSS情景的协作控制模型。在该模型中，目标函数是最小化能耗，而电力供应能力约束被制定用来限制列车的总功率需求。为了避免过载，在三维网络中协作优化控制策略，使列车交替使用牵引机制。赵等人（2017年）提出了一种协作控制方法，以最小化地铁系统的能耗和变电站的峰值功率。在这种方法中，列车时刻表和控制策略被同步优化，以减少列车的总功率需求。博特等人（2023年）提出了一个优化模型，用于协调列车的运行。在该模型中，控制策略被优化，以管理牵引电力系统、配电网络和列车之间的能量流动。这个非线性多变量问题通过MATLAB 2019b平台上的优化工具实现。

2.2. 在电力供应短缺情景下的实时列车重新调度
在日常运营中，TPSS故障可能导致局部区域的UPSS或BPSS，这严重限制了列车的牵引功率。需要实时实施列车重新调度方法来提高线路容量利用率。早期的研究主要集中在考虑最大牵引功率的TTR方法上。与调度员采用的实用方法类似，刘等人（2021a）为UPSS和BPSS情景都开发了TTR模型。该方法根据临时的最小车头时距重新安排到达和发车时间，确保即使所有列车同时使用最大牵引功率也能避免过载。然而，由于“列车总是使用最大牵引功率”的保守假设，这种方法未能有效利用电力供应能力，导致线路容量利用率显著降低。为了进一步减少TPSS故障的影响，一些学者（例如，顾等人、金等人、杨等人、杨等人）应用了基于动态列车功率的TTR方法。这种方法重新安排到达和发车时间，以防止多列列车同时加速。在相关文献中，何和黄（2003年）；武内等人（2003年）将TTR方法应用于重新启动问题。在这个问题中，由于中断，大量列车在一个区段内停滞。如果这些列车同时重新启动，将会面临过载的风险。因此，TTR方法被用来优化列车的发车时间，以便错开使用牵引功率的时间。在相关文献中，顾等人（2010年）提出了一种服务时距制动（SHB）方法，用于UPSS情景下的重新启动问题。通过灵活调整列车的启动（或重新启动）时间，可以减少乘客等待时间和能耗。基于动态列车功率，杨等人（2019年）还提出了一个二进制整数规划模型来修改列车的发车时间。这样可以在不增加列车延误的情况下避免过载。金等人（2022年）提出了一种TTR方法，用于减少BPSS情景下变电站的峰值功率。在这种方法中，考虑了两个目标函数（即最小化总列车延误和最小化加速时间重叠）来优化停留时间和站间运行时间。然后，设计了一个模型预测控制算法来解决这个问题。为了缓解大范围列车延误时的功率峰值，雷格埃罗·桑切斯（2021年）提出了一种双重优化策略，通过调整发车时间并限制列车的最大牵引功率。

上述研究主要关注基于固定控制策略的TTR方法。这种方法可以确定列车从车站出发时使用牵引机制的时刻。然而，车站之间的驾驶机制顺序以及每种机制下应用的功率是预先确定的。这限制了在任何给定时刻灵活调整瞬时功率的能力，从而难以在运营过程中实现列车之间的有效协同。为了解决这个问题，学者们开发了一种协作控制方法。在这种方法中，到达/发车时间和控制策略被同步优化，以准确控制在额定范围内的总功率需求。通过有效利用电力供应能力，协作控制在减少TPSS故障的影响方面更为灵活。在相关文献中，王等人（2021a）为BPSS情景提出了一种协作控制方法。在这种方法中，设计了一种虚拟区段方法，将原始问题转化为具有固定控制对象的等效问题。然后，使用STS网络方法构建了协作控制模型，以实现实际线路容量最大化的目标。这个问题通过将所有列车视为一个代理的经典DQN算法得到解决。此外，王等人（2023a）为协作控制问题开发了一种基于协作机制的独立深度Q网络（CMB-IDQN）算法，在全局奖励中考虑了与过载程度相关的惩罚项。此外，还设计了一种基于列车间协作的信用分配方法来提高解决方案的质量。王等人（2025年）提出了一种用于BPSS情景的分布式列车重新调度方法。这个跨区域协调问题被分成了三个子问题。首先，合作控制方法优化了供应不足区域的控制策略。然后，重新安排了供应充足区域的列车时刻表，以最大化线路容量。第三阶段细化了难以同步的进出时间，并通过反馈调整调整供应不足区域的控制策略。我们的会议论文（王等人，2023b）提出了一种适用于整个线路的UPSS情景的分布式列车重新调度方法。这种方法分别应用协作控制和TTR方法来处理供应不足和供应充足的区域。为了解决这些子问题，我们使用了带有过载惩罚项的惩罚深度Q网络（PDQN）算法和GUROBI求解器。然而，这种方法不能保证生成的控制策略满足电力供应能力约束，也不能确保由不同区域结果组成的全局重新调度方案的可行性。

2.3. 论文贡献
表1总结了关于PSS情景下列车重新调度问题的现有出版物，按问题描述（即PSS类别、乘客服务考虑、再生功率考虑、考虑范围和重新调度方法）和解决方法（即避免过载的保证和应用的算法）进行分类。基于这些研究现状，本文的主要贡献总结如下：
- 提出了一种适用于整个URT线路的分布式列车重新调度模型，该模型在UPSS条件下考虑了再生功率。对于供应不足的区域，采用协作控制作为解决列车重新调度问题的灵活方法。虽然这种方法已经应用于BPSS情景（王等人，2023a，王等人，2021a）并展示了优越的性能，但本文开发了一种专门针对UPSS的协作控制模型，在该模型中对总功率需求施加了约束。考虑到UPSS中受影响的列车数量较少，设计了一种集中式强化学习算法来高效解决该模型。此外，协作控制模型扩展了再生功率的利用，使牵引列车能够有效重用制动能量，从而减少对列车运行的影响。此外，为了减轻UPSS对乘客服务的影响，提出了一种分布式列车重新调度方法，同时处理供应不足和供应充足的区域。然后设计了一种反馈调整机制，以同步不同区域的进出时间，确保全球解决方案的可行性，同时有效减少对乘客服务的干扰。
- 本文提出了一种用于UPSS情景下协作控制问题的SRL算法，考虑了多种类型的屏蔽机制和惩罚项。尽管传统的强化学习算法在解决大规模协作控制问题时表现出色，但离线训练和在线执行的分离并不能保证符合安全相关约束，从而带来过载或车头时距不足等风险。为了克服这一差距，本文改进并扩展了赵等人（2022年）提出的基于屏蔽的SRL算法，用于UPSS协作控制问题。基于列车耦合关系，创新性地提出了一个前置屏蔽（PRS）来管理广泛的最小车头时距约束，同时采用了赵等人（2022年）提出的后置屏蔽（POS）来处理涉及多列车联合功率状态的电力供应能力约束。此外，将不安全行为的过渡经验明确存储在重放缓冲区中用于训练。这种策略逐渐降低了不安全决策的可能性，加快了收敛速度并提高了解决方案的质量。
- 基于北京地铁亦庄线的实际数据进行了多项数值实验，以验证所提出方法的性能。与王等人（2023a）采用的CMB-IDQN算法相比，本研究开发的集中式强化学习算法HSDQN不仅在解决UPSS情景时实现了更高的解决方案质量，而且还通过结合多种保护机制确保了所有实验结果的可行性。此外，与赵等人（2022年）仅使用POS作为保护机制的SRL方法相比，本研究通过联合应用POS和PRS来匹配不同安全相关约束的特点，提高了计算效率。通过对违反安全相关约束的行为施加惩罚项并将相应的样本存储在重放缓冲区中进行训练，进一步提高了解决方案质量和收敛速度。另外，与基于最大牵引功率的先前TTR方法相比，所提出的方法通过在供应不足区域应用协作控制和结合再生功率重用来提高主要性能指标，如线路容量利用率。

表1. PSS情景下列车重新调度问题的出版物比较
| 出版物 | PSS | 乘客服务 | 再生功率 | 考虑范围 | 重新调度方法 | 应用的算法 |
|--------|------|---------|--------|-----------|------------|
| 武内等人（2003）| BPSS | –– | 本地区域 | TTR | –– | 仿真方法 |
| 杨等人（2019）| BPSS | –– | 本地区域 | TTR | –– | Balas加法算法 |
| 雷格埃罗·桑切斯（2021）| BPSS | –– | 本地区域 | TTR | 基于仿真的优化 |
| 金等人（2022）| BPSS | –– | 本地区域 | TTR | 模型预测控制 |
| 王等人（2021a）| BPSS | –– | 本地区域 | CC | DQN |
| 王等人（2023a）| BPSS | –– | 本地区域 | CC | CMB-IDQN |
| 王等人（2025）| BPSS | –– | 本地区域 | CC+TTR | ?CMB-IDQN+ALN |
| 刘等人（2021a）| BPSS & UPSS | –– | 全线路 | TTR | ?CPLEX |
| 顾等人（2010）| UPSS | –– | 本地区域 | TTR | ?CPLEX |
| 王等人（2023b）| UPSS | –– | 全线路 | CC+TTR | PDQN + GUROBI |
| 本文 | UPSS | ?? | 全线路 | CC+TTR | SRL+GUROBI |

* 符号说明：避免过载的保证（OAG），单向电力供应短缺（UPSS），双向电力供应短缺（BPSS），列车时刻表重新调度（TTR），协作控制（CC）。

3. 问题描述
3.1. 列车重新调度问题
图3描绘了一条URT线路的示意图，其中车站由E={1,2,…,E}表示。线路的两端分别靠近车站1和E处有两个车库。每个车库都能存放备用列车，在TPSS故障期间可以派遣这些列车执行某些服务。在日常运营中，计划的列车时刻表由列车执行，这些列车包括多个服务，每个服务代表列车在一个方向上从起点站到终点站的旅程。服务集包括上游服务Kup和下游服务Kdn。根据列车运行计划，每个服务都应由一列列车完成。完成一项服务后，列车可以选择折返并在相反方向上执行另一项服务，或者返回 depot。

本文考虑了以下情景：位于变电站y的直流馈线断路器发生故障，导致该变电站无法为相邻的供电区域（即起始站einitial和终点站eterminal之间用橙色标出的区域）供电。在这种情况下，会立即采取列车停运措施，在附近的车站或路段停靠列车。同时，调度员将临时组织单侧供电模式，以维持受影响区域的电力供应。在这种模式下，只有变电站yfail+1为起始站einitial和终点站eterminal之间的上游列车提供牵引动力，从而导致供电能力显著下降。因此，列车的总功率需求必须限制在额定值Pmax以内。为了避免超载，需要减少运行的列车数量和运行速度，这直接影响了供电不足区域的线路容量利用率。与此同时，其他路段仍然由两个变电站双电源供电。对于这些供电充足的区域，不需要考虑供电容量限制，但UPSS的连锁效应会降低线路容量利用率，并影响这些区域的客运服务（即用蓝色标出的区域）。因此，有必要应用列车重新调度方法，以减轻整个线路上的UPSS影响。

为了实现这一目标，本文提出了一种分布式列车重新调度方法，通过地理和时间划分将列车重新调度问题分解为三个子问题（Luan等人，2020年），即供电不足区域的协同控制问题、供电充足区域的TTR问题以及恢复期的TTR问题。

- **供电不足区域的协同控制问题**：为了避免供电不足区域的超载，采用协同控制方法来整体重新调度列车时刻表和控制策略。一方面，优化列车时刻表的参数（即到达和出发时间），以确定列车离开车站开始区间运行的时间；另一方面，优化控制策略，以便灵活调整区间内的列车功率。为此，采用了STS网络方法进行模型构建。如图4所示，每列列车在STS网络中对应一个三维轨迹。轨迹在速度-时间侧的阴影代表控制策略，而在时空侧的阴影代表到达/出发时间。通过实时优化所有列车轨迹，可以同时重新调度列车时刻表和控制策略。到达/出发时间也将作为供电充足区域后续列车重新调度的基础。协同控制方法的数学模型详见第4.2节。

- **供电充足区域的TTR问题**：由于UPSS的连锁效应，供电充足区域的线路容量利用率也受到影响。然而，不需要考虑供电容量限制。因此，可以基于协同控制的结果应用TTR方法，以减轻对线路容量利用率和客运服务的连锁影响。在此方法中，考虑了五种重新调度措施以提高列车重新调度的效率：停留时间调整、运行时间调整、服务取消、返回 depot和使用备用列车。首先，通过停留时间调整和运行时间调整措施重新调度到达/出发时间，从而缩短列车之间的间隔时间，提高线路容量利用率。其次，通过服务取消和返回 depot措施减少列车密度（即单位距离内的平均列车数量）。如图4所示，由于电力供应不足，4站和7站之间的列车密度大幅降低。如果不在进入供电不足区域之前安排列车返回 depot，高密度列车由于电力限制会显著降低平均速度，可能导致线路容量利用率下降。为此，我们采用服务取消措施取消一些计划中的服务（例如服务3和4的整个行程）。同时，通过返回 depot措施将一些列车引入附近的 depot，从而中断其运行，实现服务取消（例如列车3）。最后，通过使用备用列车措施增加供电不足区域对面的线路容量利用率。该方向的电力供应能力在整个线路上是充足的，因此允许保持比供电不足区域更高的线路容量利用率。因此，采用备用列车措施将一些列车从 depot引出，并在该方向上执行额外服务。该子问题的数学模型在第4.3节中介绍。

- **恢复期的TTR问题**：上述两个子问题可以解决TPSS故障期间的列车重新调度问题。一旦故障结束，列车将出现严重延误，无法立即按照计划时刻表运行。因此，需要采用TTR方法来加速恢复时间，通过最小化重新调度时间和计划到达/出发时间之间的偏差。为此，我们扩展了现有的建模方法（例如Dong等人，2024年；Gkiotsalitis和Cats，2020年；Wang等人，2025年；Zhan等人，2024年），并将它们应用于恢复期的TTR问题解决。详细方法在第4.6节中讨论。

上述文本概述了使用分布式列车重新调度方法将全局问题分解为三个子问题的过程。通过结合子问题的结果，可以生成总体列车重新调度方案。如图4所示，确保全局方案可行的关键在于不同区域边界处的进出时间同步。具体来说，列车离开供电不足区域（即橙色环）的出发时间应与进入供电充足区域的到达时间一致。同样，进入供电不足区域（即绿色环）的时间应与离开供电充足区域的时间相同。为此，我们根据协同控制结果中的列车轨迹提取每列列车进入/离开供电不足区域的时间。然后，为每个进出时间构建时间同步约束，详见第4.3.2节。然而，在某些情况下，诸如URT线路的拓扑结构、备用列车的数量以及牵引/制动性能等因素可能会阻止列车在同步时间到达边界，使得无法直接通过组合子问题的结果获得可行的方案。如图5a所示，一列列车在组织单侧供电模式之前会在供电不足区域外停留。重新开始运行后，即使以最高速度行驶，这列列车也无法在同步时间进入供电不足区域。同样，图5b中的列车在从终点站折返后也无法及时进入供电不足区域。为了解决这个问题，本文将提出一种反馈调整方法。如果无法直接根据协同控制结果为供电充足区域生成列车重新调度方案，该方法将放宽TTR问题中的时间同步约束，即不再要求协同控制结果中的每个服务都必须由一列列车执行（详见第4.6节）。通过这种方式，可以取消难以同步的进出时间及其对应的列车轨迹。由于一些轨迹被移除，供电不足区域的列车密度从初始的协同控制结果中降低。然而，这确保了列车可以在剩余的同步时间内到达边界。这样，可以在一定程度上牺牲供电不足区域的线路容量利用率来保证全局方案的可行性。详细方法将在第4.3.2节中讨论。

**3.2 假设**
- 本文仅考虑由单侧直流馈线断路器故障引起的URT线路局部区域的UPSS情况。
- TPSS故障发生在高峰时段，这意味着线路容量利用率急剧下降，远低于乘客需求（Wang等人，2023b）。因此，列车重新调度的目标是最大化线路容量利用率。
- 在TPSS故障发生之前，所有列车都按照计划的列车时刻表运行。调整后的到达/出发时间与计划时间一致（Zhang等人，2023）。
- 由于大多数URT线路的基础设施有限，本文不考虑超车措施（Wang等人，2021c）。此外，为了避免乘客的旅行时间过长，也不考虑跳站措施（Zhang等人，2023）。
- 一旦列车速度超过某个固定值，最大牵引/制动力将线性下降。同时，假设最小区间运行时间是牵引/制动性能和设备条件允许的最短运行时间。
- URT线路的两端各有一个 depot。正在运行的列车可以返回任一 depot并停止运行，而 depot中的备用列车可以进入主线执行服务（Wang等人，2024a）。
- TPSS故障的持续时间已确定，从而能够在指定的UPSS时间内生成列车重新调度方案（Wang等人，2024b；Zhan等人，2024）。
- 列车只允许在终点站进入/离开 depot，而不是在线路中间位置。
- 由于供电不足区域位于一个短的供电区域内，因此不考虑列车在再生功率交换过程中的牵引网传输电阻损失。

**4. 模型构建**
在本节中，为UPSS情景制定了一个分布式列车重新调度模型。如第3.1节所述，通过地理和时间划分将全局问题分解为三个子问题。这些子问题的数学公式在图6中展示。首先，在第1步中，使用STS网络方法开发了一个协同控制模型，以共同优化供电不足区域的列车控制策略。根据得到的速度轨迹，使用第4.3.2节中介绍的算法提取供电不足区域的进出时间。这些时间随后作为供电充足区域列车时刻表重新调度的基础。在第二步中，为供电充足区域制定了一个两阶段TTR模型，以平衡线路容量利用率和客运服务质量。在第一阶段优化中，开发了一个初始TTR模型，以确定到达/出发时间、离开/进入 depot的决定和服务连接方案，旨在最大化线路容量利用率。在此阶段，确保区域边界处进出时间的同步对于保证全局解决方案的可行性至关重要。模型最初假设所有进出时间都可以同步。如果没有获得可行解，则激活反馈调整机制，以放宽同步约束（用（42）替换约束（23），从而取消难以同步的进出时间及其对应的轨迹。在第二阶段优化中，根据第一阶段获得的重新调度时刻表骨干，进一步微调到达和出发时间，以最小化乘客的总等待时间，从而更精确地减轻对客运服务质量的负面影响。最终，在第3步中，开发了一个TTR模型用于恢复期，以最小化重新安排的到达/出发时间与计划到达/出发时间之间的总偏差，该模型以第1阶段和第2阶段故障结束时的列车状态作为输入。下载：下载高分辨率图像（645KB）下载：下载全尺寸图像

图6. UPSS场景下列车调度的数学模型。

4.1. 符号定义
4.1.1. 集合
E：整条线路上的车站集合，E={1,…,E}
Eshortage：供应不足区域内的车站集合，E={einitial,…,eterminal}
Ek：根据第一阶段优化结果，在UPSS期间由服务k访问的车站集合
L：URT线路两端的站点集，L={1,2}
B：供应不足区域内的虚拟列车集合，B={1,…,B}
J：供应不足区域内的实体列车集合，J={1,…,J}
I：UPSS故障期间的时间戳集合，I={1,…,I}
W：供应不足区域内的折返周期集合，W={1,…,W}
Xstation：车站位置集合，Xstation={x1station,…,xEstation}
Xb：虚拟列车b的位置集合，Xb={xb,1,…,xb,I}
Vb：虚拟列车b的速度集合，Vb={vb,1,…,vb,I}
K1up,K1dn：故障期间第一阶段TTR模型中的上游和下游服务集合
K2up,K2dn：故障期间第二阶段TTR模型中的上游和下游服务集合
K3up,K3dn：恢复期间上游和下游服务集合
Jstart,in：故障发生时位于供应不足区域内的实体列车集合
Jstart,out：故障发生时位于供应不足区域外的实体列车集合
Jend,up：TPSS故障结束时的上游实体列车集合
Jend,dn：TPSS故障结束时的下游实体列车集合
Jdwell：TPSS故障结束时停留在车站的实体列车集合
Jrun：TPSS故障结束时在某段轨道上运行的实体列车集合
Kdwell：故障发生时停留在车站的列车执行的服务集合
Karrive：在某段轨道上运行的列车执行的服务集合，且该段轨道上没有前方列车
Ksegment：在某段轨道上运行的列车执行的服务集合，且该段轨道上有一列列车在前方

4.1.2. 符号和参数
i：车站索引
l：车厂索引
k：时间戳索引
k′：服务索引
b：虚拟列车索引
j：实体列车索引
y：失败索引
Zshortage：供应不足区域的平均线路容量利用率
Zcapacity：Zwait：供应充足区域的列车停站次数和总等待时间
Zrecovery：重新安排的到达/出发时间与计划到达/出发时间之间的总偏差
einitial,eterminal：供应不足区域的首尾车站
ekhold：故障后服务k受阻的车站；如果服务k在某段轨道内受阻，则为该段轨道前的车站
D：供应不足区域的长度
startTime：TPSS故障发生的时间
tpower：组织单边供电模式的时间
tendTime：TPSS故障结束的时间
ti：特定时间对应的时间戳
(ti,ti+1)：ti和ti+1之间的时间单位
tedwell,min,tedwell,max：在站点e的最小/最大停留时间
terun,min,terun,max：在站点e和e+1之间的最小/最大运行时间
tturn,min：终点站的最小折返时间
TUPSS duration：UPSS持续时间
Tplan：供应不足区域的计划运行时间
Tk,ewait：乘客在站点e等待服务k的等待时间
Xb,(ti,ti+1)：虚拟列车b在时间单位(ti,ti+1)内的运行距离
xestation：站点e的位置
τ：时间单位[ti,ti+1]内列车运行的某一瞬间
ub(τ)：列车b在瞬间τ施加的力
Ftrac,max(v)：列车b在速度v时的最大牵引力
Fbrak,max(v)：列车b在速度v时的最大制动力
ab,e,w, db,e,w：虚拟列车b在站点e的到达和出发时间
wa￣k,e, d￣k,e：实体列车j在计划列车时刻表中在站点e的到达和出发时间
a^j,e, d^j,e：实体列车j在合作控制结果中在站点e的到达和出发时间
h1dep?dep,min,h1dep?arr:min：供应不足区域内的最小发车间隔和发车-到达间隔
h2dep?dep,min,h2dep?arr:min：供应充足区域内的最小发车间隔和发车-到达间隔
h3dep?dep,min,h3dep?arr,min：恢复期间的最小发车间隔和发车-到达间隔
Pbtrain(τ)：列车b在瞬间τ的牵引功率
Pb,(ti,ti+1)：列车b在时间单位(ti,ti+1)内的最大牵引功率
Pb,(ti,ti+1)regenerative：列车b在时间单位(ti,ti+1)内的平均再生功率
Paux：辅助功率
Pmax：供应不足区域内的总功率需求限制
?：将动能转换为再生功率的效率
qbasic(v)：速度v时的基本阻力
qextra(x)：位置x处的额外阻力
xvmax(x)：位置x处的最大列车速度
cl：故障发生时车厂l中的备用列车数量
ηk,e：判断服务k在故障期间是否停在站点e的二元变量
ρk,s：判断服务k在站点e的到达时间是否在TPSS故障结束之前的二元变量
ζk,e：判断服务k是否在站点e取消的二元变量
θk,j：判断实体列车j是否在供应不足区域内执行服务k的二元变量
σk,e：判断服务k在故障期间是否从站点e出发的二元变量
γk,k′,e：判断服务k和k′是否都未在站点e取消的二元变量
nk,e,e′wait-OD：服务k从站点e出发后等待登上服务k′的乘客数量
nk?1,e,e′remain-OD：服务k?1出发后留在站点e的乘客数量
ne,e′arrive：UPSS开始时在站点e等待前往站点e′的乘客数量
ne,e′arrive：从站点e前往站点e′的乘客到达率
nk,ewait：服务k出发时在站点e等待的服务k的乘客数量
nk,eboard：服务k从站点e出发时登上的乘客数量
nk,ealight：服务k从站点e出发后下车的乘客数量
nk,eonboard：服务k从站点e出发后登上服务k的乘客数量
board-OD：从站点e出发前往站点e′的服务k上的乘客数量
kjplan：根据初始时刻表原计划由实体列车j执行的服务
kefirst：组织单边供电模式后首次到达站点e的服务
vj,i：时刻ti时实体列车j的速度
ixj,i：时刻ti时实体列车j的位置
ωe：乘客在站点e的上车速度
Θ：电能利用效率
β￣k,e, α￣k,e：服务k进出车厂的决策二元变量

4.1.3. 决策变量
vb,i：时刻ti时虚拟列车b的速度
xb,i：时刻ti时虚拟列车b的位置
ak,e,dk,e：服务k在站点e的重新安排的到达/出发时间
δk,k′：判断执行服务k的列车在折返后是否继续执行k′的二元变量
βk,e：判断服务k是否由车厂附近的备用列车执行的二元变量
αk,e：判断服务k执行完毕后列车是否进入车厂附近的二元变量
?j,k：判断实体列车j在恢复期间是否执行服务k的二元变量

4.2. 供应不足区域的合作控制模型
4.2.1. 问题转换
在供应不足区域，供电能力的减少严重限制了列车的总功率需求。为了减轻UPSS对列车运行的影响，采用了合作控制方法来整体优化到达/出发时间和控制策略。然而，合作控制问题的建模涉及两个主要挑战。第一个挑战是受控对象的数量不确定。通常，列车密度越高，列车速度越快，线路容量利用率也越高。但是，列车数量与其速度之间存在权衡。具体来说，当列车数量增加时，牵引力会受到更多限制，平均速度会降低。因此，在合作控制问题中，受控对象的数量是未知的。第二个挑战与受控对象的变化有关。在故障期间，列车会动态地进入和离开供应不足区域。由于只有位于供应不足区域内的列车参与合作控制，受控对象的数量会频繁变化，这使得建模数学模型变得困难。为了解决这些挑战，本文采用了Wang等人（2023a）提出的想象段方法（ISM）来处理UPSS场景。该方法的原则将在附录A中详细描述。一般来说，通过在站点einitial和eterminal之间假设一个长度为零的想象段，认为即将离开供应不足区域的列车可以通过该想象段瞬间返回初始站点，并重新进入供应不足区域执行下一个服务。这些列车被视为虚拟列车。这样，一组固定的虚拟列车在供应不足区域内持续运行，作为受控对象，并执行所有应由实体列车执行的服务。解决问题的过程中，每个周期内虚拟列车的轨迹将被分配给实体列车，从而将原始问题转换为具有固定受控对象的等效问题。

4.2.2. STS网络构建
接下来，将基于STS网络方法构建转换后问题的合作控制模型。如图3所示，TPSS故障发生在变电站yfail的tstart时刻。在tpower时组织单边供电模式后，UPSS发生在站点einitial和eterminal之间的上行方向。供应不足区域的长度为D，包含一组车站Eshortage={einitial,…,eterminal}。根据转换后的问题，共有B=?Tplan?hdep?dep,min+1?列车辆被认为在供应不足区域内循环运行，其中Tplan是站点einitial和eterminal之间的计划运行时间，hdep-dep,min是连续出发之间的最小间隔。为了表示这些列车的运动，如图7所示构建了STS网络。在这个三维网络中，列车的时间、速度和位置分别根据Δt、Δv、Δx的间隔进行离散化，形成了一组顶点和弧。每个顶点代表时刻ti时列车b的速度vb,i和位置xb,i的组合，每个连接相邻顶点的弧代表列车轨迹的一部分。通过为每个时间戳选择候选顶点并连接它们，可以在STS网络中获得三维列车轨迹。轨迹在时空和速度时间轴上的投影可以描述时刻表特性和控制特性，使STS网络方法适用于解决合作控制问题（Wang等人，2021a，Wang等人，2021b，Yin等人，2017，Zhou等人，2017）。

本文应用STS网络方法将UPSS持续时间（即从单边供电开始到TPSS故障结束的时间T=tend?tpower）划分为I?1个时间单位，并根据间隔Δt构建合作控制问题的多步决策过程。考虑每个时刻ti时虚拟列车b的速度vb,i和位置xb,i作为决策变量。为了减少TPSS故障的影响，该子模型旨在优化选择STS网络中的顶点并基于它们构建列车轨迹。这样，就可以得到控制策略和到达/出发时间作为合作控制结果。接下来，将基于STS网络制定目标函数和约束条件。

4.2.3. 目标函数
如第3.1节所述，供电能力的减少显著限制了列车可用的总功率需求。这一限制影响了列车速度和密度，从而降低了线路容量利用率，使其低于满足乘客需求所需的水平。为了减少UPSS的影响，合作控制的目标是最大化供应不足区域的线路容量利用率，具体公式如下：
(1)maxZshortage = 3600h￣ = 3600BvshortageD = 3600∑i∈I?I∑b∈BXb,(ti,ti+1)DT，
其中线路容量利用率最初是根据其定义计算的，即一小时通过固定点的列车数量。然后，为了便于在STS网络内建模线路容量利用率，计算将通过3个步骤进行转换。首先，平均发车间隔h￣表示为平均运行时间Tshortage和虚拟列车数量B的商。接下来，通过将长度D除以平均列车速度vshortage来推导Tshortage。最后，vshortage表示为总运行距离除以持续时间T。具体来说，Xb,(ti,ti+1)是列车b在时间单位(ti,ti+1)内的运行距离。Xb,(ti,ti+1)的计算公式为：
(2)Xb,(ti,ti+1) = {xb,i+1, 如果xb,i = eterminal；否则xb,i+1 = xeinitial；否则
?b∈B,i∈I?I，
其中xestation是站点e的位置。如果列车在供应不足区域内运行，则运行距离等于连续时间戳之间的位置差。当列车从eterminal出发时，它将通过想象段立即返回初始站点。因此，运行距离等于xb,i+1。

4.2.4. 供电能力的约束
在UPSS场景下，只有一个变电站为供应不足区域提供所有电力，这严格限制了列车可用的总功率需求。为了避免过载，需要制定电源容量限制。第一步是计算每列列车的瞬时功率。具体来说，通过 ub(τ)vb(τ) 来计算列车轴上的机械功率，其中 ub(τ) 和 vb(τ) 分别是虚拟列车 b 在时刻 τ 时的作用力和速度。考虑到包括转换、逆变和齿轮传动在内的过程中的功率损失，电能的利用效率为 Θ。此外，车载辅助设备（例如空调和照明设备）的辅助功率假设为常数值 Paux。然后，可以通过以下公式计算每个时刻的牵引功率：(3)Pbtrain(τ)=max{ub(τ)vb(τ),0}/Θ+Paux,?b∈B,τ∈[ti,ti+1]。在上述公式中，由于牵引和制动性能的限制，作用力 ub 必须满足以下条件（Chai 等人，2024年）：(4)?Fbrak,max(vb(τ))≤ub(τ)≤Ftrac,max(vb(τ)),?b∈B,τ∈[tpower,tend]，其中 Ftrac(v) 和 Fbark(v) 分别是在速度 v 时的最大牵引力和制动力。在本文中，使用了 Su 等人（2020年）提出的简化计算方法来制定这些条件：(5)Ftrac,max(v)={Ftrac,if0≤v≤vtrac; Ftrac?(v?vtrac)ωtrac,otherwise。在上述公式中，牵引力和制动力曲线可以分为两个部分。在第一部分中，随着列车速度的增加，最大牵引力 Ftrac 和制动力 Fbrak 保持不变。一旦速度超过 vtrac 和 vbrak 的阈值，最大牵引力和制动力将随速度减小。我们假设这种减小是线性的，其减小率分别由 ωtrac 和 ωbrak 给出。

计算瞬时列车功率的另一个关键点是获取速度 vb(τ) 和位置 xb(τ)，这可以通过以下公式得出：(7){vb(τ)=vb,i+∫tiτub(t)?qbasic(vb(t))?qextra(xb(t))mdt; xb(τ)=xb,i+∫tiτvb(t)dt,?b∈B,τ∈[ti,ti+1]，其中 qbasic 和 qextra 分别是基本电阻和额外电阻。基本电阻 qbasic 受多个因素的影响，包括轴承摩擦、滚动摩擦和空气摩擦，这导致了准确计算的难度。因此，本文采用了 Davis 方程进行近似计算，即 qbasic(vb(τ))=m(λ1vb,i2+λ2vb,i+λ3)，其中 λ1, λ2, λ3 是与车轮、轨道和列车空气动力学相关的 Davis 系数（Davis，1926年）。额外电阻 qextra 通常取决于环境状态。在 URT 线路中，坡度阻力占额外电阻的主要部分（Wang 等人，2021b年）。因此，使用公式 qextra(xb,i)=mgsin(?(xb,i) 来近似计算额外电阻，其中 ?(xb,i) 是在 xb,i 处的坡度角。

瞬时列车功率在一个时间单位内的不同时刻可能会变化。为了避免过载，使用每个时间单位内的最大牵引功率 Pb,(ti,ti+1)traction 来表示每列列车的功率需求，计算公式为：(8)Pb,(ti,ti+1)traction=max{Pbtrain(τ)},?b∈B,i∈I?I。此外，在大多数 URT 系统中，列车可以通过再生制动将动能转换为再生功率。产生的再生功率将被反馈到牵引电网中。如果在同一供电区域内有其他列车运行，产生的再生功率可以用来辅助牵引，从而减少对变电站的功率需求，并有可能减轻 UPS 的影响。因此，在协同控制模型中考虑了再生功率的利用。首先，应用公式 (9) 来计算列车 b 在时间单位 (ti,ti+1) 内产生的平均再生功率 Pb,(ti,ti+1)regenerative：(9)Pb,(ti,ti+1)regenerative=?∫titi+1(?min{ub(τ)vb(τ),0})dtΔt,?b∈B,i∈I?I，其中 ? 是将动能转换为再生功率的效率。

考虑到牵引功率和再生功率，制定了以下电源容量限制以控制总功率需求在额定范围内：(10)max{∑b∈BPb,(ti,ti+1)traction?∑b∈BPb,(ti,ti+1)regenerative,0}≤Pmax,?i∈I?I。在上述公式中，无法立即被牵引列车使用的再生功率将通过电阻器耗散。Pmax 是供应不足区域的总功率需求限制。

4.2.5. 额外限制
除了电源容量限制外，在供应不足区域运行的列车还必须满足额外的限制，这些限制由公式 (11)–(16) 表达：(11)db+1,e,w?db,e,w≥h1dep?dep,min,?e∈Eshortage,b∈B?B,w∈W。 (12)ab+1,e,w?db,e,w≥h1dep?arr,min,?b∈B/B,e∈Eshortage?eterminal,w∈W。 (13)ab,einitial,w+1=db,eterminal,w,?b∈B,w∈W?W。 (14)tedwell,min≤db,e,w?ab,e,w≤tsdwell,max,?e∈Eshortage,b∈B,w∈W。 (15)te,e+1run,min≤ab,e+1,w?db,e,w≤te,e+1run,max,?e∈Eshortage?eterminal,b∈W。 (16){vb,i=0,ifxb,i∈Xstation00, vb,i=0；b) xb,i=xestation；c) w=?[(xb,1+∑ι=1i?1Xb,(tι,tι+1))]/D?。同样，离开时间 db,e,w=ti 在满足三个条件时确定：a) vb,i=0, vb,i+1>0；b) xb,i=xestation；c) w=?[(xb,1+∑ι=1i?1Xb,(tι,tι+1))]/D?。关于上述公式的含义，公式 (11) 是最小发车间隔的约束。为了确保列车运行的安全，连续发车之间的间隔应大于 h1dep?dep,min（Zhan 等人，2021年）。同样，公式 (12) 限制了前车出发和后车到达之间的间隔等于或大于 h1dep?arr,min。当应用 ISM 方法时，列车应在离开终点站后立即返回起始站。因此，公式 (13) 确保从 eterminal 出发的时间与下一个周转周期在 einitial 的到达时间一致。公式 (14) 是停留时间的约束，以确保有足够的时间让乘客上下车同时保持服务质量（Yin 等人，2023年）。公式 (15) 是站间运行时间的约束，这与线路条件、牵引/制动性能、服务质量需求等因素有关（Wang 等人，2022年）。公式 (16) 是速度限制的约束，以防止超速或站间停车，其中 vmax(x) 是位置 x 处的速度限制。

4.3. 供应充足区域的第一阶段 TTR 模型
4.3.1. 目标函数
在 UPS 情况下，供应不足区域线路容量利用率的降低会相应影响供应充足区域的列车运行。因此，还需要根据协同控制结果重新安排这些区域的列车时刻表。与供应不足区域不同，供应充足区域的充足电源使线路容量利用率能够保持在一个更高的水平。因此，这些区域的 TTR 模型同时考虑了乘客需求，并试图系统性地最小化 UPS 的负面影响。为此，提出了一个两阶段的 TTR 模型。在第一阶段，重新安排到达/出发时间和车辆循环计划，目的是最大化线路容量利用率，不考虑乘客需求。在第二阶段，纳入详细的乘客起点-终点 (OD) 信息，并通过最小化乘客的总等待时间来进一步微调到达/出发时间，从而确保服务质量（Hong 等人，2021年）。

在第一阶段，目标函数 Zcapacity 从运营角度定义 (17)：遵循给定时间内停站次数越多，线路容量利用率越高的原则，旨在最大化 TPSS 故障期间的列车停站次数：(17)maxZcapacity=∑k∈K1up∑e∈E/Eshortageηk,e+∑k∈K1dn∑e∈Eηk,e，其中 K1up 和 K1dn 分别是上游和下游服务的集合。E 是整条线路上的车站集合。ηk,e 是一个二进制变量，用于判断服务 k 是否在故障期间停在车站 e，可以通过以下公式计算：(18)ηk,e=(1?ζk,e)×ρk,e,?k∈K1up∪K1dn,e∈E，其中 ρk,e 和 ζk,e 都是二进制变量。ρk,e 用于判断服务 k 在故障结束前的到达时间，可以通过以下 IF-THEN 规则表示：(19)ρk,e={1,ifak,e≤tend; otherwise,?k∈K1up∪K1dn,e∈E。在上述公式中，ak,e 是列车在车站 e 的到达时间，tend 是 TPSS 故障的结束时间。

在公式 (18) 中，二进制变量 ζk,e 用于确定服务 k 在车站 e 的计划停站是否取消。如果没有备用列车或周转列车可以执行服务 k，则服务 k 只能取消，即 ζk,e=1；否则，ζk,e=0。因此，ζk,e 的计算公式为：(20)ζk,e={1?βk,1?∑k′∈K1dnδk′,k,?k∈K1up,e∈E; 1?βk,E?∑k∈K1upδk,k′,?k∈K1dn,e∈E，其中二进制变量 βk,e 决定服务 k 是否由站 e 附近的备用列车执行。δk,k′ 用于判断执行服务 k 的列车在回程后是否继续执行服务 k′。

4.3.2. 时间同步约束
为了确保全局列车重新调度方案的可行性，TTR 模型是基于协同控制结果构建的。具体来说，需要满足第 3.1 节介绍的时间同步约束，即供应不足区域边界的进入/离开时间必须与协同控制结果一致。为了实现这一目标，首先需要提取协同控制结果中的进入/离开时间。根据第 4.2 节制定的数学模型，我们获得了每个虚拟列车的轨迹（即速度集合 Vb={vb,1,vb,2,?,vb,I} 和位置集合 Xb={xb,1,xb,2,?,xb,I} 在供应不足区域。由于每个虚拟列车执行了几项原本由实体列车执行的服务，因此需要通过分配虚拟列车的轨迹来获取实体列车的轨迹，具体方法如下。

下载：下载高分辨率图像（216KB）
下载：下载全尺寸图像
算法 1. 将虚拟列车轨迹转换为实体列车轨迹。

在算法 1 中，根据协同控制结果提取轨迹和进入/离开时间。然后，基于初始列车位置构建两种情况下的时间同步约束：
• 情景 1：Jstart,in 是故障发生时位于供应不足区域内的列车集合（如图 8a 所示）。恢复运行后，列车 j∈Jstart,in 将继续执行其计划的服务 kjplan，即 θkjplan,j=1，其中 θk,j 是判断列车 j 是否执行服务 k 的二进制变量。此外，为了确保时间同步约束，列车 Jstart,in 在边界处的离开时间 dkjplan,e 必须满足以下约束：(21)dkjplan,e=d^j,e,?j∈Jstart,in,e∈{einitial,eterminal}。

下载：下载高分辨率图像（272KB）
下载：下载全尺寸图像
图 8. 不同情况下的进入/离开时间同步。

• 情景 2：故障发生时列车 j∈Jstart,out 在供应不足区域之外（如图 8b 所示）。在这种情况下，执行的服务是不确定的，需要通过二进制变量 θk,j 来确定。如果 θk,j=1，则服务 k 在边界的离开时间应与协同控制结果中的列车 j 的时间一致，如公式 (22) 所示：(22)dk,e=d^j,e,ifθk,j=1,?j∈Jstart,out,e∈{einitial,eterminal},k∈K1up。还有一些额外的约束需要满足，以确保进入/离开时间的一致性。首先，供应不足区域内的每列列车应执行一项服务，如公式 (23) 所示：(23)∑k∈K1upθk,j=1,?j∈J。其次，每项服务要么被取消，要么必须由一辆列车执行，如公式 (24) 所示：∑j∈Jθk,j≤1,?k∈K1up。最后，供应不足区域内必须有可用列车来执行每项服务，公式表示为：(25)∑j∈Jθk,j≤(1?σk,e)(1?ζk,e),?k∈K1up,e∈E。

4.3.3. 进入/离开车厂的约束
本文假设 URT 线路的兩端各有一个车厂。运行的列车可以返回任何车厂并停止运行。如果列车在执行服务 k 后返回车站 e 附近的车厂，则 αk,e=1；否则，αk,l=0。此外，车厂内的备用列车可以通过采取备用列车使用措施进入主轨道。

在 UPS 情况下，关于 TPSS 故障的信息只有在故障发生时才可用。因此，故障时间 tfault 之前的列车循环方案必须与原计划完全相同，如公式 (27) 所示：(27){βk,1=β￣k,1,ifaˉk,1≤tstart,?k∈K1up; αk,1=α￣k,1,ifdˉk,1≤tstart,?k∈K1up; βk′,E=β￣k′,E,ifaˉk′,E≤tstart,?k′∈K1dn; αk′,E=α￣k′,E,ifdˉk′,E≤tstart,?k′∈K1dn，其中 aˉk,e 和 dˉk,e 是服务 k 在车站 e 的计划到达和离开时间。β￣k,e 和 α￣k,e 是操作计划中进入/离开车厂的二进制变量。

此外，每个车厂内的备用列车数量是有限的，这限制了每车厂离开的总列车数量，公式表示为：(28)∑k∈K1up∪K1dnβk,e≤ce,?e∈E。

4.3.4. 到达/出发时间约束
在 TPSS 故障之前，列车按计划时刻表运行。因此，实际的到达和离开时间应与计划时间一致：(29){ak,e=aˉk,e,ifaˉk,e≤Tstart; dk,e=dˉk,e,ifdˉk,e≤Tstart,?k∈K1up∪K1dn,e∈E。对于未取消的服务（即 ζk,e=0），停留时间和运行时间的约束分别由公式 (30) 和 (31) 表示。在第一阶段，停留时间被制定为确定性决策变量，受 [tedwell,min,tedwell,max] 的约束，以保证基本的运营可行性并防止极端延误。在第 4.5 节介绍的第二阶段模型中，乘客流的变化将被纳入停留时间的确定中。 (30)tedwell,min≤dk,e?ak,e≤tedwell,max,ifζk,e=0,?k∈K1up∪K1dn,e∈E。 (31){te,e+1run,min≤ak,e+1?dk,e≤te,e+1run,max,ifζk,e+ζk,e+1=0,?k∈K1up,e∈E; te,e+1run,min≤ak′,e?dk′,e+1≤te,e+1run,min,ifζk′,e+ζk′,e+1=0,?k′∈K1dn,e∈E?E}。

4.3.5. 列车等待约束
当发生 TPSS 故障时，应首先采取列车等待措施，使列车在附近的车站或区段停止。在组织单边供电模式之前，列车不能重新启动运行。为此，需要为三种情况构建列车等待约束：
• 情景 1：执行服务 k 的列车 k∈K1dwell 在故障发生时停留在一个车站（见图 9a），该车站直接指定为 ekhold。火车将停留在Ekhold站，直到组织单边供电模式。在Ekhold站的到达/离开时间应满足以下条件：(32)ak, ekhold=aˉk, ekhold, dk, ekhold≥tpower, ?k∈K1dwell。下载：下载高清晰度图片（333KB）下载：下载全尺寸图片。图9. 根据初始火车位置划分的火车停留场景类别。•场景2：执行服务k∈K1arrive的火车在某个区间内运行且前方没有其他火车（见图9b），它将滑行到下一个站点并在那里停留，直到单边供电模式被组织起来，使该站点成为Ekhold。在Ekhold站的到达/离开时间应满足(33)ak, ekhold=tk, ekholdreach, dk, ekhold≥tpower, ?k∈K1arrive，其中tk,reach是服务k到达站点e的时间。•场景3：执行服务k∈K1segment的火车在某个区间内运行，但前方有另一辆火车（见图9c），它将在该区间内直接停留，直到单边供电被组织起来，紧邻的站点被定义为Ekhold。在Ekhold站的到达时间应满足(34)ak, skhold≥tpower+tkremain, ?k∈K1segment，其中tkremain是服务k在重新开始运行后到达Ekhold站的最短时间。

4.3.6. 最小车头时距的约束
为了确保火车运行的安全，任意两列服务的出发时间必须满足公式(35)中的最小车头时距约束。(35)dk,e?dk′,e≥h2dep?dep,minγk,k′,e, ?e∈E,k∈K1up∪K1dn,k′∈[1,k?1]，其中二进制变量γk,k′,e用于判断服务k和服务k′是否在站点e都没有被取消。如果是这样，出发车头时距不应小于h2dep?dep,min，此时γk,k′,e=1。γk,k′,e的计算公式为(36)γk,k′,e=(1?ζk,e)(1?ζk′,e), ?e∈E,k,k′∈K1up∪K1dn。此外，前车的出发时间与后车的到达时间之间的最小间隔也不应小于h2dep?arr,min，如公式(37)所示。

4.3.7. 终点到站点的折返约束
火车从终点站出发后可能会折返并反方向运行另一个服务。由于线路基础设施和信号系统等因素的影响，折返时间不应少于最小折返时间tturn,min（Yang等人，2024年），其公式为(38)。另外，服务的衔接关系必须满足公式(39)–(41)。

4.4. 反馈调整机制以确保时间同步
第4.2节和第4.3节分别提供了供电不足区域和供电充足区域的火车调度模型。其中，边界处的时间同步约束对于保证全局解决方案的可行性至关重要。然而，如第3.1节所述，包括URT线路拓扑结构、备用火车数量以及牵引/制动性能等因素可能会使得满足时间同步约束变得困难。因此，在某些情况下，无法仅通过结合两个子问题的结果直接获得一个可行的火车调度方案。为此，本文提出了一种反馈调整方法。在该方法中，如果存在难以同步的进出时间，TTR模型中的时间同步约束将会被放宽，即公式(23)将被软约束(42)替代。该公式限制每列火车最多只能执行一个服务。

4.5. 第二阶段模型公式
4.5.1. 目标函数
在第二阶段，到达时间ak,e和出发时间dk,e被视为决策变量，需要根据第一阶段的优化结果从乘客的角度进行微调。具体来说，目标函数Zpassenger通过公式(44)来衡量供电充足区域乘客的总等待时间，旨在尽可能保持服务质量。(44)vminZwait=∑k∈K2up∑e∈Ek?EshortageTk,ewait+∑k∈K2dn∑e∈EkTk,ewait。在上述目标函数中，K2up和K2dn分别表示故障期间实际运行的上游和下游服务集合，这些集合可以根据第一阶段的优化结果得出。Ek表示故障期间服务k实际经过的站点集合。Tk,ewait表示乘客在站点e等待服务k的时间，计算公式如下：(45)Tk,ewait={∑e′∈Ek(nk,e,e′wait-OD+ne,e′init-wait)2(dk,e?tpower)if k=kefirst；∑e′∈Ek(nk,e,e′wait-OD+nk?1,e,e′remain-OD)2(dk,e?dk?1,e)otherwise, ?k∈K2up∪K2dn,e∈Ek。在上述公式中，如果k是在单边供电模式组织后第一个到达站点e的服务（即k=kefirst），则等待时间Tk,ewait可以根据UPSS开始时在站点e等待前往e′服务的乘客数量ne,e′init-wait，以及服务k离开时从站点e上车准备前往e′的乘客数量nk,e,e′wait-OD来计算；否则，Tk,ewait根据nk,e,e′wait-OD和服务k-1离开后仍留在站点e的乘客数量nk,e,e′remain-OD来计算。具体来说，nk,e,e′wait-OD的计算公式为(46)nk,e,e′wait={ne,e′init-wait+ne,e′arrive(dk,e?tpower)if k=kefirst；nk,e,e′remain+ne,e′arrive(dk,e?dk?1,e)otherwise, ?k∈K2up∪K2dn,e,e′∈Ek。接下来，可以根据公式(47)计算在站点e等待服务k的乘客数量nk,ewait：(47)nk,e,ewait=∑e′∈Eknk,e,e′wait, ?k∈K2up∪K2dn,e∈Ek。鉴于服务容量C是有限的，上车乘客数量nk,eboard的计算公式为(48)。具体来说，如果站点e是Ekhold（如第4.3.5节所述，火车在此站停留），则nk,eboard是等待乘客数量、剩余列车容量以及在停留时间内允许上车的最多乘客数量的最低值；在其他站点，还需考虑已经在车上乘客nk,e?1onboard和下车的乘客nk,ealight。(48)nk,eboard={min{nk,ewait,C,ωe(dk,e?ak,e)}if e=ekhold；min{nk,ewait,C?nk,e?1onboard+nk,ealight,ωe(dk,e?ak,e)}otherwise。在上述公式中，nk,eboard可以表示为在站点e等待前往不同终点站e′的服务k的上车乘客总和，如公式(50)所示。根据Yuan等人（2022年）的研究，本文假设前往不同目的地的乘客按比例到达每个站点并上车，因此nk,e,e′board-OD是根据公式(51)估算的。(50)nk,eboard=∑e′∈Eknk,e,e′board-OD, ?k∈K2up∪K2dn,e∈Ek。(51)nk,eboard=∑e′∈Eknk,e,e′wait-OD,nk,e,e′board-OD, ?k∈K2up∪K2dn,e,e′∈Ek。然后，根据每个站点的上车和下车乘客数量，可以计算出在站点e上服务的乘客数量nk,eonboard：(52)nk,eonboard={nk,eboard?nk,ealightif ∈{1,ekhold}；nk,e?1onboard+nk,eboard?nk,ealightotherwise, ?k∈K2up∪K2dn。通过(53)可以计算出在站点s从服务k下车的乘客数量nk,ealight：(53)nk,ealight=∑e′∈Eknk,e′,eboard-OD, ?k∈K2up∪K2dn,e∈Ek。结合等待乘客和上车乘客的数量，可以计算出服务k离开后在站点e剩余的乘客数量nk,e,e′remain-OD：(54)nk,e,e′remain-OD=nk,e,e′wait-OD?nk,e,e′board-OD, ?k∈K2up∪K2dn,e,e′∈Ek。

4.5.2. 到达/离开时间的约束
与第二阶段类似，微调后的到达时间ak,e和出发时间dk,e必须满足停留时间约束(55)、运行时间约束(56)、最小车头时距约束(57)-(58)以及最小折返时间约束(59)。(55)tedwell,min≤dk,e?ak,e≤tedwell,max, ?k∈K2up∪K2dn,e∈Ek；(56)te,e+1run,min≤ak,e+1?dk,e≤te,e+1run,max, ?k∈K2up∪K2dn,e∈Ek?E；(57)dk+1,e?dk,e≥h2dep?dep,min, ?e∈Ek,k∈K2up∪K2dn；(58)ak+1,e?dk,e≥h2dep?arr,min, ?e∈Ek,k∈K2up∪K2dn；(59){dk′,E?ak,E≥tturn,min,if δk,k′=1；dk,1?ak′,1≥tturn,min,if δk,k′=1, ?k∈K2up,k′∈K2dn。

4.6. 恢复期间的TTR模型
在TPSS故障情况下，URT公司的工作人员将现场修复故障设备。随后，整个线路的供电能力将恢复正常。然而，由于严重的火车延误，需要通过重新安排火车时刻表来恢复计划中的列车运行。类似的问题的建模方法已在之前的文献中进行了研究（例如，Dong等人，2024年；Gkiotsalitis和Cats，2020年；Su等人，2023年；Zhan等人，2024年）。为了确保本研究的完整性，我们将扩展现有方法来构建恢复期间的TTR模型。基于第一阶段和第二阶段中对供电不足区域和供电充足区域的火车调度结果，我们提取出每列火车的位置以及故障解决后它所执行的服务。由此，我们计算出在相应站点或前方车站的火车延误时间。然后，构建一个TTR模型，其目标是最小化计划到达/离开时间与实际到达/离开时间之间的总偏差，以确保系统尽快恢复正常运行。模型构建的详细内容见附录B。通过结合离线训练和实时执行，可以使用预训练的控制器快速生成控制策略。然而，传统的强化学习算法仍然无法保证控制策略的安全性，这可能导致超速和碰撞等风险（赵，2023年）。这个问题仍然是阻碍此类算法实际应用的主要障碍。为了保证控制策略的安全性，SRL算法作为一种有前景的方法被提出用于自动驾驶列车控制（赵，2023年；赵等人，2022年）。通常，SRL中的保护机制可以分为三类：

- **压缩解空间**：通过这种机制，违反安全相关约束的不可行状态将从解空间中明确移除。通过限制可行状态集，可以确保所有剩余的操作都是安全的。例如，在图11a中，所有违反速度限制约束的状态（用红点表示）都被移除，从而确保优化的控制策略（用绿色箭头表示）始终是可行的。这种机制对于直接与状态变量相关的约束特别有效，如保持列车速度、停留时间和运行时间在额定范围内。然而，对于与操作相关的约束效果较差（赵等人，2022年）。例如，这种方法难以应用与控制策略相关的供电容量约束（即公式（10））。

- **添加惩罚项**：在这种机制中，安全相关的约束将被转换为软约束。如图11b所示，如果发生不安全操作（即违反安全相关约束的操作），将向奖励中添加一个惩罚项。这样，在训练和执行过程中，惩罚项会偏向于选择安全的操作。例如，Wang等人（2023a）提出了一个针对供电容量约束的惩罚项。如果某个操作导致过载，代理将会收到较大的惩罚。然而，由于惩罚项可以显著增加选择安全操作的可能性，因此仍然不能严格保证执行操作的安全性。

- **添加屏蔽机制**：通过这种机制，屏蔽器作为一个过滤器，只允许安全操作。根据屏蔽器在算法中的位置，可以将其分为预防性屏蔽（PRS）和事后屏蔽（POS）。如图12a所示，PRS需要在选择之前评估每个操作的可行性，从而从操作集中消除所有不安全操作。相比之下，当使用POS时（如图12b所示），首先选择一个操作，然后检查是否满足安全相关约束。如果满足，则直接执行该操作；否则，屏蔽器将阻止其执行并选择安全的替代操作。例如，当控制策略导致超速时（图11c中的红色箭头所示），执行将被阻止，而是选择安全的控制策略（用蓝色箭头表示）。此外，在执行过程中，也可以通过在预训练的控制器中插入环境状态来确保控制策略的可行性。

基于上述保护机制的特点，设计了一种HSDQN算法来解决合作控制问题。该算法同时整合了三种保护机制来处理不同的安全相关约束。具体来说，应用解空间压缩来处理停留时间（公式（14））、站间运行时间（公式（15）和速度限制（公式（16）的约束。同时，为了满足最小车头时距约束（公式（11），（12）和供电容量约束（公式（10）），考虑了添加惩罚项和屏蔽器的保护机制。一方面，为车头时距约束设计了PRS，而为供电容量约束实施了POS，以确保所有不安全操作都被阻止。另一方面，当选择违反安全相关约束的不安全操作时，相应的转换体验会以较大的惩罚项存储在回放缓冲区中，从而在后续采样过程中阻止再次选择相同的操作。

在所提出的HSDQN算法中，这三种保护机制被集成到DQN框架中。如图13所示，供电量不足区域的所有列车被集体建模为一个多智能体系统（Panait和Luke，2005年）。由于供电量不足区域内同时运行的列车数量相对较少（即单个供电段内的单向列车），我们采用了Panait和Luke（2005年）引入的团队学习范式进行训练。具体来说，一个集中式控制器观察所有列车的全球状态、操作和奖励，然后为每列列车输出单独的控制策略。这样，就可以应用单智能体RL技术（例如，DQN算法Kurek和Ja?kowski，2016年）来生成策略。

然后，将详细介绍设计的算法。首先，为合作控制问题介绍Contained Markov Decision Process（CMDP）框架。接下来，开发了三种保护机制以避免选择不安全操作。最后，介绍了结合了这些保护机制的HSDQN算法。

5.1.1 合作控制问题的CMDP框架
在本节中，合作控制问题在CMDP框架内进行建模，以实现在不安全相关约束下最大化线路容量利用率的目标。CMDP的关键思想是下一个状态和奖励仅取决于当前状态和操作。这种马尔可夫属性是确保所提算法正确学习和收敛的理论基础。CMDP还允许根据当前观测值更新价值函数和策略，而无需存储或计算长时间的历史数据，从而大大减少了计算负担。

CMDP框架定义为一个元组〈S,A,P,R,C,γ〉，其中包括六个元素：状态空间、动作空间、状态转换函数、奖励函数、约束违反成本和折扣因子。具体来说，我们的方法将供电量不足区域内的所有列车B建模为一个多智能体系统。在每个时间步长i，可以通过URT中的基于通信的列车控制（CBTC）系统获得环境的全球状态si∈S。根据观测到的状态，首先生成代理的联合动作空间A。然后，基于PRS屏蔽识别出违反最小车头时距约束的操作。剩余的操作形成安全动作集Aheadway。接下来，根据确定性策略π(a|s)，选择满足最小车头时距约束的联合操作aiorigin∈Aheadway。如果选中的操作违反供电容量约束，则选择安全操作aisafe。执行操作后，环境状态将根据函数P:S×A×S→[0,1]转换到下一个状态。同时，代理将收到一个全球奖励ri:S×A→R。这样一来，训练过程中的策略更新始终面向全球目标，确保列车之间的协调运行。SRL的目标是最大化折扣回报R=∑i=1I?1(γiri)，即实际在环境中执行的操作所产生的折扣奖励之和，其中γ∈[0, 1)是确保收敛的折扣因子。最后，如果选择了违反供电容量约束的不安全操作，则将惩罚项ci:S×A→C分配给状态-动作对，并将此样本存储在回放缓冲区中以降低未来选择此不安全操作的概率。

接下来将详细定义关键元素：
- **状态**：全球状态si=[sitrain,tielapsed,tiremain]由三个部分组成。其中，sktrain=[s1,itrain,…,sB,itrain]表示所有虚拟列车的联合状态。每个虚拟列车的状态包含三个变量，即sb,itrain=(vb,i,xb,i,nb,i)。具体来说，速度vb,i和位置xb,i决定了在STS网络中选择哪个顶点。变量nb,i表示从ti到虚拟列车b离开或到达车站的最新时间之间的时间跨度，如公式（64）所示。nb,i可以通过移除违反停留时间和站间运行时间约束的状态来压缩解空间，这在5.1.2节中有讨论。
- **动作**：列车的联合动作定义为ai=[a1,i,…,aB,i]，其中ab,i表示在时间单位（ti,ti+1）内执行的列车b的控制策略。通过采取动作ab,i，列车状态将在STS网络中从一个顶点确定性地转换到另一个顶点。因此，动作可以表示为ab,i=(vb,i,xb,i,vb,i+1,xb,i+1)，这决定了两个顶点之间的控制策略。
- **状态转换**：采取所选动作后，环境状态将从si更新为si+1。转换公式如下：
- (65) vb,i+1=vb,i+∫titi+1ub(t)?qbasic(vb(t))?qextra(xb(t))mdt,?b∈B,i∈I?I
- (66) xb,i+1=xb,i+∫titi+1vb(t)dt,?b∈B,i∈I?I
- (67) nb,i+1={nb,i+Δt,if(vb,i>0,vb,i+1>0)否则vb,i+1=0
- (68) te,i+1elapsed={Δt,ifvb,i=0,vb,i+1>0}否则te,ielapsed+Δt
- (69) ti+1remain=tiremain?Δt,?i∈I?I
公式（65）和（66）分别展示了时间单位内的速度和位置转换。在公式（67）中，当列车到达或离开车站时，nb,i的定义会在当前停留时间和当前运行时间之间切换。如果定义切换，nb,i的值将重置为0；否则，nb,i增加Δt。在公式（68）中，当列车离开车站e时，te,ielapsed的值将重置为Δt。在公式（69）中，剩余时间tiremain在每一步都会减少Δt。
- **奖励**：为了实现最大化供电量不足区域内线路容量利用率的目标，每一步的奖励定义如下：
(70) ri=∑b∈BXb,(ti,ti+1),?i∈I/I，其中ri表示总运行距离，与第4.2节中介绍的线路容量利用率成正比。
- **约束违反成本**：根据惩罚项的保护机制，如果选择了不安全操作，则将约束违反成本加到奖励中。在合作控制问题中，违反供电容量约束的成本定义如下：
(71) ci=min{0,Pmax?max{∑b∈BPb,(ti,ti+1)traction?∑b∈BPb,(ti,ti+1)regenerative,0}

5.1.2 合作控制问题的保护机制
为了确保列车运行的安全性，在设计的算法中开发了三种保护机制：
- **首先，应用压缩解空间的方法来解决速度限制、停留时间和运行时间的安全相关约束。具体来说，有两个规则用于移除不可行状态：**
- 如果（nb,i>tedwell,max, xb,i∈Xstation）或（nb,ite,e+1run,max, xb,i?Xstation）或（nb,i< />这种方法确保只有满足最小间隔约束的动作才能被选为执行选项，从而防止违反这些约束的不安全动作（Alshiekh等人，2018年）。•对于电源容量约束的POS：由于PRS方法可以有效消除违反安全相关约束的动作，因此在处理复杂约束时（例如控制多列火车的总功率需求低于额定值），其计算复杂性相当高。这些约束与所有在供电不足区域的火车的联合功率状态有关。如果使用PRS，将需要遍历一个巨大的联合动作空间，且随着火车数量的增加，训练时间会呈指数级增长，这会影响解决效率。为了解决这个问题，采用了POS屏蔽机制来处理电源容量约束。在这种方法中，代理最初从动作空间Aiheadway中选择任何动作。如果选择了会导致过载的不安全动作（即max{∑b∈BPb,(ti,ti+1)traction?∑b∈BPb,(ti,ti+1)regenerative,0}>Pmax），屏蔽机制将阻止其执行，并选择另一个安全动作。POS屏蔽机制可以在执行前直接拦截和纠正任何选定的不安全动作，从而确保只执行安全动作。此外，与PRS相比，这种方法显著降低了验证电源容量约束合规性所需的计算复杂性。虽然惩罚项通过策略训练降低了选择不安全动作的概率，但所提出的POS安全屏蔽机制可以在执行前直接拦截和纠正任何选定的不安全动作，从而确保物理电源系统中只执行安全控制动作。•最后，添加了一个惩罚项以减少训练过程中选择不安全动作的频率。具体来说，如果过载是由采取不安全动作引起的，则会将约束违反的成本ci纳入状态-动作对中。然后，带有惩罚项的转换经验将被添加到重放缓冲区中。通过后续采样和训练，这种方法可以显著降低选择导致过载动作的可能性。5.1.3. 用于协作控制问题的算法设计通过将上述保护机制结合到传统的DQN算法中，设计了一种称为HSDQN的SRL算法来解决协作控制问题。该算法的主要目标是学习最大化预期折扣回报的最优策略π*(si)：Eπ{∑ι=iI?1γι?i[ri|si,π]}。为了实现这一目标，一种有效的方法是估计每个状态-动作对的最优动作价值函数（即Q函数Q*(si,a)）。最优策略可以表示为π*(si)=argmaxaQ*(si,a)。基于这个想法，DQN算法作为一种基于价值的强化学习方法，使用深度神经网络来近似最优Q函数。通过迭代训练，可以获得由?*参数化的近似最优控制器。通过整合上述保护机制，HSDQN算法的训练过程使用算法2中的伪代码表示。在每一步中，该算法首先通过PRS屏蔽机制移除违反最小间隔约束的不安全动作。然后，使用?-贪婪策略选择原始动作。POS屏蔽机制将检查所选动作是否满足电源容量约束。在使用重新选择的机制选择安全动作后，转换经验将被存储在经验重放缓冲区中。在训练期间，从缓冲区中抽取一小批经验，并使用随机梯度下降（SGD）方法更新DNN参数。下载：下载高分辨率图像（217KB）下载：下载全尺寸图像算法2. HSDQN算法的训练过程。预训练后，学到的策略作为控制器，可以为供电不足区域的火车实时生成控制策略。如图3所示，为了确保控制策略的可行性，当发生TPSS故障时，首先通过PRS计算满足最小间隔约束的动作集Aheadway。然后，基于POS应用贪婪策略选择满足所有安全相关约束的动作。最后，这些动作在故障期间被输出为可行的列车控制策略。在上述执行过程中，无论预训练收敛后获得了哪些策略，所提出的算法仍能通过屏蔽机制确保结果的可行性。下载：下载高分辨率图像（192KB）下载：下载全尺寸图像算法3. HSDQN算法的执行。5.2. 供应充足区域的TTR问题解决方法如4.3节和4.5节所述，本文为供应充足区域的TTR问题构建了一个两阶段优化模型。第一阶段模型可以直接使用附录D中介绍的线性化方法转换为MILP形式，并在短时间内求解。同样，第二阶段模型中的非线性约束（48）在D中进行了线性化。然而，二次约束（45）和（51）无法精确线性化。因此，借鉴Su等人（2025年）提出的方法，本节将第二阶段的TTR模型分解为几个MIQCP子模型，每个子模型分别微调单个服务的到达和离开时间，从而显著降低了计算复杂性。尽管如此，间隔约束（57）、（58）和折返时间约束（59）涉及不同服务之间的耦合关系。为了确保解耦子模型的解满足所有约束，设计了以下设置调整范围的方法。具体来说，每个服务的到达和离开时间应满足约束（72），其中ak,elb和dk,eub分别表示到达时间的下限和离开时间的上限。(72)ak,elb≤ak,e相比之下，在所提出的算法中使用PRS屏蔽时，会预先排除违反最小时间间隔约束的不安全行为，因此无需多次重新选择行为。此外，如果将用于供电容量约束的屏蔽方式从POS更改为PRS，解决方案的质量会略有提高，但训练时间会显著增加，特别是当UPSS持续时间为1500秒时，训练时间会增加到134.2小时，这使得在大规模问题中使用时变得困难。主要原因是PRS屏蔽需要预先检查每个联合行为是否满足供电容量约束。因此，它需要大量的计算来排除所有不安全行为，从而导致较长的训练时间。接下来，为了验证所设计算法的有效性，将比较HSDQN算法和DP方法的表现。具体来说，DP可以获得合作控制问题的最优解。该方法将原始问题在时间上离散化为多步决策过程，并使用线路容量利用率作为成本函数来求解最优解。然而，当处理大规模问题时，DP算法的内存需求和计算时间显著增加。因此，在这次比较中考虑了更大的速度间隔Δv（即20公里/小时）和更短的UPSS持续时间T（即300秒、350秒、400秒、450秒），以减少状态和行为空间，确保DP的可行性。表3显示了上述算法的比较结果。

在持续300-450秒的UPSS场景中，所提出的HSDQN算法获得的结果均能够匹配DP算法获得的最优解。此外，HSDQN与最优解的平均偏差分别为0%、0%、1.7%和2.5%，并且没有任何结果导致过载。另外，DP算法获得最优解所需的时间为341.5-1010.2秒，而所提出的方法仅基于预训练的控制器就能在0.2秒内获得控制策略，显示出在计算时间上的显著优势。

接下来，将比较HSDQN与其他三种基于强化学习的（RL）算法的性能。结果数据列在表4中。

为了进一步研究所提出算法的可扩展性，我们进行了一组敏感性分析实验，比较了在不同数量的参与合作控制的列车下HSDQN和CMB-IDQN的解决方案质量和训练时间。由于该实验涉及更多的列车（最多八列），为了满足最小时间间隔约束，我们假设UPSS发生在相对较长的区域内（TJN-YZQ），并且列车的初始位置与故障开始时的计划时刻表一致。相应的结果如图19所示。

结果表明，随着列车数量的增加，线路利用率总体上呈现出上升趋势。然而，由于涉及列车的数量与其平均速度之间的权衡（即当列车数量增加时，每列车的牵引功率受到更严格的限制，导致平均速度降低），线路利用率的增长率逐渐下降。此外，由于采用了保护机制，当列车数量在1到5列时，HSDQN的解决方案质量始终优于CMB-IDQN算法，使线路利用率提高了0.4%-2.2%。尽管如此，由于HSDQN采用集中式训练形式，它将受供应不足区域内的所有列车视为一个单一代理进行全局重新调度。因此，随着列车数量的增加，动作空间迅速扩大，导致内存需求增加和计算时间急剧上升。然而，如第1节所介绍的，在UPSS场景中，受供应不足的区域严格限制在两个相邻牵引变电站之间的单一方向内。根据URT设计规范，每个供电段的长度不会超过两个站段之间的距离。因此，即使所有列车都以最小时间间隔运行（实际中大约为120秒），受影响区域内的列车数量也永远不会超过四列。因此，所提出的HSDQN方法对于所有实际的UPSS场景都是可扩展的，并且性能优于分布式训练算法CMB-IDQN。

本节将验证所提出方法在整个线路范围内的列车重新调度问题中的有效性。为了公平起见，每组实验都是基于合作控制的中位结果，并使用第4.3-4.6节中提出的模型来推导重新调度方案。例如，图20a展示了在RJ和WHY站点之间发生持续1500秒的UPSS时的重新调度时刻表。红色和黄色区域分别表示受供应不足区域和供应充足区域的重新调度时刻表。根据时刻表，反馈调整方法有效地同步了不同区域的列车重新调度结果，确保了全局解决方案的可行性。具体来说，取消了对同步进入时间（用蓝色环表示）和相应列车轨迹（蓝色虚线）的挑战，使得其他同步时间对于列车进入（绿色环）和离开（橙色环）受供应不足区域成为可能。同时，备用列车的使用和返回仓库的措施允许灵活地重新安排列车运行计划。在故障期间，两列备用列车离开仓库提供服务（用红色点表示），而两列正在运行的列车返回仓库（用黑色点表示）。上述列车运行计划的重新调度过程有效地提高了线路利用率并减少了乘客的总等待时间。

此外，为了验证本文提出的分布式列车重新调度方法的有效性，我们将其与基于最大牵引功率的TTR方法进行了比较。该方法首先根据显著增加的最小时间间隔调整受供应不足区域的到达和离开时间，确保供电容量能够支持所有列车同时施加最大牵引功率。然后，根据本文提出的子模型，对其他区域和时间段进行列车重新调度。模拟结果如表5所示。

与基于最大牵引功率的TTR方法相比，所提出的方法在线路利用率和总等待时间方面都保持了优势。首先，整体线路利用率在所提出的方法下分别增加了7.8%、10.4%和14.8%。在下行方向上，两种方法的容量利用率相当，仅与计划线路容量利用率（即24列火车/小时）有轻微偏差。然而，上行方向受到电力供应短缺的影响更为显著。如图20所示，两种方法都表现出列车间隔的显著增加，导致线路容量利用率下降。但是，使用所提出的方法时，这种下降率被限制在7.1%到8.3%之间。尽管如此，上游线路的容量利用率仍然比基于最大牵引力的TTR方法高出28.5%到43.9%。这一优势主要归因于在电力供应不足的情况下更有效地利用了牵引力。此外，在应用所提出的方法时，乘客在故障期间的总等待时间显著减少了93.1%-94.3%。这主要是由于线路容量利用率的提高，使得能够服务更多的乘客，以及经过精细调整的到达和出发时间更好地平衡了各个站点的供需关系，从而进一步降低了乘客的等待时间。最后，在恢复期间，与基于最大牵引力的TTR方法相比，所提出的方法将总时间偏差分别减少了71.1%、60.4%和62.1%。如图20a所示，故障结束后，所提出的方法仅导致轻微的列车延误，从而能够快速恢复运营。相比之下，传统方法（见图20b）产生了更大的最小列车间隔，从而降低了列车密度并延长了恢复所需的时间。

在地铁系统中，列车重新调度方案应在发生TPSS故障后3分钟内生成。图21展示了在不同情景下所提出方法的计算时间。根据数据，在所有情景中，计算时间介于33.9秒到127.4秒之间，这可以有效地满足实时要求。此外，随着最小列车间隔的增加，问题规模会减小，因为列车数量减少，从而计算时间也会缩短。然而，UPSS持续时间对计算时间的影响很小。

最后，针对每个车场的备用列车数量进行了敏感性分析，分别设置为0、1、2和3。相应的数据显示在表6中，重新调度的列车时刻表显示在图22中。随着备用列车数量的增加，列车运行计划的灵活性得到了提高，从而提高了线路容量利用率。具体来说，与没有备用列车的情况相比，当考虑1、2和3辆备用列车时，所提出的方法分别实现了2.3%、2.7%和2.7%的提高。此外，在所提出的方法中，当没有备用列车时，有两辆折返列车无法在同步时间进入电力供应不足的区域，因此必须取消它们的运行轨迹（见图22a）。然而，当备用列车数量在1到3之间变化时，会有备用列车进入主干道并替换折返列车来提供相应的服务（见图22b–d）。结果，被取消的列车轨迹减少了，上行方向的线路容量利用率得到了提高。同样，增加备用列车的数量也使得调整到达/出发时间更加灵活，从而有效减少了等待时间。与没有备用列车的情景相比，增加1、2和3辆备用列车分别减少了总等待时间11.1%、15.4%和19.6%。

7. 结论
在地铁系统中，TPSS故障经常导致UPSS情况，这严重限制了电力供应不足区域列车的总牵引力需求。为了减轻UPSS对列车运营的影响，本文提出了一种分布式列车重新调度方法。通过地理和时间的划分，将全局问题分解为三个子问题。对于电力供应不足的区域，基于STS网络方法开发了一个协作控制模型，该模型以其大规模和安全关键性质为特点。特别是，总电力需求必须保持在额定范围内，这使得以前仅依赖惩罚项的强化学习方法难以解决这一问题。为了解决这一挑战，提出了HSDQN算法，通过整合三种保护机制来严格确保解决方案的可行性。为了系统地减少UPSS的影响，我们还为电力供应充足的区域和恢复期制定了TTR模型。为了保证在整合子问题结果时全局方案的可行性，建立了一个反馈调整机制来强制执行区域边界的时间同步约束。TTR子问题被线性化、分解并通过GUROBI求解器解决。

为了验证所提出方法的有效性，基于北京地铁亦庄线构建了两个数值案例研究。根据结果，所提出的方法能够在180秒内实时解决所有情景的实际规模问题。此外，HSDQN的性能仅比DP算法解决的最优解决方案低0–2.5%，而计算时间大大减少。与之前研究中设计的三种强化学习算法（即CMB-IDQN、PDQN和SDQN）相比，解决方案的质量分别提高了12.8%、9.0%和2.6%。考虑到保护机制，使用HSDQN算法时，所有实验的解决方案都是可行的。同时，与基于最大牵引力的TTR方法相比，所提出的分布式列车重新调度方法使线路容量利用率提高了7.8%-14.8%，总等待时间减少了93.1%-94.3%。因此，当发生TPSS故障时，所提出的方法可以应用于日常运营，有效保证运营安全并减轻对列车运营的影响。

未来，我们将关注通过考虑更多的调度措施（如超车、短距离折返和跳站模式）来处理列车重新调度问题。这将导致更灵活的问题解决方法，同时提高解决方案的质量。此外，由于在UPSS下电力供应不足区域受影响的列车数量有限，将所提出的安全保护机制与集中式强化学习算法（即HSDQN）结合可以使用。然而，将这一框架扩展到更大规模的应用（例如，涉及更多列车的走廊级或网络级问题）会带来计算和可扩展性的挑战，因为HSDQN的集中训练可能会遭受维数灾难。为了缓解这些问题并提高在复杂网络中的实用性，我们未来的研究打算探索分布式SRL算法。此外，所提出的HSDQN控制器是针对UPSS定制的，可能不直接适用于其他运营中断情况，如突然的完全断电或意外的列车行为。因此，有必要将框架扩展到这些需要基于特定安全约束设计专门保护机制并重新训练控制器的场景。

CRediT作者贡献声明：
Wang Xuekai：撰写——原始草稿，软件，方法论，概念化。
Andrea D’Ariano：撰写——审核与编辑，验证，监督，方法论。
Su Shuai：验证，资源，调查，概念化。
Tang Tao：监督，调查，概念化。
Yu Kai：撰写——审核与编辑，软件。
Yan Maode：验证，监督。