一种强化学习方法，用于具有相互依赖性的共址道路和水基础设施的网络级维护规划

《Engineering》：A reinforcement learning approach to network-level maintenance planning of co-located road and water infrastructures with interdependencies

交通与水利基础设施联合长期维护规划研究提出网络级框架，通过强化学习优化模型结合交通与液压仿真，量化多系统空间邻近性下的长期经济影响。案例验证显示协同维护较独立策略节省成本。

　　

王炳杰|阮宏|卢青|张琼|李明阳

美国南佛罗里达大学工业与管理系统工程系，4202 E. Fowler Avenue，坦帕，33620，佛罗里达州

摘要

由于交通基础设施（TI）和水基础设施（WI）的共址和空间邻近性，这两者在地理上是相互依赖的，在系统内部和系统之间表现出复杂的相互作用。一个系统的退化或维护中断可能导致其自身性能下降，并波及另一个系统。然而，许多现有研究仅在组件、子系统或单个系统层面讨论长期维护问题，而没有充分考虑共址基础设施之间的相互依赖性。本文提出了一种网络范围的联合长期维护规划框架，该框架整合了交通和液压模拟，以捕捉多个基础设施系统内部和系统之间的相互依赖性。基于强化学习的优化模型被构建用于在长期规划范围内最小化共址TI和WI系统的预期累积成本，同时考虑道路和管道退化的未来不确定性。该模型通过全面研究共址道路和管道之间的各种拓扑关系和相互作用，联合量化了联合维护决策在网络层面的短期和长期经济影响。该框架通过坦帕市Ybor City的一个实际案例研究进行了验证，并与替代维护策略进行了对比，展示了通过跨相互依赖的TI和WI系统进行主动、协调的决策所带来的成本节约。

术语表

术语定义

规划期限（以年为单位）道路条件状态的离散集合道路的最差条件状态（故障）管道的离散老化状态集合管道的故障状态

术语
符号	定义
$i\in I$	TI网络中的道路段索引和集合
$j\in J$	WI网络中的管道段索引和集合
$t\in T$	时间索引；规划年份集合
$H$
$s_i^{\text{r}}$	时间$t$时道路$i$的条件状态
$S^{\text{r}}$
${\Omega }^{\text{r}}$
$s_j^{\text{w}}$	时间$t$时管道$j$的老化状态
$S^{\text{w}}$
${\Omega }^{\text{w}}$
$a_i^{\text{r}}$	时间$t$时道路$i$的维护行动
$a_j^{\text{w}}$	的维护行动

概述

本文提出了一种网络级别的联合长期维护框架，用于共址的TI和WI，同时考虑了它们在组件（例如道路和管道）内部的和系统之间的相互依赖性。为了清晰地描述所提出的方法，我们采用了自下而上的模型构建方式，如图1所示。在组件层面，我们对单个道路和管道的随机退化进行了建模，考虑了空间变异性和不同的维护行动。

概述

为了评估所提出策略的有效性，我们使用坦帕市Ybor City的实际案例研究将其与两种替代方案（S1：反应式；S2：主动式）进行了对比。目标是展示联合维护在处理共址基础设施时的优势。S1仅在发生故障后触发维护行动，而S2采取预防措施以避免昂贵的维修，但将道路和管道视为独立系统进行处理，忽略了它们的空间共址性。

结论

本文建立了一个网络范围的维护决策框架，用于在TI和WI系统退化及共址且具有复杂相互依赖性的情况下进行联合长期维护规划。该框架考虑了道路退化和管道故障在维护行动下的不确定性，并整合了交通和液压模拟，以考虑共址道路和管道之间的系统内部和系统之间的相互依赖性。

CRediT作者贡献声明

王炳杰：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，数据分析，概念化。阮宏：撰写 – 审稿与编辑，资源提供，方法论，概念化。卢青：撰写 – 审稿与编辑，验证，资源提供，方法论，数据分析，概念化。张琼：撰写 – 审稿与编辑，验证，资源提供，方法论，数据分析，概念化。李明阳：撰写 – 审稿与

未引用参考文献

Mizutani等人[61]，Ghosh等人[62]，Mkwata和Chong[63]，Folkman[64]，Sinha等人[65]，Ilg等人[66]，?zgür-ünlüak?n和Türkali[67]，Stenstr?m等人[68]，Zhang和Gao[69]，Petchrompo和Parlikad[70]，Ghobadi等人[71]，Rajeev等人[72]，Nozhati等人[73]，Pudasaini和Shahandashti[74]，Najafi和Lee[75]，Zhang等人[76]，Arif等人[77]，Papakonstantinou和Shinozuka[78]，Shon和Lee[79]，Orcesi和Cremona[80]，Lei等人[81]，Su等人[82]，Sharma和

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。