《Ocean & Coastal Management》：Adaptive vessel routing in emission control areas under weather uncertainty: A robust deep Q-learning method
编辑推荐：
船舶航行优化与脱硫策略选择研究。摘要：针对IMO硫排放法规更新后船舶运营商面临的脱硫策略选择与实时航行优化问题，提出了一种结合高分辨率网格系统与深度Q学习（DQL）的动态决策方法。通过对比传统动态规划（DP）方法，证明DQL在计算效率（尤其在高分辨率场景下）和适应动态环境方面具有显著优势，同时量化了燃料切换与洗涤塔安装策略的成本效益，为船舶运营商提供合规且经济的路由决策方案。
近年来，随着国际海事组织（IMO）对船舶燃油硫含量的严格规定，船舶在排放控制区（ECAs）内的航行策略面临更多挑战。船舶运营者需要在燃料切换和安装洗涤器两种脱硫策略之间做出选择。这两种策略的选择与动态的海况和天气条件密切相关，会对单程总成本和航线效率产生显著影响。由于海况和天气条件在船舶出发前和航行过程中持续变化，因此航线决策需要迅速响应这些变化的环境输入，并在有限时间内完成。为应对这一挑战，本文提出了一种基于高分辨率网格系统的鲁棒深度Q学习（DQL）方法，以联合优化航行路径、航速和吃水调整。数值实验表明，与动态规划（DP）方法相比，所开发的鲁棒DQL方法能够实现接近最优的解决方案，计算速度更快，并且在高分辨率网格系统中表现出更好的适应性，特别是在整合了更频繁的动态信息的情况下。数值结果还表明，安装洗涤器的船舶通常总成本较低，但总燃油消耗较高，相较于燃料切换策略。本研究从运营者的视角出发，为两种脱硫策略下的路径和航速优化提供了重要的贡献。
船舶航线规划包括路径、航速优化、吃水调整等操作决策，以在各种约束条件下优化航行表现。这些决策显著受到所选硫排放合规策略的影响，因为船舶在燃料切换和洗涤器安装策略下的航行行为差异较大，这主要归因于它们各自的成本结构和ECAs的监管约束。这一决策过程是一种自下而上的方法，因为它受到单个船舶特征、运营活动和航行行为的影响。虽然航速作为典型的航行行为被广泛认为是影响燃油消耗的主要因素，但吃水配置、吃水深度和天气条件等其他因素也在决定船舶能效方面发挥重要作用。其中，吃水可以调整，但不像航速那样在航行过程中动态调整。在实践中，吃水优化主要在港口通过货物分配进行。吃水后倾是指船舶尾部比船头更深的状态，而吃水前倾则是相反的情况。从安全性和燃油消耗的角度来看，吃水后倾比吃水前倾更有利。然而，大多数研究都是将航速和吃水分别进行优化，忽略了它们联合优化的潜力。此外，关于在不同天气和政策场景下全面比较洗涤器使用和燃料切换的研究仍较为匮乏。
在整个航行过程中，海况和天气条件不断变化。风速、波浪高度和洋流的变化会对航线、航速和吃水调整决策产生实时影响。这些波动不仅影响燃油消耗，还引入了决策过程的不确定性。气象数据的频繁更新和修订使船运公司难以依赖静态航线计划。因此，获取最新的高分辨率天气预报数据变得至关重要，以确保精确性和适应性。在此背景下，处理多个预报场景并在短时间内生成稳健航线策略的能力变得尤为重要。因此，能够快速响应动态环境输入的优化技术在应对不确定海况下的有效和及时操作决策方面具有特别价值。尽管动态规划（DP）方法已被应用于船舶天气航线的航速和吃水优化（例如，
Lee et al., 2023），但其仍然存在一些局限性。DP方法的高计算需求使其仅适用于低分辨率网格，降低了天气数据的精度和航线优化的准确性，尤其是在海况变化较大的情况下。DP方法在实时应用中的挑战在于，随着网格分辨率和场景复杂度的增加，其计算需求急剧上升。因此，一个能够处理大量实时天气数据的可操作模型变得尤为重要。
本文的研究背景是船舶在两种脱硫策略下的航线规划，以及在有限时间内做出决策的限制。因此，本研究确定了一种可以高效评估的航行决策和两种脱硫策略的近似最优组合，以便在最新型的气象数据基础上进行实时决策。为了更好地反映整个航行过程中海况的变化，采用了一种高分辨率的网格系统，将航线划分为小段，每段与局部天气数据相关联。总之，鉴于监管要求、海况波动和有限计算窗口带来的挑战，本文旨在回答以下研究问题：
1. 如何通过联合确定航线、航速和吃水调整，最小化单程总成本？
2. 如何在高分辨率网格系统中评估多个天气场景，以在计算时间限制下找到近似最优解？
3. 如何选择两种脱硫策略，以确保符合ECAs的法规？
为了回答上述研究问题，本文开发了一种基于深度Q学习（DQL）的更稳健的决策方法（
Mnih et al., 2015），其中智能体共同决定船舶的航线和操作参数，以减少单程总成本，同时遵守排放控制限制。与传统的船舶天气航线DP方法（例如，
Lee et al., 2023）相比，DQL方法在高分辨率网格中能够实现高效的离线训练和快速推理，即使在多样性和不确定的天气条件下也是如此。这代表了DQL方法相比DP方法（一种精确解）的最显著优势之一。通过采用高分辨率网格系统，该方法能够捕捉航线中的局部气象变化，并支持细致的操作决策。这使得所开发的方法特别适用于时间敏感的场景，例如在港口出发前不久获得更新的天气数据。
在本文中，研究主要关注了两种脱硫策略的联合优化，包括燃料切换和洗涤器安装。在这些策略下，船舶需要在不同区域选择不同的燃料类型，以满足排放控制要求。在实际操作中，船舶运营者需要考虑多种因素，如海况、天气条件、航线成本和时间窗口等。因此，为了在复杂的环境条件下做出最优决策，本文提出了一种基于深度Q学习的方法，能够实时调整航速和吃水配置，以适应不断变化的海况和天气条件。此外，本文还对这两种策略的总成本、航行时间、燃油消耗等指标进行了比较，分析了它们在不同场景下的表现差异。
在高分辨率网格系统中，DQL方法能够快速适应动态环境输入，从而实现更高效的航线规划。在本文的数值实验中，我们模拟了不同的天气场景，并在总成本、解决方案质量和计算时间等方面比较了DQL与DP的表现。研究结果表明，DQL方法在高分辨率网格系统中表现出显著的计算优势，能够快速生成近似最优的解决方案，尤其是在需要实时决策的情况下。相比之下，DP方法在高分辨率网格中计算时间较长，且难以在短时间内生成足够精确的解决方案。因此，DQL方法在应对动态和不确定的海况时，具有更高的实用性和适应性。
此外，本文还探讨了在不同天气和政策场景下，两种脱硫策略之间的成本结构差异。安装洗涤器的船舶虽然可以继续使用高硫燃料，但其总成本通常较低，因为低硫燃料价格较高。然而，洗涤器的安装成本也相当可观，通常在100万到600万美元之间。相比之下，燃料切换虽然可以避免洗涤器的高昂成本，但其航行路径通常需要绕行，以减少在ECAs内的航行距离，从而降低燃油成本。因此，尽管燃料切换策略在某些情况下可能更具经济性，但其航行路径的不确定性也较高。
在本文的研究中，我们还发现，吃水调整对航行表现具有显著影响。在某些情况下，吃水后倾（即船尾比船头更深）可以显著提高燃油效率，减少航行阻力。然而，吃水调整通常是在港口通过货物分配进行的，而非在航行过程中动态调整。因此，在航线规划时，应充分考虑吃水调整的潜力，以优化燃油消耗和航行效率。
总体而言，本文的研究不仅提供了船舶运营者在现实约束下实现成本效益和法规合规的航线策略，还拓展了DQL方法在海洋环境研究中的应用。未来的研究可以进一步探索其他脱硫策略，如液化天然气（LNG）或液化石油气（LPG）等，以更好地适应全球航运业的脱碳目标。同时，本文的研究也为船舶航线规划提供了一个可行的框架，即在实时动态条件下，通过高分辨率网格系统和DQL方法，实现对航行路径、航速和吃水调整的联合优化。这一方法在应对复杂的天气和政策场景时，具有更高的灵活性和适应性，为船舶运营提供了更有效的决策支持。
