天气不确定性下的鲁棒低碳船舶路径规划：一种分布强化学习方法

《TRANSPORTATION RESEARCH PART D-TRANSPORT AND ENVIRONMENT》：Robust low-carbon ship routing under weather uncertainty: a distributional reinforcement learning approach

　　

## 摘要

海洋运输承担了全球大部分的贸易货物，却贡献了约3%的温室气体排放。随着国际海事组织（IMO）将2030年减排目标定为20%–30%，欧盟对海运碳排放实施定价，确定性航线规划已日益不足。本研究将分布强化学习（DRL）与分布鲁棒优化（DRO）相结合，以应对空间天气不确定性下的低碳航线规划问题。分位数回归深度Q网络（QR-DQN）用于刻画天气影响的随机性；基于Wasserstein度量的DRO项用于应对训练与部署之间的分布偏移；而物理启发的奖励函数则嵌入了水动力阻力与碳强度合规要求。在鹿特丹–纽约航线上，该框架相比慢速航行（slow steaming）降低燃油消耗17.9%，相比标准DQN降低5.1%（约合每次航行减少390吨CO?，与欧盟碳市场及碳强度指标（CII）直接相关），同时将恶劣天气暴露度控制在接近零的水平，并保持燃油消耗的低波动性。消融实验表明，这种稳定性主要归因于物理启发的奖励函数，其中评论网络（critic）保障了训练的稳定性与效率，而鲁棒层则抑制了分布偏移下的尾部性能退化。

## 引言

海洋运输按货运量计承担了全球超过80%的贸易，却约占全球温室气体排放量的3%（UNCTAD, 2023）。为应对这一问题，国际海事组织（IMO）于2023年7月通过了《修订版温室气体战略》。该战略要求海运业到2030年将年总排放量至少减少20%，目标为30%；到2040年至少减少70%，目标为80%；并在2050年或前后实现净零排放（IMO, 2023）。这些目标相较2018年《初始战略》仅提出2050年减排50%的目标有了大幅升级。最近，2025年4月，IMO成员国批准了《净零框架》，引入每吨CO? 100美元的全局碳定价机制，预计将于2027年在第83届MEPC会议上生效（IMO, 2025）。在航运业减排已不再是一个自愿目标，而是具有约束力的财务义务。

目前有两种监管机制将这些目标转化为航行层面的直接财务后果。欧盟于2024年1月1日将其碳排放交易系统（EU ETS）扩展至海运领域，要求总吨位超过5000吨且停靠欧盟港口的船舶上缴排放配额。在第一阶段，船舶须覆盖其报告航行排放量的40%；自2026年起升至100%（European Commission, 2023）。由于配额价格与欧盟碳市场挂钩，每次航行的财务成本取决于燃油价格与当时的碳价。与此同时，碳强度指标（CII）评级方案已于2023年1月在IMO法规下强制实施。在该方案下，所有商船将根据其年度运营碳强度获得从A到E的评级（IMO, 2022）。连续三年评为D或任一年度评为E的船舶须提交整改计划，其后果从声誉受损到港口准入受限、租船竞争力下降不等。综合来看，这些机制意味着航线规划已不再仅仅是燃油效率问题，而是监管合规与财务风险管理工具。类似压力已在运营实践中显现：在EU ETS与碳税情景下，船速与航行规划会显著改变亚欧航线班轮服务的成本与排放结果（Sun et al., 2025）；在更广泛的货运网络中，补贴与交易工具相互作用以重塑运输方式选择，类似的碳定价效应亦有文献记载（Yin et al., 2024）。

传统航线规划方法难以适应这一监管环境。大多数方法依赖确定性最短路径算法或静态天气叠加，将海况视为已知输入而非随机变量（Balas et al., 2024）。当预报不准确时，船舶会遇到意外的风暴、大浪与变化的风向，导致燃油超耗、排放增加，在极端情况下还会带来安全风险（Liao et al., 2023）。这些低效问题虽长期存在，但其成本已急剧上升。随着CII门槛收紧与EU ETS合规成为强制要求，每多燃烧一吨燃油都会同时带来运营成本与碳成本。少数将天气不确定性纳入航线决策的研究通常通过参数化分布建模变异性，并假定平稳条件——即将底层天气分布视为不随时间变化。然而，北大西洋风暴频率与强度变化的证据日益增多，表明这一假定已不再成立。预报不确定性本身也不是平稳的：Marjanovi?等人（2025）记录了预报精度随预报时效的系统性下降，并指出这一退化过程会出现偏离常规模式的区间。

强化学习（RL）的兴起为刚性的静态模型提供了更灵活的替代方案。通过结合历史数据与主动模拟，深度强化学习能够发展出自适应策略，在复杂海洋环境中可以超越传统优化方法（Latinopoulos et al., 2025）。这一方法的真正优势在于，它能够在航行过程中根据条件变化重新校准决策。然而，标准RL的重大缺陷在于其依赖最大化"期望"回报——这在航运中是一种危险简化，因为一次灾难性天气事件就可能抵消数十次成功航行的收益（Sutton and Barto, 1998）。分布强化学习通过建模潜在结果的整体概率分布来解决这一脆弱性（Bellemare et al., 2017）。虽然QR-DQN等变体允许精确编码风险偏好（Dabney et al., 2018），但它们在面临"分布偏移"——即运营天气模式可能与训练数据根本不同——时往往表现不佳。

尽管在方法上有所进步，当前文献仍缺乏真正整合、能桥接技术效率与监管现实的一体化解决方案。现有研究通常局限于三个狭窄的领域：（i）将天气视为简单噪声、忽略完整风险分布的模型；（ii）缺乏分布强化学习表征深度的鲁棒优化研究；（iii）将减排视为次要约束而非核心目标的策略。尤为重要的是，目前明显缺乏将现代监管成本——如CII评级与EU ETS定价——作为主要变量纳入优化本身的框架。本文提出一个统一的DRO-DRL架构来填补这一空白，该架构通过单一的学习系统共同管理天气不确定性、确保对环境偏移的鲁棒性，并同时优化燃油效率与碳合规。

本文针对现有研究空白，提出一个统一的DRO-DRL框架，用于在天气不确定性下进行实时低碳海运航线规划。本研究为领域贡献了三项主要成果。第一，将分位数回归深度Q网络（QR-DQN）与基于Wasserstein度量的分布鲁棒优化整合到单一架构中，同时应对天气分布不确定性与分布偏移的鲁棒性。在此基础上，第二项贡献是引入物理启发的奖励函数。通过将水动力阻力、推进效率、CII合规因子与EU ETS碳定价直接嵌入训练目标，该框架将监管要求作为一阶设计变量，而非事后评估标准。最后，在鹿特丹–纽约跨大西洋航线上进行的模拟评估验证了该方法的实际有效性。所提框架相比慢速航行实现17.9%的燃油消耗降低，相比在相同预算下训练的标准DQN对照降低5.1%，同时将天气风险暴露度降至0.5%，并保持较低的航行间燃油波动性；文中还以固定航速的确定性航线规划作为最坏情况上界进行了参照。

本文结构如下。第2节将所提框架置于现有文献脉络中，涵盖海运航线规划、分布强化学习与航运脱碳。第3节建立分布强化学习与分布鲁棒优化（DRO）的数学基础，为第4节提出的完整框架架构提供依据，其中包含物理启发的奖励函数与DRO策略优化器。鹿特丹–纽约航线的实验设置与性能数据分别在第5节"实验设置"与第6节"结果"中详述。第7节讨论研究结论、局限与未来研究方向，第8节为结语。

## 文献综述

在不确定天气条件下进行低碳运营的AI辅助船舶航线规划研究，通常处于三条研究脉络的交汇点：基于学习的航线规划与控制、不确定性下的鲁棒决策，以及航运业的运营脱碳策略。以下小节将总结这些研究脉络的成就，并明确一种既风险感知又监管感知的航线方法仍缺少什么。

## 预备知识：分布强化学习与分布鲁棒优化

为建立所提框架的理论基础，本节首先介绍分布强化学习（DRL）与分布鲁棒优化（DRO）的核心概念。这两种互补方法提供了应对海洋环境随机性与应对天气条件分布偏移鲁棒性所需的关键数学工具。

## 一种用于鲁棒低碳海运航线规划的DRO-DRL框架

本研究提出的框架将分布强化学习（DRL）与分布鲁棒优化（DRO）相结合，以应对海运航线规划中两个密切相关的问题：降低排放与管理天气相关风险。该模型并未将其视为相互独立的目标，而是在单一决策结构内同时处理。

如图1所示，系统围绕三个主要组件构建。第一个是分布评论网络（distributional critic），它评估……

## 仿真平台

仿真环境基于鹿特丹与纽约之间的跨大西洋航线，全长约3200海里。航线被划分为八个不同的天气区，以考虑空间变异性。各区域的环境条件以随机方式生成：65%的概率为平静条件（浪高0.5–3.0米，风速2–12米/秒），35%的概率为风暴条件（浪高4.0–8.0米，风速15–28米/秒）。空间……

## 结果

表1总结了DRO-DRL框架在鹿特丹–纽约航线上30个测试回合中，相较于三个基线方法在具有空间变异性天气条件下的性能。

图2以航段进度与横向偏差为坐标轴，将八个分区航线以浪高曲面呈现，并叠加了训练后策略的评估轨迹与固定航向基线。子图(a)展示整段航行，策略通过横向偏移绕开风暴脊（第3、……区域）。

## 对航运脱碳政策的启示

实验结果为航运脱碳政策提供了若干洞见。通过相比慢速航行实现17.9%的燃油节省，并将天气风险暴露度从32.9%降至0.5%，DRO-DRL框架证明AI辅助航线规划是满足日益严格监管标准的可行工具。这对碳强度指标（CII）方案尤为相关——在该方案下，评级为D或E的船舶必须实施整改措施。由于所提模型将碳排放……嵌入其中。

## 结论

本研究引入了一个统一的框架，将分布强化学习与分布鲁棒优化相结合，以应对空间天气不确定性下低碳海运航线规划的复杂性。基于鹿特丹–纽约跨大西洋航线的实验结果，可以得出三项主要结论。

第一，DRO-DRL框架相较具有运营意义的基线实现了可观的燃油节省：相比慢速航行的改进幅度为17.9%……

## 写作过程中生成式AI与AI辅助技术的声明

在准备本手稿期间，作者使用了Claude（Anthropic）、ProWritingAid与scite.ai，以辅助语言编辑、结构优化与文献核实。使用这些工具后，作者按需要对内容进行了审阅与编辑，并对发表内容承担全部责任。

## CRediT作者贡献声明

Turgay Battal：审稿与编辑、原创写作、可视化、验证、监督、软件、资源、方法、调研、形式化分析、数据整理、概念构思。

## 利益冲突声明

作者声明不存在任何可能影响本文工作结果的已知竞争性经济利益或个人关系。

**Turgay Battal**

Barbaros Hayrettin航海建筑与海事学院，海事运输管理工程系，伊斯肯德伦科技大学，土耳其哈塔伊省伊斯肯德伦