《Future Transportation》：Multi-Agent Reinforcement Learning for Integrated Ship–Port–VTS Coordination in Smart Maritime Transportation Systems
编辑推荐：
智慧海事运输需要在船舶到港管理、港口服务和船舶交通服务（Vessel Traffic Services，VTS）之间进行协同决策。本研究开发了一个合作式多智能体强化学习（cooperative multi-agent reinforcement learnin
智慧海事运输需要在船舶到港管理、港口服务和船舶交通服务（Vessel Traffic Services，VTS）之间进行协同决策。本研究开发了一个合作式多智能体强化学习（cooperative multi-agent reinforcement learning，MARL）框架，用于表示三种交互功能：集合到港调整、港口服务响应和交通计量。该协同问题被建模为一个合作式马尔可夫博弈（cooperative Markov game），包含归一化运行状态、离散动作和一个融合了延误、交通风险暴露、排放和控制努力的共享奖励。控制器实现了共享状态下的合作式独立Q学习（shared-state cooperative independent Q-learning），具备集中式信息和各智能体特定的动作选择。训练包括5000个回合，每回合40个决策步，随后对冻结策略进行跨状态规则基协调和局部状态启发式控制的评估，每种策略进行400次蒙特卡洛（Monte Carlo）模拟。与这些基准相比，合作式MARL将平均归一化延误分别降低了44.8%和50.9%，交通风险暴露降低了30.6%和41.2%，锚地排队强度降低了41.6%和37.9%。绝对累积系统损失分别减少了12.7%和24.6%。排放代理指标比规则基协调低5.1%，但比局部状态启发式控制高2.3%。报告的训练轨迹在最终阶段趋于稳定，而需求和随机噪声测试表明，在指定环境下，该策略在延误、交通风险暴露和排队强度方面保持持续的比较优势。这些发现描述了一个在假设转移系数和归一化性能代理下，经聚合仿真评估的单一训练策略。该研究为港航交管一体化协同提供了计算基础，其实际应用仍需现场校准、明确的安全约束以及在多个训练种子和学习基基准上的进一步评估。
一、研究背景与研究问题
智慧海事运输正朝着自主化、数字化和智能化方向发展，其中船舶、港口与船舶交通服务（Vessel Traffic Services，VTS）之间的协同决策是实现高效、安全运营的关键。然而，现有研究大多聚焦于单船或无人艇层面的智能导航与避碰，对于将船舶到港行为、港口服务调度和VTS交通管控作为相互耦合的系统级问题进行联合优化的研究尚不充分。具体而言，船舶的速度调整会影响预计到港时间（ETA）和水域交通密度；港口的服务强度变化会改变锚地排队和泊位占用状况；VTS的放行策略则直接影响航道安全和船舶释放节奏。若这三个环节各自独立优化，可能导致延误、拥堵、安全风险和排放成本在不同主体间转移。因此，有必要建立一种能够整合这三类决策功能的协同框架，以系统整体目标为导向进行统一优化。
二、研究内容与主要结论
研究人员构建了一个合作式多智能体强化学习（cooperative multi-agent reinforcement learning，MARL）框架，将船舶到港调整、港口服务响应和VTS交通计量三个功能模块视为相互作用的智能体，在一个共同的随机环境中进行协同决策。该框架采用共享状态和共享奖励的设计，使各智能体能够基于相同的全局状态信息和统一的系统级性能反馈进行独立动作选择。经过5000回合（每回合40个决策步）的训练后，对冻结策略进行了400次蒙特卡洛（Monte Carlo）评估，并与跨状态规则基协调和局部状态启发式控制两种非学习型基准策略进行比较。
结果表明，合作式MARL在降低归一化延误、交通风险暴露和锚地排队强度方面均显著优于两种基准策略。与规则基协调和局部状态启发式控制相比，平均归一化延误分别降低44.8%和50.9%；交通风险暴露分别降低30.6%和41.2%；锚地排队强度分别降低41.6%和37.9%。绝对累积系统损失分别减少12.7%和24.6%。排放代理指标比规则基协调低5.1%，但比局部状态启发式控制高2.3%。需求增长和随机噪声鲁棒性实验表明，该协同策略在交通压力增加和运行扰动加剧的条件下仍能保持相对优势。这些发现为港航交管一体化协同提供了计算基础，但研究强调其结论受限于特定仿真参数设置，实际应用需经现场校准和安全约束验证。
三、关键技术方法
本研究采用的核心技术方法包括：① 合作式马尔可夫博弈（cooperative Markov game）建模，将船舶、港口和VTS三类功能定义为共享状态空间的智能体；② 共享状态合作式独立Q学习（shared-state cooperative independent Q-learning），各智能体维护自身Q表但接收相同全局状态和共同系统奖励；③ 归一化状态空间设计，包含锚地排队强度、泊位利用率、水域交通密度、ETA偏差和天气扰动五个连续变量，各变量离散化为四个等宽区间共1024个联合状态；④ 基于手动设定系数的随机转移方程，编码了三类智能体动作间的耦合关系；⑤ 训练采用ε衰减探索策略（初始0.85，渐近0.03），学习率0.10，折扣因子0.95，训练种子固定为123；⑥ 对比基准包括跨状态规则基协调和局部状态启发式控制两种非学习型策略，评估采用400次独立蒙特卡洛（Monte Carlo）模拟。
四、研究结果
4.1 学习收敛性（Learning Convergence）
训练轨迹显示累积回报随探索率下降和协同状态-动作值强化而持续改善。前500回合平均回合回报为-51.07，第1001-2000回合提升至-33.85，第4001-5000回合达到-30.47，最后200回合平均为-30.17。200回合移动均值在训练后期趋于稳定，但这一结果仅针对种子123的单次训练，不代表全局最优收敛或多种子稳定性。
4.2 聚合运行性能（Aggregate Operational Performance）
合作式MARL在所有关键指标上表现最优：平均归一化延误0.0971，较规则基协调（0.1760）降低44.8%，较局部状态启发式控制（0.1977）降低50.9%；平均交通风险暴露0.1076，分别降低30.6%和41.2%；平均锚地排队强度0.1632，分别降低41.6%和37.9%。累积系统回报提升至-29.07，绝对系统损失较规则基协调减少12.7%，较局部状态启发式控制减少24.6%。排放代理指标为0.1780，低于规则基协调（0.1875）但高于局部状态启发式控制（0.1740），表明协同策略的主要优势体现在延误、拥堵和安全方面而非最低排放。
4.3 统计分离度与效应量（Statistical Separation and Effect Size）
Welch检验确认合作式MARL与两种基准策略在五项结果指标上均存在统计显著差异。延误、交通风险、排队强度和累积回报的均值差异方向均有利于合作式MARL。排放比较中，合作式MARL优于规则基协调但劣于局部状态启发式控制。主要运行指标的效应量较大，表明观察到的差异不仅具有统计显著性。
4.4 交通需求增长的鲁棒性（Robustness to Traffic-Demand Growth）
需求压力实验在基线到达强度乘数从0.8增至1.4的范围内，三种策略的排序保持不变。合作式MARL的平均延误从0.0785升至0.1346，而规则基协调在最高需求下达0.2239，局部状态启发式控制达0.2560。排队和交通风险指标呈现相同稳定性模式，表明所学跨智能体协同在高交通压力下仍然有效。
4.5 随机运行噪声的鲁棒性（Robustness to Stochastic Operating Noise）
高斯运行噪声乘数从0.75增至1.50时，合作式MARL性能变化平缓：平均延误从0.0966升至0.1000，平均排队强度从0.1635升至0.1652，交通风险暴露保持在0.108附近。两种基准策略在整个噪声范围内维持较高的延误和风险水平，表明协同策略不依赖于单一低噪声环境。
4.6 协同性能的运行解释（Operational Interpretation of Coordinated Performance）
聚合和压力测试结果描述了完整共享状态、共享奖励控制器的性能特征。各智能体基于相同的排队、服务负荷、交通、ETA偏差和天气指标选择动作，并接受共同系统奖励。这种结构允许学习器响应三类运行功能间的相互作用，但比较结果无法单独识别共享信息、共享奖励或单个智能体的贡献。
五、讨论与结论
讨论部分指出，本研究的贡献在于提出了一个系统级的港航交管一体化决策公式化表述，并将其实现在一个可解释的合作学习框架中。研究将VTS建模为主动协调智能体而非外部约束，这与智能航运架构中岸基系统提供交通管理建议的角色一致。在实际部署中，学习策略可首先作为决策支持层使用，保留人类操作员的最终决定权。数字孪生可作为所需共享状态的集成层。研究还讨论了排放权衡的经济与环境含义，指出更强的同步可能要求速度和调控行动增加燃料消耗代理指标，即使等待和排队减少。未来扩展应考虑多船场景、图注意力机制、通信感知学习和优先回放等技术，并纳入COLREGs等监管约束作为硬性动作掩码。
结论部分翻译如下：本文开发并评估了一个用于随机智慧海事仿真中港航交管一体化协同的MARL框架。该框架将船舶到港行为、港口服务响应和VTS交通计量建模为由共享系统奖励驱动的合作式序贯决策。在400次蒙特卡洛（Monte Carlo）评估回合中，合作式MARL使归一化延误较规则基协调降低44.8%，较局部状态启发式控制降低50.9%；交通风险暴露分别降低30.6%和41.2%；锚地排队强度分别降低41.6%和37.9%。累积系统损失分别减少12.7%和24.6%。排放代理指标比规则基协调低5.1%，但比局部状态启发式控制高2.3%。报告的训练轨迹描述了单一训练种子的学习行为，而需求和噪声测试表征了该策略在指定运行条件变化下的表现。本研究为考察港航交管运行协同提供了一个一体化的合作式公式化表述。其共享状态、共享奖励实现为评估相互作用的到港管理、港口服务和交通计量决策提供了一个可解释的计算结构。研究发现涉及所实施的控制器和选定的参考策略，限定于定义的归一化环境内。更广泛的评估需要运行校准、多次独立训练运行、更强的学习基基准以及明确的运行和安全约束。
