强化学习引导元启发式算法求解多约束双目标无人艇调度问题

本文提出了一种强化学习（RL）引导的元启发式框架，用于解决复杂海洋约束下的双目标无人水面艇（USV）调度问题。该研究通过构建双目标数学模型，设计七种局部搜索算子，并集成Q-learning与SARSA等离线RL策略来自适应选择优化算子，显著提升了粒子群优化（PSO）等元启发式算法的搜索效率与解质量，为多USV协同任务分配与路径规划提供了创新解决方案。

　　

亮点

• •
  (1) 针对复杂海况下的多USV任务分配与路径规划，构建了一个考虑多重约束的双目标模型。
• •
  (2) 开发了四种增强型元启发式算法和七种基于问题特征的邻域结构来解决该集成问题。
• •
  (3) 提出了一个强化学习引导框架，以加速元启发式算法的收敛。

结论与未来工作

本研究解决了一个多USV全局路径规划与任务分配的双目标优化问题，同时考虑了USV电池容量、海洋障碍物和不确定的任务执行时间。研究开发了一个非支配双目标模型，并提出了四种元启发式算法的变体来解决该问题。研究还设计了七种局部搜索算子和四种基于强化学习的选择策略，以提高解的质量并加速收敛。实验结果表明，所提出的算法在解决具有不同规模的多USV调度问题上具有竞争力和有效性。特别是，集成了采用第二种状态-奖励策略的Q-learning的粒子群优化（PSO_QL2）算法在所有对比算法中表现出最佳的竞争力。

未来的研究将集中在以下几个方向：首先，考虑更复杂的海洋环境动态约束，例如洋流和风浪。其次，探索其他先进的机器学习技术，如深度强化学习（Deep Reinforcement Learning），以处理更复杂的问题状态。第三，将所提出的方法应用于实际USV平台进行验证。

作者贡献声明

吴泽煌: 撰写初稿，验证，软件，方法论，研究，形式分析，数据整理，概念化。

高开州: 审阅与编辑，监督，资金获取。

吴乃琪: 审阅与编辑。

赵亮: 审阅与编辑。

Renato Tinós: 审阅与编辑。

伦理批准

不适用。

资金

本研究得到了以下项目的支持：

• •
  澳门特别行政区科学技术发展基金（基金编号：0023/2025/RIA1, 0019/2021/A）
• •
  国家自然科学基金（基金编号：62573442, 62173356）
• •
  珠港澳产学研合作项目（项目编号：ZH22017002210014PWC）
• •
  广东省基础与应用基础研究基金（基金编号：2023A1515011531）
• •
  复杂分布式制造系统调度与优化关键技术（项目编号：22JR10KA007）

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务/个人关系：高开州报告其研究获得了澳门特别行政区科学技术发展基金的资助。高开州报告其研究获得了国家自然科学基金的资助。高开州报告其研究获得了珠港澳产学研合作项目的资助。高开州报告其研究获得了广东省基础与应用基础研究基金的资助。高开州报告其研究获得了复杂分布式制造系统调度与优化关键技术项目的资助。

致谢

所有作者均批准发表该手稿版本。