面向自主船载网状微电网弹性故障重构的Q学习引导蚁群优化方法

《Journal of Marine Science and Engineering》：Q-Learning-Guided Ant Colony Optimization for Resilient Fault Reconfiguration of Autonomous Shipboard Meshed Microgrids

　　

可靠的电力恢复对自主船舶十分重要，因为推进、导航、通信与应急负荷依赖于发电冗余有限的紧凑型船载配电网络。研究人员研究了发电机退出运行、支路故障与动态负荷扰动条件下的自主船载网状微电网（autonomous shipboard meshed microgrids）故障重构问题。通过考虑基于优先级的负荷恢复、开关操作成本与发电机负荷均衡建立多目标模型。为更真实地表示应急负荷管理，引入聚合船载负荷组的连续恢复比（continuous restoration ratio），从而在同一公式中描述完全恢复、降额运行与负荷削减。随后提出一种Q学习引导的蚁群优化方法（Q-learning-guided ant colony optimization method, QL-ACO）。在该方法中，Q学习被用作信息素因子、启发式因子与贪婪选择概率的自适应参数控制器，而非直接的开关动作选择器。同时引入精英增强与信息素平滑以减少早熟收敛。仿真四种船载故障场景，包括单支路故障、单发电机退出、支路–发电机组合故障与动态负荷–支路故障情形。结果表明，所提方法维持关键负荷恢复，在复杂场景中改善III类负荷恢复，并获得比固定参数蚁群优化（ACO）、非支配排序遗传算法II（NSGA-II）、粒子群优化（PSO）与紧凑直接强化学习（RL）参考基线更少开关操作的可行重构方案。同时提供运行时、可扩展性、统计与灵敏度分析以检验在线适用性与鲁棒性。

研究背景方面，随着智能航运、海洋资源开发与海上工程作业的发展，自主船舶与无人水面平台越来越多地用于海事巡检、环境监测、应急支援与海上服务任务，其推进、导航、通信、传感与任务载荷系统需在复杂海况下协调运行，因此船载电力系统（shipboard power system, SPS）是安全自主航行、应急机动与任务连续性的关键基础设施。自主船载网状微电网的运行状态直接影响推进功率、导航控制、通信链路、传感载荷与服务负荷的可靠性。与陆地配电网相比，船载电力系统紧凑、强耦合，受空间、重量、保护选择性及任务优先级负荷约束较强，还受盐雾腐蚀、机械振动、温湿度变化、瞬态推进负荷与机动扰动影响。发生发电机退出、支路短路或局部供电路径中断时，需在故障隔离后恢复关键负荷，同时保持非关键负荷供电与发电机备用裕度。现有研究表明，故障检测、定位、隔离与恢复之间的协调对提升船载电力系统韧性至关重要，因此自主船载网状微电网的快速故障重构对海洋工程应用具有实际意义。故障重构方法主要包括精确优化方法与智能优化方法，精确方法依赖整数规划、分支定界与潮流约束建模，可提供确定性且物理可解释的解，但其计算复杂度随网络规模与联络开关数量迅速增加；智能优化方法通过概率搜索获得近似高质量解，缓解可扩展性问题，但性能对参数设置、初始种群与约束修复策略敏感，复杂故障下可能出现收敛不稳定或局部搜索停滞。为提升多目标恢复能力，动态规划、混合元启发式、多准则决策与数据驱动方法已应用于配电网恢复，但多数聚焦陆地配电网或辐射状馈线，其负荷特性、运行边界与恢复目标不同于船载电力系统，后者需在控制开关操作与发电机备用裕度的同时优先保障推进、导航、通信与应急控制负荷。强化学习（reinforcement learning, RL）为动态故障重构提供新途径，但直接以开关操作或负荷分配作为学习智能体动作的设计在船载有限故障样本、中等规模拓扑与快速调参需求下存在动作空间随开关与负荷组数量快速增长的问题。现有研究多在拓扑建模中聚焦环状或直流区域网络，未充分描述多区互联、主备转换开关与多路径供电约束；负荷恢复中二元恢复假设无法表示降额运行、分级削减与分级恢复；固定参数启发式在组合故障下可能早熟收敛或局部停滞；仿真研究未统一报告恢复、开关、发电机裕度、重复运行与运行时指标，方法对比透明度不足。因此研究人员开展本研究，聚焦典型船载故障与动态负荷扰动下的自主船载网状微电网故障重构，兼顾关键负荷恢复、开关成本与发电机负荷均衡，提出Q学习引导蚁群优化算法（QL-ACO），嵌入在线Q学习调节机制至蚁群优化（ACO）搜索框架，根据搜索状态动态调整信息素因子、启发式因子与贪婪选择概率，并利用精英增强与动态信息素平滑提升搜索稳定性，建立考虑负荷恢复、开关成本与发电机负荷均衡的多目标优化模型，通过在四种船载故障场景下与固定参数ACO、NSGA-II、PSO及直接RL基线对比，验证所提方法在维持关键负荷恢复、提升非关键负荷恢复、减少开关操作与收敛效率方面的优势，论文发表于《Journal of Marine Science and Engineering》。研究所用主要关键技术方法包括：建立融合开关拓扑、聚合负荷恢复、发电机出力、故障隔离、连通性及ABT/HBT转换约束的离散–连续重构模型；引入基于优先级的连续恢复表示以区分完全恢复、部分降额与削减负荷，关键负荷在需要时仍作二元处理；将紧凑Q学习参数控制器嵌入ACO，由Q学习根据搜索状态反馈自适应调节α、β与q?而非直接选择开关动作，缩小学习动作空间并保留显式可行性修复与目标评价；在四种船载故障场景中对比QL-ACO与固定参数ACO、NSGA-II、PSO及直接RL基线，通过重复运行统计、统计检验、运行时分析、可扩展性分析、参数灵敏度与消融实验评估性能与鲁棒性。研究结果部分，首先在系统模型与问题表述中，研究人员将船载自主电网（shipboard autonomous power grid, SAPG）视为含多发电单元、储能装置、负荷与配电开关的系统，拓扑结合紧凑性、区域供电特性与多路径冗余供电需求，负荷分为关键与非关键，关键负荷需通过主备馈线连续供电，非关键负荷经单母线供电并由区间联络开关支撑，故障包括发电机停机、过载、支路短路或接地，需在故障诊断隔离后通过智能重构保障关键负荷连续性，建立以开关状态、负荷恢复比与发电机实际出力为决策变量的模型，其中连续恢复比γ_j∈[0,1]表示聚合负荷组内恢复功率比例，用于等效描述负荷削减、降额与分级恢复，发电机出力由各连通供电岛内按额定容量比例分配得到，进而构建最大化负荷恢复、最小化开关成本与最小化发电机负荷不均衡的三目标加权综合目标函数，并采用层次分析法（analytic hierarchy process, AHP）确定权重，同时满足发电机容量、功率平衡与备用裕度、线路容量与电压运行、负荷恢复、关键负荷优先级、故障隔离、网络连通性与开关操作等约束。其次在QL-ACO故障重构方法中，研究人员将强化学习建模为离散马尔可夫决策过程，状态空间由归一化负荷恢复指数、开关成本、发电机负荷均衡指数与搜索进度离散化构成三维状态，每维分三级，状态数27，动作空间为调整ACO的信息素因子α、启发式因子β与贪婪选择概率q?的五类操作并做边界管理，奖励函数基于相邻迭代综合目标改进量与约束惩罚构成，Q表按标准时序差分形式每迭代更新一次，ACO搜索机制包含伪随机比例路径构建、反映负荷优先级与恢复收益及开关成本的启发式函数、局部信息素更新、基于迭代最优与历史最优的全局更新与精英策略，以及早期强平滑、后期弱平滑的动态信息素平滑机制，形成参数控制与组合搜索的两层协同优化结构，早期Q学习增大α、减小q?以增强探索，接近优质解区域时增大β与q?以加强开发，辅以精英增强与信息素平滑抑制早熟收敛与提升搜索稳定性，计算复杂度主要由蚂蚁数量、迭代次数与可操作开关数决定，Q表更新开销远小于候选拓扑评价。再次在仿真设置中，研究人员构建四互连供电区的自主船载网状电力系统仿真模型，负荷节点为等效聚合负荷，区间联络开关提供功率支撑与负荷重分配，故障场景包括单支路故障、单发电机故障、支路–发电机组合故障与D区动态负荷波动叠加C区支路故障四类，对应不同海上运行状态，所有算法在同一故障隔离后拓扑、开关编码、负荷恢复规则与目标函数下独立运行20次，对比算法含固定参数ACO、NSGA-II、PSO及直接RL基线（DQN型离散动作策略），均采用相同约束修复与评价指标以确保公平。随后在结果与讨论中，统计评估显示所有算法在单支路故障场景均近完全恢复负荷，QL-ACO开关操作更少且收敛更快；单发电机故障场景均保障I类关键负荷恢复，QL-ACO的III类负荷供应恢复比（load supply restoration ratio, LSR）达87%且开关操作3次、第13代收敛，优于固定参数ACO；支路–发电机组合故障场景QL-ACO实现100% I类LSR与87% III类LSR，开关操作4次，重复运行III类LSR为86.8%±1.2%，高于其余对比算法；动态负荷–支路组合故障场景QL-ACO的III类LSR为84%（重复运行83.7%±1.5%），开关操作4次，均优于对比算法，且各算法均未超出发电机容量限制，QL-ACO在更高负荷恢复下保持合理备用裕度；权重灵敏度分析表明在AHP权重、负荷恢复主导、开关成本主导与发电机均衡主导四种设置下定性结论不变，AHP权重在紧急恢复中平衡较优；关键参数灵敏度显示折扣因子γ≈0.85、蚂蚁数m=30、信息素挥发系数ρ=0.2、步长缩放因子Δ≈0.05在测试中综合表现较好，Q学习相关参数在适中范围内保持稳定；消融研究去除Q学习调节后非关键综合LSR由85.6%±1.8%降至82.1%±2.3%、开关操作由3.8±0.6增至4.5±0.7，去除精英策略或信息素平滑亦降低非关键LSR与收敛效率，仅保留基本ACO框架时性能进一步下降，表明各机制共同提升探索、开发与收敛稳定性；讨论部分指出QL-ACO在简单与复杂场景下均表现稳定，优势源于Q学习调节α、β、q?、精英策略与动态信息素平滑的联合作用，适合作为故障隔离后船载电力恢复的决断支持层，计算时间在测试平台上低于0.5秒，具备初步在线适用性，但最终实时合规性需结合通信、保护、开关执行与控制器实现的硬件在环（hardware-in-the-loop, HIL）或实船测试验证，同时存在限于等效MATLAB/Simulink模型、环境效应未细化物理退化、场景未覆盖所有极端组合、直接RL基线非充分调优DRL、连续恢复比不适用于不可分割负荷、未含通信与执行延时等局限，未来将面向更大船载电力系统、实时控制平台与HIL验证并纳入时延与测量不确定性与保护协调。结论部分翻译为：研究人员提出了一种面向自主船载网状微电网弹性故障重构的Q学习引导蚁群优化方法，主要结论如下。第一，通过纳入负荷恢复、开关成本、发电机负荷均衡、故障隔离、容量裕度与供电连通性，建立自主船载网状微电网多目标故障重构模型，连续恢复比γ_j描述故障后聚合负荷组的完全恢复、降额运行与削减，使LSR计算符合船载应急负荷管理。第二，所提QL-ACO将Q学习用作ACO参数控制器而非直接开关决策者，通过状态–动作–奖励反馈在线调节α、β与q?，结合精英增强与动态信息素平滑，在复杂离散重构空间中保持探索能力与收敛稳定性。第三，仿真结果表明QL-ACO在简单单支路与单发电机故障场景中以更少开关操作完成关键负荷恢复；在支路–发电机组合故障与动态负荷–支路组合故障场景中，QL-ACO的III类LSR分别达86.8%±1.2%与83.7%±1.5%，高于固定参数ACO、NSGA-II、PSO与紧凑直接RL参考基线，同时保持更低开关操作与更快收敛。第四，重复运行统计、置信区间、统计检验、代表性重构结果、恢复比热力图、发电机裕度分析、运行时/可扩展性检查、参数灵敏度与消融研究共同表明，Q学习参数调节、精英增强与信息素平滑均贡献算法性能，去除Q学习后非关键综合LSR由85.6%±1.8%降至82.1%±2.3%，表明自适应参数调节对复杂故障下搜索稳定十分重要。未来工作将聚焦更大船载电力系统、实时控制平台与硬件在环验证，并纳入通信延时、开关执行延时、测量不确定性与保护协调以提升所提重构策略的可部署性。