《Algorithms》：A Semantic-Group Self-Attention Deep Q-Network with Coverage-Constrained Experience Replay and Lyapunov Safety Constraint for 3D UAV Path Planning
编辑推荐：
深度Q网络（Deep Q-Network, DQN）已在路径规划中展现出显著应用价值。然而，无人机（unmanned aerial vehicle, UAV）路径规划任务仍面临若干挑战，例如难以感知输入状态各分量之间的依赖关系、经验采样不均衡以及动作选择缺乏约
深度Q网络（Deep Q-Network, DQN）已在路径规划中展现出显著应用价值。然而，无人机（unmanned aerial vehicle, UAV）路径规划任务仍面临若干挑战，例如难以感知输入状态各分量之间的依赖关系、经验采样不均衡以及动作选择缺乏约束。为解决这些问题，该研究提出一种基于语义组自注意力机制（semantic-group self-attention mechanism, SGSA）的DQN框架（SGSA-DQN）。首先，设计语义组自注意力Q网络（semantic-group self-attention Q-network, SGSAQ-network），通过捕获状态向量中语义分量组之间的依赖关系，提高网络Q值输出的准确性。其次，提出基于引导与感知的动作选择算法（guidance- and perception-based action selection algorithm, GPAS），以减少训练早期阶段不必要的探索并加速模型收敛。然后，提出覆盖约束经验回放机制（coverage-constrained experience replay, CCER），以平衡不同状态空间中的经验采样概率并增强模型鲁棒性。最后，引入Lyapunov安全约束（Lyapunov safety constraint, LSC），以掩蔽不安全动作并提高任务成功率。实验结果表明，所提方法在UAV路径规划任务中取得79.17%的平均成功率。
研究背景与问题。无人机（unmanned aerial vehicle, UAV）已用于灾害监测、交通管理和应急救援，路径规划是保障其安全高效自主飞行的核心。现有经典算法包括Dijkstra、A*、D*、RRT、PRM、APF和GA等，但在三维环境中常难以获得最优解，易产生次优解并陷入局部最优。深度强化学习（deep reinforcement learning, DRL）结合深度学习的感知能力和强化学习的决策能力，其中深度Q网络（Deep Q-Network, DQN）可处理高维复杂状态，为三维UAV路径规划提供了有效途径。然而，常规DQN仍存在若干问题：Q网络将输入状态特征作为整体处理，忽略状态向量内部语义分组关系；随机动作选择使早期探索时间过长、收敛慢，A*引导动作选择忽略障碍可能导致碰撞，FADQN等又可能陷入局部最优；优先经验回放（prioritized experience replay, PER）持续关注少数高时间差分（temporal-difference, TD）误差样本，忽略稳定但关键的状态区域，易过拟合和短视；动作选择缺乏安全约束，直接执行模型输出动作会降低任务成功率。因此，该研究开展SGSA-DQN框架研究。
研究人员提出SGSA-DQN框架，包含SGSAQ-network、GPAS、CCER和LSC。SGSAQ-network将状态向量按语义分组，经独立线性层嵌入并用自注意力建模组间依赖，保留残差路径，并以Dueling输出头分解状态值和动作优势，以输出更准确Q值。GPAS在训练早期结合ε-greedy与引导感知选择，根据当前位置、目标距离和障碍风险计算潜在值，减少无效探索。CCER在PER优先级基础上乘以由状态簇占用率决定的覆盖惩罚，采用向量化K-means聚类、时间衰减和三阶段自适应约束强度，平衡高TD误差经验与稀有状态区域经验。LSC以Lyapunov候选函数融合障碍/边界安全屏障和目标吸引项，通过动作掩蔽剔除不安全动作，并约束动作选择与目标Q值计算。研究在三维栅格马尔可夫决策过程（Markov decision process, MDP）中建模，动作覆盖26邻域并含no-op惩罚，奖励由进度奖励、障碍惩罚和附加奖励组成。实验采用课程学习训练，20,000回合、5个随机种子；测试使用10,000个独立生成场景，固定难度8，单UAV每回合最多300步，训练与测试场景不相交。结果表明该方法平均成功率79.17%，为对比方法最佳，为复杂三维UAV路径规划提供了融合语义建模、覆盖采样与安全约束的DQN方法。
关键技术方法概述。该研究不涉及临床或人群样本队列；实验场景由程序随机生成，训练与测试场景独立。方法以三维栅格MDP建模，采用确定性26邻域运动、27离散动作（含no-op惩罚）及进度/障碍/附加奖励；构建SGSAQ-network，以语义分组、自注意力、残差连接和Dueling头输出Q值；以GPAS在早期引导动作选择；以CCER执行覆盖约束优先经验回放；以LSC执行Lyapunov动作掩蔽。实验用Python/PyTorch仿真，课程学习逐步增加障碍难度，并用多随机种子训练与独立场景测试。
研究结果。4.1 比较实验：与DQN、DDQN、Dueling DQN、D3QN、PPO、SAC比较，SGSA-DQN成功率79.17±5.12%最高，95%置信区间下界72.82%高于其他方法均值；但其超额旅行距离（Excess Travel Dist.）处中等水平，说明仍有少量路径冗余。配对Wilcoxon检验受5个种子限制，双侧最小p=0.0625，未达0.05；相对六基线均值提升31.63、17.04、11.62、17.34、11.96和13.86个百分点，总29胜1负，呈方向一致性和较大效应量。训练奖励曲线显示后期SGSA-DQN奖励高于其他方法，早期奖励由高到低归因于GPAS；训练稳定性优于DDQN、Dueling DQN和D3QN，但奖励表现仍逊于SAC。CCER与随机经验回放和PER比较，成功率较PER高3.22个百分点，但Excess Travel Dist.不如PER，可能因CCER关注更广状态而相对削弱快速到达目标样本；对DQN方向性单侧p=0.03125，对PER为0.0625，双侧未达显著。语义分组对比中，SGSAQ-network成功率63.34%，比无分组53.80%高9.54个百分点，Excess差异较小（5.49对5.02），支持语义分组设计。
4.2 可视化实验：以DQN为基线，在少障碍、少量障碍和多障碍场景比较路径。基线在少障碍场景先向右侧障碍移动后失败；少量障碍虽到达目标但目标附近振荡冗余；多障碍先向右导致跨越更多障碍并失败。提出模型在少障碍场景斜向快速到达目标、无冗余；少量障碍先爬升越过障碍且目标附近无振荡；多障碍在路径选择和避障上均优于基线，倾向斜向运动并有效避障。
4.3 消融实验：以DQN为基线逐步加入模块。SGSAQ-network使成功率较基线提高约15.8个百分点，Excess略优于基线；GPAS成功率不占优，但Excess Travel Dist.最佳，说明可引导更短路径；CCER使成功率提高且标准差在所有方法中最小，显示增强训练稳定性；LSC为单模块中提升最显著，显著提高成功率且Excess改善与GPAS相当；集成SGSA-DQN取得最高任务成功率（摘要报告79.17%），其95%置信区间与LSC重叠但上界更高，均值和标准差优于LSC，Excess虽不及GPAS和LSC单独但优于基线。训练奖励显示各提出方法收敛后奖励高于基线，SGSA-DQN全程保持优势，GPAS和SGSA-DQN早期奖励较高，归因于GPAS与ε-greedy协同减少无效探索。覆盖熵在预热后接近1，均值97.2%，表明经验缓冲在状态簇上近似均匀。不同难度4、6、8、10下，随障碍数增加基线和SGSA-DQN成功率均下降，但SGSA-DQN仍保持较高成功率，Excess相对稳定。
讨论与结论。讨论指出，各方法仅用5个独立随机种子，统计功效有限，精确双侧Wilcoxon检验最小p=0.0625，部分比较虽方向高度一致且效应量大但未达0.05；消融显示CCER单独可显著降低成功率标准差，GPAS和LSC单独可减少冗余路径，但集成SGSA-DQN未完全释放各模块优势，呈权衡：成功率标准差高于CCER单独，Excess劣于GPAS和LSC单独；未来将研究模块协同并增加独立种子开展验证性统计推断。研究结论部分翻译为：针对三维环境UAV路径规划任务，该研究提出SGSA-DQN。首先设计SGSAQ-network，可识别状态向量语义组间潜在关系，从而提供更准确Q值；其次提出GPAS，引导训练早期动作选择策略，避免无用探索并加速模型收敛；再次设计CCER，在优先级基础上对经验所属状态簇施加覆盖惩罚，平衡高TD误差经验与稀有状态区域经验采样概率，为模型提供更多样经验并提高不同场景决策能力；最后引入LSC，以候选函数屏蔽不安全动作，将模型输出Q值对应动作投影到安全动作集，显著提高任务成功率。实验表明该方法在UAV路径规划任务中平均成功率为79.17%；未来将针对讨论中的局限继续研究。
