基于多准则优先经验回放TD3框架的自主水下航行器高效导航方法

《Scientific Reports》：Multi-criteria prioritized reinforcement learning for autonomous underwater vehicle navigation in 3D multi-node environments

　　摘要自主水下航行器（AUV）越来越多地作为水下无线传感器网络中的移动数据收集器，其中导航必须在任务完成、避障、通信性能和能量效率之间取得平衡。本研究开发了一种结合多准则优先经验回放（MC-PER-TD3）的孪生延迟深度确定性策略梯度框架。回放优先级将归一化的时序差分误差与目标接近度启发式相结合；能量消耗被纳入奖励和数据收集评估，而非回放优先级中。此外，采用软势场奖励和基于时间窗口的航点逃逸转换机制来引导连续导航。在六个训练种子和每个种子60个确定性策略评估回合中，MC-PER-TD3实现了100%的任务成功率，且未发生碰撞。与均匀回放TD3相比，平均成功路径长度从13.188 ± 3.885米降至10.985 ± 0.436米，任务时间从6.911 ± 1.511秒降至5.654 ± 0.257秒。标准仅基于TD误差的PER-TD3基线实现了50%的任务成功率，而结合的TD误差与目标回放方法在所有六个训练种子中均实现了一致完成。在观测噪声、水流扰动、固定和随机障碍物布局下的额外零样本测试揭示了条件依赖的鲁棒性和明确的失效边界。在水下无线传感器网络评估中，MC-PER-TD3实现了最高的平均能量效率，而TD3保持了最高的吞吐量，这表明存在吞吐量与能量之间的权衡，而非普遍主导。