不确定性感知的自适应重规划：结合分布式强化学习与动态窗口方法

《IEEE Access》：Uncertainty-Aware Adaptive Replanning: Bridging Distributional RL and Dynamic Window Approach

　　

摘要：

在工业环境中，移动机器人的路径规划经常受到伪静态障碍物的影响，这些障碍物具有不确定的位置漂移和严格的运动学约束。传统的离散采样方法（如动态窗口方法（DWA）会受到维度灾难和离散化伪影的影响，导致控制抖动和局部最优解。为了解决这些问题，本文提出了一种分布式风险感知的连续动态窗口（DR-CDW）框架。首先，我们引入了一种利用可微分投影算子的连续流形策略优化方法，该方法将刚性的动态窗口约束嵌入到连续策略网络中，有效消除了离散化误差并确保了C1级的控制连续性。其次，为了提高学习效率，我们采用了一种基于物理信息的残差策略架构，将学习到的修正措施叠加到基线控制器上。第三，为了应对环境不确定性，我们提出了一种风险敏感的分布式评估机制，该机制结合分位数回归来建模回报分布，并实施条件风险价值（CVaR）约束，使机器人能够明确避免长尾碰撞风险。此外，自适应膨胀半径策略根据预测的不确定性动态调整安全裕度。大量实验表明，与现有的最先进方法相比，DR-CDW在混乱环境中的成功率达到90.15%，并且控制平滑性更优。