一种基于深度强化学习的草坪全覆盖路径规划方法

《Applied Sciences》：A Deep Reinforcement Learning-Based Method for Lawn Full Coverage Path Planning

　　

高效的草坪全覆盖路径规划对于提升自动化草坪养护任务中的覆盖效率与路径质量至关重要。然而，在具有复杂障碍物分布的草坪环境中，传统覆盖方法可能产生冗余遍历与频繁转向。为解决这些局限性，本研究提出了一种改进的基于深度Q网络（DQN）的草坪全覆盖路径规划方法。所提出算法中引入了多组成奖励函数，以综合考虑覆盖效率、运动平滑性以及边界感知探索。此外，研究将双重深度Q网络（Double DQN, DDQN）、优先经验回放（Prioritized Experience Replay, PER）、噪声网络（Noisy Networks）与分布式深度Q网络（Distributional DQN）集成到统一学习框架中，以提升价值估计稳定性、样本利用效率、探索能力以及动作价值表征能力。该方法通过仿真实验进行了验证。结果表明，所提方法能够实现稳定收敛，并生成更紧凑、更平滑的覆盖路径。消融实验验证了各改进模块的贡献，而奖励函数验证进一步确认，所提出的奖励设计能够有效缩短路径长度并减少不必要转向。对比实验进一步表明，所提方法在重复率、转向次数和总体覆盖质量方面优于其他覆盖算法。

该论文发表于《Applied Sciences》，围绕智能割草机器人在复杂草坪环境中的全覆盖路径规划问题展开研究。随着城市绿色空间扩张、环境保护和可持续发展需求提升，草坪养护自动化成为重要应用方向。智能割草机器人能够降低人工成本、提升作业效率，但其核心能力之一——路径规划——直接决定覆盖完整性、重复作业程度和能耗水平。与点到点路径规划不同，覆盖路径规划（Coverage Path Planning, CPP）要求机器人在避障前提下尽可能完整地遍历目标区域，因此更强调覆盖率、路径效率、重复率控制以及运动平滑性。现有传统CPP方法，如随机覆盖、内螺旋覆盖、往复式覆盖以及牛耕式单元分解（Boustrophedon Cellular Decomposition, BCD），虽然在规则场景中具有一定实用性，但在不规则边界和复杂障碍分布条件下，往往会出现重复遍历、转弯频繁和跨区域连接冗余等问题。智能优化方法和强化学习方法虽已被引入该领域，但现有研究仍存在样本利用率不足、Q值过估计、复杂障碍环境下探索能力有限、路径质量指标考虑不充分等不足。因此，开展面向草坪全覆盖任务的改进型深度强化学习研究，具有明确的方法学价值与工程应用意义。

针对上述问题，研究人员提出了一种改进的深度Q网络（Deep Q-Network, DQN）草坪全覆盖路径规划框架，并将任务形式化为马尔可夫决策过程（Markov Decision Process, MDP）。该方法在标准DQN基础上，引入双重深度Q网络（DDQN）以解耦动作选择与价值评估，缓解Q值过估计；引入优先经验回放（PER）以提升关键样本利用效率；采用噪声网络增强与状态相关的探索能力；同时引入分布式深度Q网络，对动作价值的完整分布而非单一期望进行建模，以提高决策稳健性。研究还设计了面向覆盖任务的多组成奖励函数，从重复访问抑制、直线运动鼓励和边界接近引导三个方面共同约束策略学习。仿真结果表明，该方法能够稳定收敛，在路径长度、重复率、转向次数及总体覆盖质量上优于传统覆盖方法和其他学习型基线算法，并在不同尺度网格环境中表现出初步可扩展性。这一研究为复杂草坪环境中的自主覆盖规划提供了针对性较强的深度强化学习解决方案。

方法上，研究人员以校园教学楼下方一块6 m × 6 m真实草坪区域为参考场景，构建10 × 10网格仿真环境，并进一步在15 × 15和20 × 20网格上开展扩展验证。环境采用三通道状态张量表征机器人位置、障碍物分布和已覆盖区域；动作空间定义为上、下、左、右四邻域离散移动。奖励函数由重复访问奖励、线性运动奖励和边界接近奖励组成，并通过系数敏感性分析确定权重。网络结构采用卷积层提取空间特征，结合Noisy Linear层与分布式输出层进行价值学习；训练中整合DDQN、PER、Noisy Networks和Distributional DQN，并采用正弦衰减的ε-贪婪（ε-greedy）策略调节探索强度。

在结果部分，论文按照多个小节系统展示了模型训练表现、模块贡献、奖励函数合理性以及与其他算法的比较结果。

4.3.1. Training Results
研究人员以每轮训练的累计奖励作为收敛性与稳定性的核心指标。结果显示，在训练早期，累计奖励快速上升，说明智能体能够通过与环境交互逐步学习有效覆盖策略；约在500轮训练后，累计奖励已出现明显增长并趋于稳定，表明算法在较短训练周期内实现初步收敛。随着训练继续推进，累计奖励整体保持上升且波动范围缩小，显示出较好的训练稳定性与策略形成能力。据此，研究人员认为所提算法能够在草坪网格环境中有效学习全覆盖行为，并逐步形成稳定的路径规划策略。

4.3.2. Ablation Experiment
在探索机制消融中，研究人员比较了DQN + ε、DQN + Noisy和DQN + ε + Noisy三种策略，结果表明，动作空间随机探索与参数空间噪声探索具有互补作用，联合使用时在累计奖励、路径长度、重复率和转向次数等指标上表现更优。
进一步的模块消融以标准DQN为基线，逐步加入DDQN、PER、Noisy Networks和Distributional DQN，构建多种算法变体，并在相同环境、训练参数和奖励函数设置下开展对比。为缓解深度强化学习训练随机性影响，研究采用5组不同随机种子进行独立训练，以均值 ± 标准差形式报告结果。结果显示，随着改进模块逐步加入，累计奖励增长更快、后期波动更小，说明收敛速度和训练稳定性持续改善；路径长度曲线整体下降，说明智能体学会以更少步数完成覆盖任务；从路径形态看，标准DQN存在较多重复访问和不必要转向，而加入改进模块后，轨迹逐渐更连续、更平滑。完整方法在保持较高覆盖率的同时，有效降低重复率和转向次数，形成更紧凑、稳定且高效的覆盖路径。该结果证明，各模块在价值估计、经验利用、探索增强和分布建模方面发挥互补作用，共同提升了草坪全覆盖路径规划性能。

4.3.3. Reward Function Validation
为验证奖励函数设计的合理性，研究人员分析了不同α和β组合对训练结果的影响，其中二者分别调节奖励函数中不同约束项的权重。轨迹可视化结果表明，不同系数组合会导致智能体形成显著不同的覆盖策略；重复率和转向次数热力图进一步说明，较大的奖励系数并不必然带来更优表现，而是存在一个相对合理的系数区间。在该区间内，智能体能够兼顾高覆盖率、较低重复遍历与较少不必要转向。最终实验采用的权重设置是在综合覆盖性能与路径平滑性后确定的。
此外，研究人员比较了不同奖励函数设置下的训练表现，并以路径长度和转向次数作为覆盖效率与路径平滑性的主要评价指标。结果显示，引入多组成奖励函数后，路径长度和转向次数整体下降，且后期训练波动减小，说明该奖励设计能够有效引导智能体减少无效移动、重复访问和多余转弯；相比之下，缺少完整多组成奖励约束的模型在训练中波动更大，策略学习稳定性较弱。因此，该奖励函数在覆盖完整性、路径效率与运动平滑性之间实现了更好的平衡。

4.3.4. Comparison with Different Algorithms
为进一步验证所提方法有效性，研究人员在10 × 10、15 × 15和20 × 20三种网格地图、不同障碍分布条件下，将其与传统覆盖算法和学习型方法进行比较。对比对象包括往复式覆盖（Boustrophedon Motion, BM）、结合A*搜索的往复式覆盖（BA*）、牛耕式单元分解（BCD）、DQN、DDQN以及包含标准Rainbow全部六个组件的Rainbow DQN。结果表明，在网格仿真条件下，所提方法总体路径规划性能优于传统覆盖方法和其他学习型基线。其较低重复率表明该方法能减少不必要重复覆盖，较少转向次数与较短路径长度则说明其在路径平滑性与覆盖效率方面具有优势。尤其在不同尺度地图上的结果进一步说明，该方法对地图尺寸变化和障碍分布变化具有一定适应能力。

在讨论部分，论文指出，所提方法虽然在仿真环境中取得良好表现，但现实应用仍面临若干限制。首先，当前实验环境被简化为已知的二维静态网格图，未考虑行人、动物或其他移动体等动态障碍，也未纳入定位不确定性、传感器噪声和建图误差，因此真实场景中的状态估计与路径执行精度问题仍待验证。其次，研究将草坪表面视为规则平面，未考虑地形起伏、坡度、车轮滑移、草密度变化及其他室外扰动因素。再次，机器人运动被简化为上、下、左、右四种离散动作，尚未显式建模运动学约束、割草宽度、最小转弯半径和连续运动可行性。这些假设适合用于网格仿真中的策略评估，但会限制结果向真实割草机器人平台的直接迁移。因此，后续仍需在实体平台上进一步验证算法的可行性与鲁棒性。

论文结论部分可译为：本研究提出了一种面向智能割草机器人草坪全覆盖路径规划的改进型DQN方法，并将该任务建模为马尔可夫决策过程。研究基于真实草坪区域构建了含静态障碍的网格环境，系统定义了状态空间、动作空间、奖励函数和动作选择策略，以支持离散环境中的自主覆盖策略学习。所提方法将DDQN、优先经验回放、Noisy Networks和Distributional DQN集成于统一学习框架中，分别用于提升价值估计稳定性、关键经验利用效率、探索能力和动作价值分布表征能力。同时，研究设计了多组成奖励函数，从覆盖效率、运动平滑性和边界感知探索三个方面引导智能体生成更优覆盖路径。实验结果表明，所提算法在草坪网格环境中实现了稳定收敛，并生成了有效的覆盖路径；消融实验和奖励函数验证进一步证明，各改进模块及多组成奖励函数有助于降低路径长度、重复率和转向次数。与传统覆盖方法及其他改进强化学习方法相比，该算法在网格仿真条件下能够生成更紧凑、更平滑且更高效的草坪全覆盖路径。此外，在15 × 15和20 × 20网格地图上的实验进一步表明，该算法对不同地图尺度与障碍分布具有初步的可扩展性和适应性。