《Actuators》：Graph-Enhanced Proximal Policy Optimization for Simulation-Based Point Cloud Coverage Planning on Curved Surfaces
编辑推荐：
本研究探讨了图聚合和候选级评分对基于近端策略优化（Proximal Policy Optimization, PPO）的模拟曲面点云覆盖规划的影响。在一个静态均匀覆盖基准中，参数匹配的全局多层感知机（Multilayer Perceptron, MLP）达到2
本研究探讨了图聚合和候选级评分对基于近端策略优化（Proximal Policy Optimization, PPO）的模拟曲面点云覆盖规划的影响。在一个静态均匀覆盖基准中，参数匹配的全局多层感知机（Multilayer Perceptron, MLP）达到22.13%的整体覆盖率，图卷积网络-近端策略优化（Graph Convolutional Network-PPO, GCN-PPO）达到76.97%，图增强近端策略优化（Graph-Enhanced PPO）达到88.37%；深度优先搜索（Depth-First Search, DFS）仍然最强，达到95.80%。一项单独的50步决策任务引入了非均匀优先级和运动成本。在该设置中，GCN-PPO和Graph-Enhanced PPO获得几乎相同的加权覆盖率（分别为0.812和0.811），未检测到统计上可靠的差异。在一个单独的1000节点扫描衍生斯坦福兔子表面上，该表面保留了孔洞和网格测地线连通性，GCN-PPO和Graph-Enhanced PPO再次表现出相当的加权覆盖率（分别为0.450和0.445）和任务效用（分别为0.321和0.315），没有统计上可靠的差异。在物理归一化的零样本密度和面积测试中，小均值差异的方向因条件而异，且经多重性校正后均不显著；两种策略的性能都随着采样密度或工作空间尺寸的变化而下降。在已知五倍面积目标图上的直接适应将Graph-Enhanced PPO的覆盖率从0.631提高到0.753（针对保留起点）。由于适应和评估使用相同的目标图实例，未测试未见大图的泛化。在各项实验中，图聚合提供了最清晰的学习改进。辅助评分器改善了静态基准结果，但增加的参数使得无法将该增益单独归因于单独的评分机制；在其他测试中未出现一致收益。当可行时，系统性遍历仍然更可取。该研究仍是基于仿真的：评估了扫描衍生的几何形状，但物理硬件上的验证仍然必要。
**论文解读：图增强近端策略优化用于曲面点云覆盖规划**
**研究背景与问题**
覆盖规划要求机器人在曲面点云上选择一串局部可行的运动，同时减少遗漏区域和不必要的重访。这一问题将路径规划与点云表征紧密耦合，因为邻域关系取决于采样表面的几何结构。经典图搜索方法（如D*、A*、Dijkstra）在全知环境下高效，但用于密集表面点云时仍需局部几何检查，并要额外机制决定下一步覆盖区域。强化学习可从状态-动作轨迹中学习策略，近端策略优化（PPO）已被应用于避障、安全导航和机械臂路径规划。然而，状态表示是核心难点：平面向量能暴露节点属性，却无法描述节点间的邻接关系。图聚合提供了一种直接编码局部结构的方案，但其收益需与网络规模、全局特征访问和动作评分的影响相分离。为此，研究人员设计了受控的架构对比，系统评估邻域聚合和候选级评分在曲面点云覆盖规划中的作用。
**研究内容与意义**
研究人员使用三种解析曲面（碗形、马鞍形、波浪形）和来自斯坦福3D扫描库的斯坦福兔子重建网格，构建有向六最近邻图，训练局部PPO、参数匹配的全局MLP-PPO、GCN-PPO和图增强PPO，并与贪婪、DFS及多种任务感知启发式比较。静态均匀覆盖基准显示，GCN-PPO显著优于全局MLP-PPO，图增强PPO进一步提升，但DFS仍最佳。有限预算优先级加权任务和扫描衍生复杂表面验证中，两种学习策略表现相当，均显著优于标准DFS。密度和面积缩放测试显示两者在分布变化下性能下降，且无一致显著差异。直接适应能恢复部分性能，但未见大图泛化未测试。该论文发表在《Actuators》期刊，其受控消融设计为曲面点云覆盖规划中图编码、候选评分与系统遍历的相对贡献提供了清晰证据。
**关键技术方法**
研究人员采用以下主要方法：用最远点采样对归一化点云采样，构造六最近邻有向图；GCN编码器使用两层有向均值邻域聚合，分别学习自节点和邻域变换；PPO采用裁剪目标、广义优势估计和边界处理；图增强PPO在基础actor旁并行添加候选级MLP评分器，将辅助logit加到基础logit上；通过参数匹配的全局MLP控制图聚合的效应；使用覆盖半径0.18，奖励函数包括新覆盖奖励、重复惩罚、步成本和完成奖励。实验在三种解析曲面和斯坦福兔子网格（保留获取孔洞，使用网格测地线距离）上进行；物理归一化测试区分采样密度和工作空间面积；适应实验使用直接和课程微调。
**研究结果**
**4.1 实验环境与评估**：在CPU上使用PyTorch实现，通过固定随机种子保证配对比较，完成了大量训练与评估运行，并验证了实现正确性。
**4.2 静态均匀覆盖基准**：在200节点三曲面上，全局MLP-PPO达到22.13%覆盖率，GCN-PPO达到76.97%，图增强PPO达到88.37%。配对比较显示GCN-PPO显著优于全局MLP（差54.83个百分点，95% CI: 50.78–59.38），图增强PPO显著优于GCN-PPO（差11.40个百分点，95% CI: 6.88–15.53），但表面特定增益不均匀。
**4.3 起点匹配的经典基线与计算成本**：DFS达到95.80%覆盖率，在所有30个表面-种子运行中达到目标；图增强PPO仅在33.3%运行中成功。Greedy与图增强PPO总体无显著差异。
**4.4 辅助噪声鲁棒性与奖励敏感性**：在波浪面上，1%坐标噪声导致覆盖率轻微下降，3%噪声增大方差；不同重复惩罚（0.10、0.20、0.40）下最终覆盖率相近，但高惩罚设置使用满400步决策上限，路径效率不同。
**4.5 有限预算优先级加权案例**：50决策任务中，GCN-PPO和Graph-Enhanced PPO加权覆盖率分别为0.812和0.811，任务效用均约为0.683，无显著差异。两者显著优于标准DFS（差+0.454），但与Priority-DFS、Cost-Aware DFS、Weighted Greedy的差异在多重校正后不显著。
**4.6 扫描衍生复杂表面验证**：1000节点斯坦福兔子表面上，GCN-PPO和Graph-Enhanced PPO加权覆盖率为0.450和0.445，任务效用0.321和0.315，差异不显著；两者均显著优于标准DFS（加权覆盖率差0.290，任务效用差0.265）。
**4.7 采样密度敏感性与物理面积缩放**：固定物理面积下增加采样密度时，两种策略覆盖率随网格变密显著下降；固定采样密度下增大物理面积时，性能也下降（五倍面积时损失约0.15）。所有缩放对比在多重校正后均不显著。
**4.8 已知目标大面积适应**：直接适应将Graph-Enhanced PPO加权覆盖率从0.631提高到0.753，课程适应提高到0.742；两者均显著优于未适应检查点（差0.121和0.109），但彼此无显著差异。
**讨论与结论**
讨论指出，邻域聚合是学习改进的主要来源，因为全局MLP虽能访问所有节点特征，但缺少邻接信息。候选评分器在静态基准中有效，但在有限预算、规模变化和扫描衍生任务中无一致显著优势，且静态增益可能部分来自额外参数而非评分机制本身。DFS在静态均匀覆盖中最佳，因为它匹配了全知图、等值节点和足够时域的条件；在有限预算下，学习策略与任务感知启发式相当。局限性包括仅使用三种解析曲面和一个扫描对象，未进行物理执行，覆盖用欧氏距离而非测地线，未考虑机器人可达性、碰撞、接触力学等。适应实验只证明了对已知图的起点外推，未测试未见图。
结论部分可概括为：图编码显著改善了静态基准中的PPO覆盖规划性能（GCN-PPO 76.97%对比全局MLP 22.13%），候选级评分将覆盖率提升至88.37%，但DFS仍达到95.80%且更优。在50步优先级加权任务和1000节点兔子验证中，GCN-PPO与Graph-Enhanced PPO无统计显著差异；候选评分器未产生可靠的总体提升，且静态增益不能完全归因于评分机制。直接适应能在已知目标图上恢复部分性能，但未见大图泛化仍未测试。未来需在规模随机化策略、更多工业扫描和物理机器人系统上进一步验证。
