基于多视图立体视觉与颜色区域生长的机械加工轨迹规划方法

《Annals of the New York Academy of Sciences》：A Method of Machining Trajectory Planning Based on Multi-View Stereo Vision and Color Regional Growth

多视图立体视觉与颜色区域增长结合生成高精度点云，NURBS曲线拟合优化机器人轨迹，提升曲面加工精度和效率。

　　

摘要

为了解决机器人制造曲面部件时局部轨迹规划所面临的挑战，本文介绍了一种基于多视图立体重建和颜色区域生长的方法。首先，我们将颜色纹理应用于曲面部件的表面。随后，改进的PatchmatchNet模型（该模型结合了高分辨率网络和总变分损失）重建出高质量的3D点云，与基线方法相比，精度提高了10.42%，完整性提高了10.59%。接着，使用基于色调-饱和度-强度颜色空间和局部颜色分布相似性的区域生长点云分割算法，对三个航空航天部件的颜色-纹理点云进行了分割，获得了82.2%的Cat.mIoU和77.1%的Ins.mIoU。在此基础上，对单色-纹理点云进行了点云处理和曲线拟合，最终得到了局部加工轨迹特征线。非均匀有理B样条（NURBS）曲线拟合生成的加工轨迹的R2值超过了0.94%，均方根误差（RMSE）比多项式和标准B样条方法低30%。实际机器磨削实验验证了该方法的可行性，证明了其在规划轨迹上的精确定位和有效材料去除能力。所提出的方法解决了复杂曲面局部磨削中的关键问题，对航空航天制造具有重要的实际价值。

图形摘要

本研究提出了一种基于颜色-纹理辅助的机器人轨迹规划方法，用于曲面部件。开发了一种改进的PatchmatchNet模型进行多视图立体重建，以生成高质量的颜色-纹理点云。随后使用PCL库进行颜色区域生长分割，有效分离不同的颜色-纹理区域。最后，利用曲线拟合算法从分割后的点云中提取并优化形状曲线，从而得到平滑的机器人加工轨迹。

利益冲突

作者声明没有利益冲突。

数据可用性声明

本文所呈现的结果所依赖的数据和代码目前尚未公开，但可根据合理请求向作者获取。