一种用于协作机器人系统中具备安全意识的工作空间建模的后期融合多模态方法

《Robotics》：A Late-Fusion Multimodal Approach for Safety-Aware Workspace Modeling in Collaborative Robotic Systems

　　

摘要

在协作制造环境中，确保人类操作员与工业机器人之间安全共存是一项重要挑战。现有的解决方案要么依赖成本高昂且难以改造的专用安全级硬件，要么依靠纯粹基于视觉的分类器，这类分类器会忽略机器人控制器提供的精确运动学状态，因此当不同关节配置在固定摄像机视角下呈现相似外观时，就会出现视觉上的歧义。虽然仅基于运动学的方法较为精确，但却缺乏用于区分工作区边界附近配置的空间上下文。我们提出了RGBJointsNet，这是一种后期融合的多模态深度学习分类器，它将通过冻结的EfficientNet-B2卷积架构提取的RGB视觉特征，与能够处理双UR5机器人单元12维关节角度向量的紧凑型运动学处理模块相结合。该模型可将每个观测值映射到五个互斥的工作区区域中：静止状态、正常状态、扩展状态、存在共享/碰撞风险的状态，以及关节达到极限/出现奇异状态。我们利用基于ROS 2 Humble Hawksbill和Gazebo Classic 11构建的专用仿真环境，从三个经过校准的顶置摄像机中生成了包含54,309帧图像及162,927张RGB图像的标注数据集，这些标注数据是通过封闭式正向运动学公式得到的。通过采用特征缓存策略在CPU上进行训练，每轮训练的耗时仅为数秒，因此无需GPU硬件即可实现该方法的可行应用。在测试集中，该模型的整体准确率为87.1%，宏观平均F1分数为90.0%，而对于安全性至关重要的共享区域，其召回率更是高达99.3%。经过训练的分类器被整合为一个ROS 2推理节点，能够在标准工作机上以10的频率运行。我们的研究结果表明，在基于仿真的环境中，关节角度信息是补充RGB图像、实现精细且以安全为导向的工作区分类的重要手段。