一种支持5G技术的雾计算框架，用于实现实时机器人抓取

《Pattern Recognition Letters》：A 5G-Enabled Fog Framework for Real-time Robotic Grasping

本文提出基于5G和雾机器人系统的实时抓取框架，结合旋转不变目标检测模型与位置型视觉伺服模块，解决工业场景低延迟高精度抓取难题，200次试验成功率达95%，验证5G雾机器人系统可靠性。

　　

万年勇|彭林鹏|姚功新|王一鸣

重庆大学机械与车辆工程学院，中国重庆，400044

摘要

由于网络延迟和变化性等限制，雾计算机器人技术已经取代了云计算机器人技术，成为工业应用中的主流范式。然而，传统的雾计算机器人技术使用4G或WiFi通信模式，难以满足低延迟和可靠操作的需求。在这项工作中，我们设计了一个新的5G实时雾计算机器人抓取系统（5G-RFRGS）框架，以实现低延迟和稳定的机器人抓取任务。我们将雾计算机器人系统与5G技术相结合，使得从云端和边缘设备对尺寸定向分拣机器人进行远程操控成为可能。为了提高抓取精度，我们开发了一种基于位置的视觉伺服（PBVS）模块。通过建立信息物理系统平台，我们证明了这种5G云-边缘混合设计的实时可靠分拣系统的可行性，在200次试验中实现了95%的抓取成功率。这一结果证实了该系统在5G网络条件下的稳定性，为5G雾计算机器人技术中的高精度、实时和稳健的远程操控控制开辟了可能性。此外，我们还测量并量化了各个步骤中的时间延迟，为工业应用中的雾计算机器人抓取提供了详细的参考和指导。

引言

机器人抓取是一个基本且核心的过程，因为它可以应用于许多领域，如社会服务和工业生产。人类可以通过感知环境并与之互动来本能地抓取物体，因为我们的大脑能够高效地做出决策并快速返回指令。然而，在机器人技术中，随着检测精度的要求不断提高，传感器数据的量和识别模型的复杂性也在增加，这导致了计算负担过重，对于轻量级、移动的机器人手臂来说难以在本地处理。

传统的机器人抓取方法需要物体识别[1]、[2]和姿态估计，或将抓取检测与物体身份[3]结合起来。尽管已经有很多研究直接从RGB-D图像或点云[4]、[5]获取物体抓取姿态，但这些方法通常依赖于高成本的传感器。在大规模工业场景中，仅使用低成本RGB相机满足毫米级精度的物体姿态估计仍然是一个挑战。

在本文中，我们提出了一种框架，该框架能够在杂乱环境中抓取和识别不同大小和形状的工业零件，依赖的是高精度的RGB图像，而非RGB-D图像。随着深度神经网络和计算机视觉的最新发展，有很多关于从RGB图像[6]、[7]、[8]、[9]进行物体检测的研究。然而，这些基于水平框的检测算法难以准确获取物体的位置，特别是当物体处于倾斜状态时。最近，基于深度学习的物体检测方法在光学遥感图像中也取得了显著的成功[10]。与之前的方法不同，这些方法通过旋转检测框来获取物体方向角度，比仅使用水平检测框更准确。我们利用这些旋转不变物体检测（R3Det）模型直接在控制循环中实现模式识别（PR）。因此，通常需要更大尺寸和更高分辨率的图像来检测小型工业零件，这意味着这些基于学习的方法计算成本较高，且难以在原生机器人上运行。

为了解决计算瓶颈，一种方法是为每个机器人配备高性能的GPU工作站。然而，在拥有数百个机器人的工厂环境中，这种“厚客户端”模型成本高昂且能源效率低下。使用云计算机器人系统[11]、[12]是一个更具可扩展性的替代方案。然而，云计算机器人系统将软件部署在云端，网络通信成本较高。最近，Tanwani等人[13]提出了一种改进的框架——雾计算机器人系统，它以联邦化的方式在云端和边缘之间分配计算、存储和网络资源。尽管它们部分解决了网络异构性问题，但如果大量终端设备通过4G或无线通信向雾计算层发送大量数据，它们仍然难以执行实时任务。

4G/WiFi的关键限制不仅仅是带宽，还有延迟稳定性（抖动）。在基于位置的视觉伺服（PBVS）循环中，控制频率依赖于稳定的反馈。在金属密集的工业环境中，WiFi网络经常受到干扰，导致延迟峰值超过500毫秒。这些抖动事件会破坏实时控制循环，使机器人振荡或出于安全考虑停止运行。随着通信技术的进一步发展，当前的5G技术可以提供高数据量和理论上为1毫秒的往返时间，这明显优于4G/LTE通信[14]。为了应对上述挑战，我们利用5G技术的稳定性，设计了一个受5G技术在远程手术机器人[15]、[16]中应用的启发而开发的新的机器人抓取框架。

此外，我们使用基于位置的视觉伺服（PBVS），由远程识别模型的输出驱动，以消除系统误差并提高机器人抓取的精度。通过将“大脑”部署在边缘设备上，将“身体”通过5G连接到机器人上，我们的系统能够实时、高精度且稳定地抓取和放置小型工业零件。最后，为了扩展我们的抓取系统在工业场景中的应用，我们还进行了广泛的实验来评估系统的稳定性，并量化了每个步骤所需的时间。

总结来说，我们的主要贡献如下：

•

提出了一种基于旋转物体检测的深度学习5G雾计算机器人抓取应用，并展示了该系统在抓取工业零件方面的应用。

•

建立了一个由机器人手臂、5G网络以及许多真实或虚拟（云端、边缘和雾计算）计算设备组成的信息物理系统，该系统具有1.2Gbps的下载速度和120Mbps的上传速度（受5G模块传输功率的影响）。

•

提出了一种高精度视觉伺服方法，并通过广泛的实验验证了整个5G雾计算机器人框架的有效性。我们对各种工业螺栓和螺母进行了200次连续抓取尝试，实现了95%的成功率。这一定量结果证明，系统的低延迟和稳定性满足了工业应用的要求。

相关研究

相关工作

本节回顾了与所提出的5G实时雾计算机器人抓取系统相关的文献，重点关注基于视觉的抓取、视觉伺服和5G雾计算机器人技术。

框架架构

本节分为四个小节。第一部分描述了5G雾计算机器人抓取问题所在。接下来的三部分介绍了我们如何解决这些问题。

实验与结果

对于物体检测和识别的精度、边缘-云端操作设置的性能以及高精度抓取的整体成功率而言，一个关键的定量指标是测量的数据传输延迟。

在本节中，我们根据不同的文件大小评估了RGB图像数据的传输，并使用TCP（传输控制协议）而不是UDP（用户数据报协议）进行广播，以防止数据包丢失。

结论

在本文中，我们提出了5G-RFRGS框架，以弥合深度学习计算和实时控制之间的差距。通过将5G与雾计算机器人技术相结合，我们证明了视觉任务可以卸载到边缘设备上，而不影响闭环视觉伺服的稳定性。实验结果证实，与WiFi相比，5G显著降低了延迟抖动，确保了工业零件的95%抓取成功率。

然而，仍存在一些局限性。首先，高硬件成本

补充材料

与本文相关的补充材料可以在在线版本中找到：10.1016/j.patrec.2026.02.006

CRediT作者贡献声明

万年勇：监督、概念化、方法论、软件。彭林鹏：数据整理、初稿撰写、审稿与编辑。姚功新：概念化、方法论、软件、可视化。王一鸣：撰写、审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。