具有时空运动感知能力的智能机器人抓取技术,可对移动物体进行速度估计

《ADVANCED ENGINEERING INFORMATICS》:Spatio-temporal motion-aware intelligent robotic grasping with velocity estimation for moving objects

【字体: 大 中 小 】 时间:2026年01月27日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  动态抓取预测方法研究:提出基于Conv-T的框架,融合时空特征与速度估计模块,解决动态环境中物体轨迹预测难题,通过合成数据与扩展技术构建高质量数据集,实验表明该方法在真实和模拟场景中优于现有基线。

  
乔青|胡伟飞|王婷杰|邵格宇|唐宁|王佳艺|方龙
浙江大学流体动力与机电系统国家重点实验室,杭州310058,中国

摘要

动态抓取能力,即在非结构化环境中抓取移动物体,可以使机器人系统在工业和日常生活应用中更具竞争力。然而,以往的研究大多依赖于一些限制性假设,例如受轻微扰动的静态物体或预先学习到的物体运动模式,这严重限制了系统对未知轨迹的适应能力。虽然最近基于学习的方法放宽了这些假设,但它们更注重物体或抓取轨迹的跟踪,以确保机器人运动的平滑性,而非未来的抓取姿态预测。动态抓取数据集的稀缺进一步阻碍了基于学习的方法的发展。为了解决这些问题,本文提出了一种基于Conv-T(卷积变换器)的移动物体抓取预测方法,该方法采用分层架构融合时空特征以实现运动感知的动态抓取。通过整合速度估计,该方法从时间序列深度图像中建模潜在运动轨迹的动态,以预测未来的抓取姿态。Conv-T基于一种称为SLW-MSA(SLiding Window Multi-head Self-Attention)的机制构建,该机制通过结合卷积操作和自注意力机制的特性,在计算效率和性能之间取得平衡。此外,还开发了一种动态抓取数据集生成流程,结合数据合成和数据扩展技术,将时间运动线索有效嵌入训练数据中。所提出的方法在构建的动态抓取数据集以及模拟和真实世界机器人环境中得到了验证。实验结果表明,基于Conv-T的方法不仅在数据集上优于现有最先进的网络,而且在抓取移动物体时也表现出更高的鲁棒性。

引言

近年来,机器人操控领域取得了显著进展,特别是在抓取物体方面。然而,大多数研究都集中在稳定且可靠的静态物体抓取上[1]、[2]、[3]、[4],而对于在动态环境中抓取和操控物体的更具挑战性的任务,相关研究相对较少。动态抓取能力对于机器人有效与现实世界互动至关重要,这在仓库物流、装配制造和家庭服务等应用场景中需求巨大。因此,本研究致力于提供一种能够在非结构化和动态环境中成功抓取移动物体的智能机器人抓取系统。
尽管对动态抓取的研究较少,但仍有一些研究试图解决这一挑战。早期的尝试将静态抓取策略应用于物体略有移动的场景[1]、[5]、[6],例如物体在抓取规划开始时受到水平力的作用,或由于支撑垫的移动而导致物体姿态发生变化。然而,上述方法实际上假设物体在抓取前是静止的,因此无法处理物体持续运动的情况。后续的动态抓取研究虽然能够抓取连续移动的物体,但它们基于其他假设,如对物体形状的先验知识[7]、[8]、预先设计的抓取姿态数据库[9]和预设的轨迹规划器[10]。不幸的是,在实际场景中满足这些条件非常困难,严重限制了上述方法的适应能力。这些问题促使研究方向转向基于学习的方法[11],这些方法可以放宽假设,且不需要先验知识。
由于深度学习在静态物体抓取方面取得了显著进展[12]、[13]、[14]、[15],近年来研究人员也尝试将深度学习应用于动态抓取。在[1]中,作者通过选择当前图像帧中与上一帧中使用的抓取位置最接近的抓取来实现动态抓取中的抓取跟踪。杨等人[16]将最近帧中采样的抓取作为当前帧的候选抓取,并通过评估器为其分配相应的质量。这些工作的主要关注点是相邻帧之间的短期时间一致性,这容易导致误差累积。尽管[17]中的作者通过引入临时缓冲区缓解了这一问题,但仍然局限于两帧之间抓取的匹配,忽略了运动轨迹的长期依赖性。所有上述工作的核心在于跟踪物体或抓取,以确保机器人动作的平滑性,而没有涉及未来抓取姿态的预测,这阻止了这些方法补偿网络推理和机器人执行带来的系统延迟。另一个值得注意的点是,关于静态抓取的相关研究已经认识到深度神经网络骨干在抓取性能中的重要性。考虑到动态抓取任务需要感知和理解物体运动模式和特性,其输入应同时包含空间和时间线索,从而对网络骨干的特征提取能力提出了更高要求。尽管卷积神经网络(CNN)在基于视觉的机器人抓取任务中表现出有效性[18]、[19]、[20],但它们在明确捕捉长距离依赖性和全局上下文方面存在局限性,这对于理解动态抓取场景中的复杂物体运动至关重要。Transformer的出现利用了自注意力机制来弥补这一不足。然而,值得注意的是,其全局自注意力机制引入了较大的计算开销,可能会限制其实时性能。与CNN相比,Transformer可能在捕捉细粒度空间细节方面存在困难[21]。
众所周知,高质量和多样化的数据集对于训练和评估动态抓取的鲁棒深度学习模型(特别是基于Transformer的架构)至关重要。在动态抓取的背景下,由于物体的动态性质,数据生成和收集过程变得更加具有挑战性。Kalashnikov等人[22]通过使用七台机器人,在四个月内收集的数据集来训练他们的QT-opt,以处理动态干扰下的物体抓取。这种数据收集过程需要大量的时间和经济成本,对大多数实验室来说是不切实际的。此外,现有的公开可用数据集也主要针对静态抓取场景[23]、[24]、[25]。为了应对真实世界动态抓取数据集的稀缺性和劳动密集型收集问题,人们探索了数据合成、数据增强和迁移学习等技术。数据合成涉及创建虚拟环境和模拟物体,以生成用于训练动态抓取预测模型的多样化标注数据集。通过利用基于物理的模拟和计算机图形技术,研究人员可以生成模拟真实世界条件的各种动态场景,从而获得涵盖不同物体形状、大小、纹理和运动模式的广泛训练数据。一些工作[9]、[26]通过在模拟器中手动预先设计几种固定轨迹(例如线性或圆形)来简化抓取场景。然而,这种依赖性使模型偏向于观察到的模式,限制了它们对复杂、未见过动态的适应能力。数据增强技术则侧重于扩展和转换现有数据集,以增强其多样性。增强技术包括对原始数据应用随机变换,如旋转、缩放、平移和遮挡,从而增加训练数据的变异性,帮助模型学习能够处理不同物体外观的鲁棒抓取策略。此外,对静态图像应用时间变换可以模拟通用物体运动模式,从而高效生成动态训练数据。
为了解决上述未解决的问题,本文的主要贡献可以总结如下:
  • (1)
    提出了一种结合数据合成和数据转换技术的动态抓取数据集生成方法。通过通过刚性平面变换合成动态数据,该方法在降低数据收集成本的同时,使网络能够对多样化的非预定义运动轨迹进行泛化。
  • (2)
    提出了一种计算优化的SLW-MSA(SLiding Window Multi-head Self-Attention)机制,该机制结合了卷积操作和自注意力机制的特点。它允许在局部窗口内进行的空间自注意力计算作为卷积计算,从而增强特征提取能力,同时降低计算复杂性。
  • (3)
    基于SLW-MSA机制,开发了一种新的移动物体抓取预测模型,该模型集成了物体速度估计模块。通过分析时间序列深度图像中的时空线索,它可以估计物体速度并预测其未来的抓取姿态,从而实现鲁棒的机器人抓取。
  • 本研究的其余部分结构如下。第2节介绍了动态数据集的合成和扩展方法,详细介绍了移动物体抓取预测模型,并提供了整体机器人动态抓取框架。第3节提供了在数据集、模拟和物理环境中的实验结果和讨论,第4节则提出了结论、局限性和未来工作。

    部分摘录

    机器人动态抓取问题陈述

    由于采用了自上而下的抓取模式,现实世界中的机器人抓取问题可以从六自由度(6-DoF)配置简化为四自由度(4-DoF)配置,即从3-D位置和3-D方向简化为3-D位置和1-D方向。在这样的场景中,抓取可以定义为:g=p, ?, t, qp=xyp=xy表示执行抓取时夹具位置的笛卡尔坐标。?表示夹具绕基座框架z轴的旋转。

    基于数据集的离线结果

    本节对使用SLW-MSA机制构建的网络骨干在静态和合成动态抓取数据集上取得的成果进行了比较分析。

    结论

    本文提出了一种基于Conv-T的新型移动物体抓取预测方法,该方法能够自主感知并鲁棒地抓取具有非预定义轨迹的未见移动物体。通过引入速度估计模块,我们的方法可以从网络输入的时间序列图像数据中推断出物体运动模式,从而准确预测未来的物体抓取姿态。Conv-T的构建基于计算效率

    CRediT作者贡献声明

    乔青:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,软件,方法论,调查,形式分析,数据管理,概念化。胡伟飞:撰写 – 审稿与编辑,撰写 – 原稿,监督,资源,项目管理,方法论,调查,资金获取,形式分析,概念化。王婷杰:软件,调查。邵格宇:软件,调查。唐宁:软件,资源,

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究得到了长江三角洲科技创新共同体联合研发计划(授权号 2024CSJGG01000)和国家自然科学基金(授权号 52275275)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号