基于多模态模仿学习的自适应柔性抓取：SoftGrasp在仿生灵巧手中的应用与突破

为解决机器人灵巧手在抓取不同尺寸、形状和硬度物体时面临的力控与协调难题，研究人员开发了基于多模态模仿学习的SoftGrasp系统。通过沉浸式示教平台采集视觉、关节角度和扭矩数据，结合多头注意力机制实现特征融合，最终实现98%的成功率，为自适应抓取提供了新范式。

　　

在机器人交互与复杂任务执行领域，仿生抓取技术一直是研究热点。然而，由于需要整合视觉、本体感觉和触觉等多模态感知信息，实现人类水平的手指协调与力控仍面临巨大挑战。现有方法往往依赖昂贵的触觉传感器或仅限于刚性物体，对软质和可变性物体的适应性不足。针对这些问题，中国的研究团队开发了SoftGrasp——一种基于多模态模仿学习的自适应抓取框架。

研究团队首先构建了配备力反馈功能的沉浸式示教系统，通过数据手套和仿生灵巧手采集人类抓取动作的多模态数据，包括视觉图像X_I、关节角度X_A和扭矩X_T。为解决不同模态数据的特征对齐问题，创新性地采用多头注意力机制动态分配各模态权重，并通过角度-扭矩联合损失函数优化行为克隆过程。

关键技术包括：(1)基于多项式拟合的关节角度映射方法，实现人手指动作到机械手的精确转换；(2)分段式扭矩反馈机制，提供真实的力觉体验；(3)结合位置编码和时间序列处理的时空特征提取；(4)多模态特征融合的注意力权重动态分配策略。

3.1 沉浸式抓取示教系统
通过UR3机械臂搭载的五指灵巧手和力反馈数据手套，建立了6自由度关节角度映射关系。实验数据显示，各关节角度映射的标准偏差均低于9.944×10^-3，验证了系统的精确性。

3.2 多模态特征表示
采用ResNet-18提取视觉特征，结合独热编码和正弦位置编码处理本体感觉数据。时空特征的联合编码使模型能同时捕捉物体状态和手部动作的时序变化。

3.3 模仿学习框架
设计的Huber损失函数平衡角度(?_A)和扭矩(?_T)误差，当损失因子λ=0.1时取得最佳效果。对比实验显示，完整三模态输入的抓取成功率(98%)显著优于单模态(46%)或双模态(43%)配置。

4.2 性能分析
抓取过程被划分为准备、闭合、握持、再握持和稳定五个阶段。对软塑料、可变形和刚性物体的实验表明，SoftGrasp能根据物体硬度动态调整注意力分配：扭矩模态权重在初始接触阶段最高(约0.6)，稳定阶段则转向关节角度(0.45)。

4.4 对比实验
与Direct Connection(13%)、ACT(91%)和Timesformer(79%)相比，SoftGrasp在12类物体上达到98%成功率。特别对训练集外的玻璃瓶(ID11)和塑料瓶(ID12)，仍保持100%和90%的成功率，显示强大泛化能力。推理时间仅3.9ms，满足实时性需求。

该研究突破了传统抓取方法在柔性物体操作中的局限，通过多模态融合和注意力机制实现了类人的自适应控制。特别值得注意的是，系统无需昂贵触觉传感器即可获取精细力控信息，这对服务机器人、医疗辅助等需要精密操作的应用场景具有重要意义。未来研究可结合生成模型和强化学习进一步降低对示范数据的依赖，推动机器人灵巧操作向更高水平发展。