《IEEE Access》:Framework For Robot Door Opening Based On Visual, Force and Tactile Integration
编辑推荐:
本文针对现代家居中无把手柜门开闭这一机器人操作难题,提出了一种集成视觉、力觉和触觉感知的鲁棒性框架。研究人员开发了基于失败交互的相机参数校正方法,通过仿真和真实实验验证了该框架能有效补偿系统误差,显著提升开门任务成功率至99.6%,为复杂环境下的机器人灵巧操作提供了新思路。
在现代家庭和工业场景中,机器人正逐渐承担起日常活动任务,这要求它们具备复杂的物体操控和运动规划能力。然而,在真实环境中部署机器人面临诸多挑战,尤其是依赖摄像头解读周围环境的感知系统。相机标定不准确会导致显著的感知误差,进而造成物体操控任务失败。虽然先前研究已探索过带把手门的开闭问题,但现代家居环境普遍使用无把手家具,这为机器人操控带来了新挑战——机器人需要将夹爪精确插入门板与柜体间的狭窄缝隙才能进行操作。
传统方法主要依赖视觉感知,但在能见度差或目标物体被遮挡时容易失效。而基于大语言模型(LLM)、视觉语言模型(VLM)和强化学习(RL)的最新方法虽在操控任务失败恢复方面展现出潜力,但需要大量真实世界数据,且难以扩展到无把手柜门等更大物体。此外,这些方法通常假设相机标定精确,未充分考虑标定不准引入的系统误差。
为解决这些问题,来自克罗地亚的研究团队在《IEEE Access》上发表了研究成果,提出了一种用于自主开闭无把手柜门的鲁棒自适应框架。该框架创新性地融合了视觉、力觉和触觉感知来增强鲁棒性并实现失败恢复。其核心是一种新型校正方法,利用不成功的机器人动作信息来校正相机参数,从而更新环境模型,使机器人能够重新规划更可靠的门开闭轨迹。
研究人员为开展研究采用了几个关键技术方法:首先使用安装在UR5机械臂末端的3D相机、力扭矩传感器和触觉传感器构建硬件平台;基于"人示教"(THD)方法从单次RGB-D图像中检测门并创建可用于路径规划的模型;将任务构建为有限状态机,根据不同传感反馈触发状态转换;提出相机参数校正模型,通过优化算法最小化机器人工具与环境特征之间的正交距离和横向距离误差;利用从实际交互中收集的接触约束(顶点-面接触、边-边接触和未命中约束)来校正系统误差。
框架设计与实现
研究提出的框架采用有限状态机结构,各状态对应门开闭任务的特定阶段,通过视觉、力或触觉反馈触发状态间转换。框架包含门检测、路径规划、环境模型创建与更新、路径执行、校正和重捕获等模块。系统首先通过人示教方法估计门模型,包括门尺寸、旋转轴姿态和门板相对于轴的偏移量,将门描述为绕固定轴旋转的刚体。然后使用该模型构建柜体的3D环境模型用于路径规划。当执行过程中发生碰撞或未命中等失败时,校正模块会根据失败时刻记录的工具姿态调整估计的柜体模型,更新环境模型后重新规划轨迹。
相机参数校正方法
校正方法针对因相机标定不准确导致的系统误差。研究人员建立了包含12个参数的校正向量x,用于修正相机内参矩阵K、深度相机参数κ和λ,以及相机相对于机械臂末端的外参(旋转矩阵R和平移向量t)。通过定义机器人工具与环境之间的接触约束(包括顶点-面接触和边-边接触),以及未命中操作时的运动包络约束,构建优化问题。使用Levenberg-Marquardt算法最小化包含正交距离、横向距离和马氏距离约束的成本函数,求解最优校正参数。为解决接触组合爆炸问题,采用了基于随机采样的优化策略,在每次失败动作后递归应用校正算法。
路径规划与执行
路径规划模块基于校正后的环境模型生成可行的运动轨迹,使机器人能够接近、插入并拉开柜门。规划过程首先在门板背面的垂直线上采样接触位姿,结合夹爪 orientations 生成候选接触位姿,使用柔性碰撞库(FCL)检测夹爪与门板间的碰撞并保留无碰撞位姿。每个有效接触位姿用于构建包含接近、插入和开闭三个阶段的完整运动路径,通过逆运动学计算对应的关节配置序列,确保运动平滑且满足关节空间约束。
实验结果与分析
仿真实验包含1000个柜体配置的消融研究,测试了相机扰动参数和优化参数的影响。在基线配置下,该方法成功率高达99.6%,即使在高扰动情况下(如σg,xy=10%、σφ=3°)也能保持99.7%的成功率。分析显示,随着场景序列推进,首次尝试即成功的频率增加,需要多次动作的任务减少,证实了校正机制通过累积信息减少感知误差的有效性。真实世界实验使用UR5机械臂平台,在10个不同柜体位姿上进行测试。带有离线校准的实验在前期校准阶段后,10个场景中有9个在首次尝试即成功开门,而不带离线校准的实验首次成功率为6/10。两种策略均实现了100%的最终成功率,但离线校准显著减少了早期任务中的失败动作次数。
研究结论表明,该框架通过集成视觉、力觉和触觉模态,实现了无把手柜门的高效开闭。校正方法通过利用失败交互中的传感数据补偿相机相关误差,逐步提高机器人性能。仿真和真实实验验证了该方法在不同相机扰动水平下的有效性,展示了其在复杂环境下适应新柜体配置的能力。尽管当前实现存在接触解释不够具体等限制,但该框架为受限操控任务提供了有前景的解决方案,未来可扩展到其他类型的约束操作任务。