一种面向杂乱堆叠场景中机器人的鲁棒视觉抓取方法

《Sensors》：A Robust Visual Grasping Method for Robots in Cluttered and Stacked Scenes

　　

在复杂背景与严重遮挡条件下，基于视觉的机器人抓取位姿估计精度显著下降，进一步导致物体难以操控与抓取。研究人员提出一种迭代闭环优化框架，将SAM（Segment Anything Model）与FoundationPose深度耦合。该框架突破了传统视觉算法“先分割后估计”的开环逻辑瓶颈，构建了基于渲染投影的掩码校正机制。通过对初始估计的6D位姿进行三维渲染，生成物体的几何先验掩码并反馈至SAM的提示编码器，从而引导模型在下一感知周期中实现目标边界的像素级细化。同时，为克服单一指标的盲区，框架设计了融合二维图像域与三维几何域的多维置信度评估模块，综合评价当前位姿的可靠性。SAM先验、闭环迭代机制与多维置信度评估模块协同作用，形成完整的优化环路。在杂乱与堆叠场景下的位姿估计鲁棒性实验中，所提方法整体ADD-S召回率达到91.7%，平均平移与旋转误差分别降低至低至3.5 mm与2.1°。在200次真实机器人抓取验证试验中，整体抓取成功率达到96.5%。这些实验结果表明了所提闭环优化框架在所测试的非结构化环境中有效且增强了鲁棒性。

研究背景方面，随着智能制造与协作机器人演进，机械臂在非结构化环境如工件分拣与精密装配中的作业能力成为感知技术研究焦点。作为机器人进行物理交互的基础，基于视觉的目标物体6D位姿估计精度直接决定抓取任务成败。现有6D位姿估计方法分为基于几何优化的传统方法、基于深度学习的回归方法以及基于渲染与匹配的方法三类。传统方法如迭代最近点（ICP，Iterative Closest Point）算法及其变体依赖局部几何梯度进行点云配准，在无纹理或严重遮挡下易陷入局部最优；PnP型方法虽计算高效但对特征点匹配质量敏感且鲁棒性不足；以PoseCNN、DenseFusion为代表的深度学习方法通过端到端网络直接回归位姿参数或建立像素级密集对应，在精度上取得突破，PVNet、GDR-Net、FFB6D、CosyPose、ResFuNet等方法进一步拓展该领域，但其泛化能力受训练数据覆盖限制，且本质上仍采用单向串行开环控制架构，前端感知阶段的噪声与错误掩码会单向传播放大，导致下游位姿估计引擎输出不准，缺乏自检与纠错能力。视觉基础模型SAM具备卓越零样本泛化能力可提供像素级掩码但缺乏三维几何空间位姿估计能力；CVPR 2024提出的FoundationPose融合神经隐式表示与大规模合成数据训练先验具跨物体迁移潜力，但在高度动态背景或遮挡场景下单次前馈推理结果仍受初始感知质量影响导致定位漂移。为此研究人员构建跨维度双向闭环协同优化机制，利用目标刚体空间几何约束消除纯二维视觉特征局部歧义，将当前迭代估计的不完善三维位姿重投影回二维像素平面合成具理想几何拓扑的引导掩码，作为确定边界约束反向注入SAM提示编码器迫使前端感知模块在边缘模糊与低对比度区域进行特征重构与像素级边界细化，连接孤立大模型为动态收敛的自闭环优化系统，以提升复杂场景位姿估计精度并为自主机器人抓取提供更鲁棒算法支持。该研究发表于《Sensors》。

关键技术方法方面，研究人员采用SAM（Segment Anything Model）作为前端高精度掩码生成器，利用其图像编码器（Vision Transformer，ViT架构）、提示编码器与掩码解码器三联协同架构，结合YOLOv5n粗检测与深度先验回退机制生成初始及迭代引导掩码；采用FoundationPose作为核心6D位姿推理引擎，融合神经隐式表示与渲染比较机制，输入RGB-D图像与目标物体三维模型输出相机坐标系下6D位姿变换矩阵T∈SE(3)（由旋转矩阵R与平移向量t组成）；构建闭环融合框架，通过前向投影算子Π将当前位姿T_k的三角顶点M_3D转换至相机坐标系点云并利用相机内参矩阵K透视去齐次投影与光栅化生成引导掩码M?_k；设计多维置信度评估模块，融合二维重投影误差E_proj、掩码匹配度IoU（Intersection over Union）与三维几何深度误差E_geo（均方根误差）经非线性负指数函数与权重系数（ω₁=0.3，ω₂=0.4，ω₃=0.3）计算综合置信度分数S_k作为迭代门控；实验以十类日常物体（电脑鼠标、卷尺、胶带、耳机、乒乓球等）为对象，在Intel RealSense D435i与NVIDIA Jetson NX及GEN72协作臂平台部署MobileSAM与FoundationPose，采用无训练零样本范式，通过未遮挡标定标记结合ICP精细配准获取6D位姿真值，在杂乱非堆叠（100张图）与杂乱堆叠（表面遮挡30%–60%，每目标20次）及200次真实抓取中评估ADD-S召回率、平移与旋转误差。

研究结果方面，在3.1 Platform Setup and Experimental Preparation中，研究人员搭建由Intel RealSense D435i深度相机、NVIDIA Jetson NX边缘计算核心与GEN72系列协作机械臂组成的硬件系统，选取十类具不同几何形状复杂度、表面纹理与尺寸的物体，明确框架为完全免训练零样本感知方法仅需目标刚体标准三维模型为几何先验，底层环境为JetPack 5.1.2、CUDA 11.4、cuDNN与PyTorch 1.13.0并采用MobileSAM与前向推理自动混合精度加速，实验数据规模为非堆叠100独立测试图、堆叠每目标20次重复估计、真实抓取200次尝试，通过标定标记与ICP建立6D位姿真值获取流程。

在3.2 Object Pose Estimation in Cluttered but Non-Stacked Scenes中，研究人员在无外部物理遮挡但具严重背景颜色与高频纹理混淆的复杂桌面环境评估算法适应性，以ADD(-S)平均召回率（阈值2 cm）、平均平移与旋转误差为核心指标。3.2.1 Robustness Analysis通过同色背景纹理混淆、高反射透明材料干扰、强特征纹理杂乱干扰三典型场景可视化表明系统得益于SAM前端零样本语义泛化仍能抵抗二维背景噪声实现前景区域准确分离，掩码完整平滑且位姿渲染框紧密贴合物理物体。3.2.2 Positioning Accuracy Analysis统计十类物体在强干扰桌面环境的多维位姿误差，整体平均ADD(-S)召回率达97.1%，平均平移误差3.63 mm、旋转误差2.21°，透明胶带、耳壳、卷尺等易歧义样本平移误差均控制在5.2 mm内且召回率超94%，验证基于渲染反馈的自优化闭环逻辑可有效抵抗非结构化工况下高频纹理、相似颜色与多源反射等二维视觉欺骗并在三维物理空间位姿估计中有效收敛。

在3.3 Object Pose Estimation in Cluttered and Stacked Scenes中，研究人员构建十物体随机密集堆叠含复杂纹理桌面场景聚焦严重遮挡与杂乱堆叠极端条件下位姿估计鲁棒性以验证迭代闭环融合机制核心价值。结果显示初始阶段SAM因严重遮挡输出含噪掩码致FoundationPose初始6D位姿显著平移偏差或朝向翻转，多维置信度评估因掩码重叠极低与几何重投影误差激增触发迭代优化控制，将当前错误位姿渲染为新目标掩码轮廓反馈至SAM排除背景干扰重聚焦真实物体边界生成质量提升的细化掩码，位姿逐步逼近真实状态至置信度达标退出。图6可视化该闭环校正动态演化过程从初始掩码粘连邻接干扰物与位姿错位至最终位姿与卷尺三维物理边界紧密对齐。3.7a显示无反馈优化初始开环预测在2 cm阈值下召回率仅44.3%，引入掩码渲染反馈与多维置信度评估后闭环迭代曲线在2 cm阈值下升至91.7%；图7b显示优化后平移误差概率密度呈尖峰窄范围集中于0–5 mm，优化前红分布右移宽散集中于15–35 mm，证明单发开环推理易致严重位姿漂移而闭环在3至5次（平均4次）迭代内达置信阈值终止，归功于视觉基础模型全局先验与渲染反馈强几何约束。

在3.4 Comparative Experiments with Different Estimation Methods中，研究人员在构建的复杂遮挡堆叠数据集上将所提方法与PoseCNN、MegaPose、原始FoundationPose对比。3.4.1 Selection of Comparative Algorithms and Evaluation Metrics确保公平：PoseCNN作纯RGB低界基线，MegaPose与原始FoundationPose用RGB-D与三维模型先验且同部署于NVIDIA Jetson NX与PyTorch 1.13.0无特定场景微调。3.4.2 Result Comparison and Analysis显示PoseCNN与DenseFusion在严重遮挡下ADD-S低于60%，MegaPose与原始FoundationPose分别为71.4%与79.6%，所提SAM-FoundationPose达91.7%（较原始FoundationPose提升12.1%），平均平移与旋转误差降至3.5 mm与2.1°；在NVIDIA Jetson NX上单物体处理平均390 ms（初始位姿估计约210 ms：SAM约70 ms、FoundationPose约140 ms；迭代优化每次约60 ms平均3次共180 ms），虽较原始开环215 ms多175 ms但抓取准确率从79.6%升至91.7%，具工程性价比；3.4.3 Visual Comparison of Results Across Different Methods通过卷尺目标6D位姿渲染对比显示PoseCNN红框显著空间偏移与尺度偏差，MegaPose仍有角度与位置偏移，FoundationPose在遮挡边缘微偏，所提方法红框近完全重合绿框（真值）准确贴合物理边缘，验证闭环掩码反馈可有效隔离目标真实可见边缘。

在3.5 Core Module Ablation Experiments中，研究人员以原始FoundationPose为基线渐进移除关键模块设四变体：变体A（仅FoundationPose，基线ADD-S 72.4%、平移误差16.8 mm）、变体B（FoundationPose+SAM开环，ADD-S 81.5%、平移11.2 mm）、变体C（FoundationPose+SAM+迭代闭环仅单IoU置信度，ADD-S 86.3%、平移6.5 mm）、变体D（完整框架，ADD-S 91.7%、平移3.5 mm）。结果显示引入SAM分割先验ADD-S增9.1%证其抑制背景干扰；引入闭环迭代较变体B ADD-S升4.8%、平移降4.7 mm证渲染掩码反馈消除背景像素误分；引入多维置信度较变体C ADD-S升5.4%解决单IoU深度盲点与对称物体位姿歧义。迭代次数分析示k=0时81.5%，k=1时84.5%，k=2时88.2%，k=3时90.9%，k=4时91.7%趋稳，k≥5精度几乎不增（<0.1%）而时延显著增，平均3–4次迭代平衡精度与速度；综合置信度退出阈值τ分析示τ=75（宽松）平均1.8次迭代ADD-S仅83.2%，τ=85（标准）平均4次迭代ADD-S 91.7%最佳平衡，τ=95（严格）迫近最大迭代限时延增而ADD-S仅微升至91.9%，证τ=85合理与多维度量可调控迭代。

在3.6 Verification of Robotic Arm Visual Grasping in Real-World Scenarios中，研究人员在真实非结构化环境执行自主抓取：相机捕获观测数据经SAM-FPose框架初估位姿不达置信度则触发掩码渲染反馈迭代修正，后经手眼变换映射至机械臂坐标驱动末端轨迹规划与闭合。3.6.1 Grasping Experiment Procedure图9展示耳壳、小轮胎、卷尺、玉米瓶等多样几何纹理物体在严重遮挡杂乱区成功抓取物理结果，证闭环迭代校正可有效修正单发感知偏差提升物理交互稳定性。3.6.2 Grasping Result Analysis十类物体每类20次共200次尝试成功193次整体成功率96.5%，混淆矩阵示多数物体100%成功，胶带等易混淆物体超90%；7次失败集中于玉米瓶（2次）、耳壳（2次）、头戴耳机（1次）、绝缘胶带（1次）、钳子（1次），原因一是多源强光致刚体表面镜面高光抹除纹理使SAM接收渲染引导提示过饱和产生二值掩码内大拓扑空洞致FoundationPose丢失超40%有效表面特征位姿沿光轴显著漂移致末端空抓；二是刚体外轮廓与桌面背景对比度极低边缘退化即使闭环反馈SAM在边缘冲突区语义歧义致掩码边界外漏含周围非目标像素形成严重区域粘连伪影破坏刚体几何拓扑约束引位姿偏转抓取滑脱。

讨论部分总结方面，研究人员指出传统6D位姿估计多采“先分割后估计”开环控制严重依赖前端分割质量，错误不可逆传播放大；经典基于渲染的位姿优化如ICP赖局部几何梯度配准易陷局部最优；现有迭代位姿精修、渲染比较、分析综合法多在位姿或图像特征空间单向逼近，渲染当前预测位姿下三维模型视图据渲染图与实观测特征差异直接计算或网络预测位姿残差逐步更新三维位姿，局限在于优化无法反向传播精炼输入二维图像分割掩码，在密集堆叠等严重遮挡或目标背景色极似时前端初始二维掩码含周围杂波或背景像素致传统渲染比较法仅在此重噪污染错误区域强迫几何对齐易陷局部最优无法准确消错。本文闭环框架创新在构建跨维度交替校正机制，将当前预测不完善三维位姿转为二维几何区域掩码并非直接对三位位姿叠加更新步而是作为确定空间几何约束反馈至二维视觉基础模型（SAM）提示编码器，利用物体刚体几何不变性迫使感知前端在受扰边缘冲突区重优化目标边界，通过此交替闭环在优化位姿同时动态净化特征输入源，使位姿估计引擎获无背景噪纯局部特征消除传统法匹配漂移；这种几何先验净化语义输入、纯化语义引导几何估计的闭环控制方案在算法逻辑上异于常规工程组合与单空间位姿微调。此外研究人员讨论现代机器人操作背景下本文技术路线：端到端深度强化学习（DRL，Deep Reinforcement Learning）虽通过环境交互学最优抓取与清障策略并利用硬件夹爪降算法复杂度，但本文仍具工程价值：一是数据效率与虚实迁移问题，端到端策略需大量试错交互数据与高精度物理仿真环境，训练策略从仿真部署至实机易受sim-to-real鸿沟致抓取性能显著退化，本文框架直赖视觉模型零样本泛化能力给定已知物体三维模型即可即插即用无需实地部署时特定环境预训练或微调；二是工业物理安全与可解释性，高精度分拣高值易碎或重载工件时黑盒网络强化学习探索阶段未知动作直用于生产有物理碰撞与工件损坏风险，本文确定性几何反馈含多维置信度评估与严格回滚机制共为控制动作门控确保机器人物理行为安全可控高可预测。

结论部分翻译方面，针对复杂非结构化场景中物体遮挡与背景纹理干扰导致的6D位姿估计精度下降与鲁棒性不足问题，研究人员提出一种基于SAM与FoundationPose深度耦合的迭代闭环位姿估计框架。该框架通过引入SAM零样本分割先验实现目标区域准确提取，构建基于掩码渲染反馈的闭环迭代校正机制，并设计多维置信度评估系统作为迭代终止准则，系统解决了复杂堆叠、物理遮挡与杂乱纹理干扰下的视觉感知退化问题。在多组真实场景实验验证中，所提方法在保持FoundationPose零样本泛化优势的同时提升了6D位姿估计精度，ADD-S指标较基线提高19.3%，平均平移误差降低至3.5 mm。在真实机械臂抓取验证中，系统在强干扰非结构化场景下整体抓取成功率达96.5%，验证了从感知估计到物理交互的全流程可靠性。本研究无需大规模标注数据，有效克服了单发感知传统开环方法的鲁棒性瓶颈，为工业随机箱拣选与家庭物体操控等任务提供了兼具零样本泛化能力、高精度与鲁棒性的视觉感知方案，同时为基于模型先验的位姿估计优化提供了可借鉴的闭环优化思路。