SGFAM：用于通用机器人操控中密集形状匹配的语义和几何特征聚合方法

《IEEE Robotics and Automation Letters》：SGFAM: Semantic and Geometric Features Aggregation for Dense Shape Matching in Generalizable Robotic Manipulation

　　

摘要：

为了实现大规模的抛光或清洁等自动化流程，机器人必须能够在无需手动重新编程的情况下将学到的技能应用到新的物体上。对于需要工具与表面交互的应用来说，由于物体在形状和外观上的显著差异，将操作策略转移到新物体上是一个重大挑战。因此，建立一种鲁棒且通用的密集形状对应关系至关重要。我们提出了SGFAM，这是一种零样本流程，它通过功能映射将预训练的视觉基础模型和几何编码器结合起来。与以往依赖简单平均的方法不同，我们采用了1）基于对齐的特征聚合来优先选择最佳视角，以及2）核主成分分析（Kernel PCA）融合技术来保持非线性描述符流形。我们的评估表明，这种方法不仅优于现有的最佳实践，还能使轻量级的视觉模型达到与大型模型相当的匹配精度。我们通过在实际的工业和家庭机器人场景中成功转移连续的表面路径来验证SGFAM的有效性，且无需任何微调。