柔性机器人手利用大变形实现全覆盖类人多模态触觉感知

《Nature Communications》：Flexible robotic hand harnesses large deformations for full-coverage human-like multimodal haptic perception

为解决软体抓取器中视觉触觉传感器因刚性结构限制而难以在非平面接触中实现高分辨率感知的问题，研究人员开展了名为FlexiRay的柔性机器人手研究。该研究通过整合Fin Ray效应结构、多层柔性基底、优化多镜光学系统及解耦深度学习框架，利用单摄像头实现了力、接触位置、纹理、温度和本体感觉五种人类触觉模态的感知，力感知精度达0.17 N，空间分辨率达0.96 mm，感知覆盖率超90%。这项研究显著提升了软体机器人系统的智能性、安全性和实际应用潜力。

　　

在机器人技术飞速发展的今天，让机器像人类一样灵敏地“感知”世界一直是科研人员的梦想。人类的双手之所以能够灵巧地抓取鸡蛋、辨别布料质地甚至感知水温，得益于高度发达的触觉系统——它融合了皮肤上的机械感受器（感知压力、振动和纹理）、温度感受器以及肌肉和肌腱中的本体感受器（感知手部姿态和运动），共同构成了七种核心触觉模态。然而，将这种精妙的感知能力赋予机器人，尤其是需要与环境安全交互的软体机器人，却面临着巨大挑战。

过去几十年，研究人员尝试了电阻、电容、磁性、声学等多种触觉传感技术。近年来，视觉触觉传感器（Visual-Tactile Sensors, VTS）因其能够利用低成本CMOS光学传感器将触觉信息转换为高分辨率图像而备受关注。但现有VTS大多依赖刚性结构来维持光学路径的稳定，这与软体机器人固有的柔顺性和灵活性背道而驰。这种刚性导致其感知范围固定，难以适应非平面或不规则物体，在发生大变形时容易出现视觉遮挡，丧失有效感知区域。尽管有研究尝试通过优化光学路径或使用多段式手指来提升灵活性，但往往以牺牲感知覆盖率或结构合规性为代价。如何在高度柔顺的结构中嵌入VTS，并使其在大变形下仍能保持高分辨率、大面积的感知能力，成为一个亟待解决的关键科学问题。

针对这一难题，浙江大学的研究团队在《Nature Communications》上发表了题为“Flexible robotic hand harnesses large deformations for full-coverage human-like multimodal haptic perception”的研究论文，提出了名为FlexiRay的创新性软体抓取器。这项研究巧妙地融合了仿生的Fin Ray效应（FRE）结构与先进的视觉触觉传感技术，成功复制了人类七种触觉模态中的五种（力、接触位置、纹理、温度和本体感觉），在保持结构高柔顺性的同时，实现了在大变形条件下的稳健多模态感知。

研究人员为开展此项研究，主要运用了几项关键技术方法：首先，设计了多层结构的触觉感知垫，整合了基于聚二甲基硅氧烷（PDMS）的柔性基底、透明硅胶弹性层、掺铝粉的反射层、热致变色材料温度感应层和遮光层。其次，创新性地采用基于协方差矩阵自适应进化策略（CMA-ES）的优化方法，对内置的单摄像头和多段反射镜光学系统布局进行参数优化，将结构变形导致的光路干扰转化为功能优势，最大化动态感知覆盖率。再者，构建了一个解耦的多模态感知深度学习框架，包括基于PP-LiteSeg的语义分割模型、基于ResNet50的本体感觉（含力/位置估计）模型、基于U-Net的温度场回归模型和基于ResNet50的纹理识别模型。数据采集平台利用UR5e机械臂、六维力传感器和全局相机系统，在超过31,904个样本上进行了模型训练和验证。

Working principles of FlexiRay

FlexiRay的核心设计包括一个柔顺的FRE手指框架、一个内置光学系统和一个多层触觉感知垫。FRE框架由热塑性聚氨酯（TPU）制成的背梁和前梁（提供弹性）以及刚性侧梁（充当铰链关节）构成。触觉感知垫包含五个功能层，分别负责纹理映射、柔性支撑、反射、温度传感和遮光。其最关键的技术突破在于应对大变形导致的光学遮挡问题。研究团队没有限制手的灵活性，而是通过系统性优化，在背梁上独立安装多个反射镜，被动改变相机光路方向，从而离散地捕获相机直接视场（FOV）无法覆盖的感知区域。通过CMA-ES算法优化相机位置、角度以及各反射镜的长度、距离和角度等参数，使得多镜反射视图在动态负载条件下能够实现感知区域的连续覆盖。优化过程以最大化不同变形状态下感知区域的覆盖率为目标，结果表明该方法能有效提升覆盖率。

Multimodal perception model construction and performance evaluation

为了实现对环境的全面感知，研究团队构建了一个协调的传感架构，包含五个感知模态的专用模型。前端是一个轻量级的语义分割模型（基于PP-LiteSeg），用于从原始触觉图像中分割出前梁骨架、前梁交互区域（直接感知）、镜面区域（反射感知）和局部接触区域，去除环境干扰。本体感觉模型（基于ResNet50）以分割后的前梁骨架和感知区域为输入，通过专用头估计法向接触力、接触点的三维位置以及侧梁节点在本体感觉坐标系中的位置。温度回归模型（基于U-Net）利用基于YOLO的检测器提取标记图像，捕捉温度变化引起的空间颜色变化，输出连续温度场。纹理识别模型（基于ResNet50）则对感知区域图像进行分类。性能评估显示，该体系在5000次不同加载条件下的测试中，力感知均方根误差（RMSE）为0.17 N，相关系数达0.995；接触位置估计的平均误差为0.96 mm（标准差0.45 mm）；14个传感节点的平均定位误差在0.21 mm至0.26 mm之间，表现出高空间精度和鲁棒性。在连续交互测试中，模型也能保持高预测保真度。感知任务的端到端延迟较低，本体感觉约为25.8 ms，温度感知约为111 ms。

Exquisite texture detection and perceptual coverage

FlexiRay在抓取各种形状和尺寸的物体（如螺丝刀、剪刀、焊锡、瓶盖等）时，能够无缝贴合并包裹物体，准确捕获表面轮廓和几何细节。通过使用带有连续字母标记的3D打印文本环进行测试，发现在大变形下，尽管前梁会遮挡相机对指尖区域的直接捕获，但借助镜面反射区域，FlexiRay能够捕获被遮挡的纹理，形成连续的纹理图案。对200次随机接触位置和负载下的感知覆盖率进行量化和物理实验表明，触觉感知垫在不同变形状态下的平均有效覆盖率达到87.2%，即使在极端变形下也保持在70.0%以上。在使用不同直径（30-80 mm）的环进行抓取测试时，FlexiRay始终能产生完整的字母序列，证实了近乎全接触表面的覆盖能力。

Texture-based object classification during compliant grasping

FlexiRay的大面积感知和精细纹理传感能力使其在顺应抓取过程中的物体分类任务中表现优异。与商用VTS传感器GelSight Mini相比，FlexiRay在抓取八个不同纹理的感官球时，平均验证准确率达到96.2%（GelSight Mini为88.3%），独立测试集上的平均分类准确率为96.7%（GelSight Mini为85.8%）。FlexiRay的优势在于其感知面积（1560 mm2）是GelSight Mini（265.98 mm2）的5.9倍，且其柔顺性使其能够单次接触即适应曲面，捕获非平面特征。梯度加权类激活映射（Grad-CAM）可视化表明，镜面反射传感在分类决策中起着重要作用。研究还演示了基于触觉感知的机器人分拣球体任务，验证了其在实际应用中的鲁棒性。

Compliant grasping, safe contact response and force-position sensing for interactive robot control

FlexiRay结合结构柔顺性和精确力感知能力，能够安全抓取面包、芯片、鸡蛋和胶带等柔软或易碎物体，并通过力闭环控制确保稳定性。在安全人机交互任务中，基于导纳控制器的力自适应运动确保了交互安全。即使对于羽毛等低纹理、作用力极小的物体，FlexiRay也能通过结合结构变形和本体感觉信息实现细微感知。此外，FlexiRay还可作为人机接口，通过检测到的接触位置和力来控制UR5e机械臂的三个自由度（DoFs）。

Multimodal haptic perception-enhanced intuitive physical human-robot interaction

在动态笔迹追踪实验中，FlexiRay的接触定位模型能够实时估计交互点轨迹。与高精度运动捕捉系统（NOKOV）的 ground-truth 对比显示，在书写“Z”、“J”、“U”和“8”等字符时，平均定位误差在1.93 mm至2.73 mm之间，标准差较低，表明其在非重复、动态、多方向接触事件中具有高精度和鲁棒性，展现了作为直观人机接口的潜力。

Global contact contour reconstruction

利用高柔顺性、大接触覆盖率和精确的本体感觉，FlexiRay能够在动态抓取中高效重建物体形状。通过对锥形花瓶和黄芥末容器进行自适应抓取，并在多个接触位置捕获高分辨率触觉图像，结合本体感觉模型估计关键节点的空间位置，通过样条插值和曲面插值，成功重建了物体的局部几何特征和整体轮廓，展示了其在视觉感知不完整或被遮挡的非结构化场景中的优势。

FlexiRay benchmarking via extended tea-preparation teleoperation

通过一个长时间的茶艺准备遥操作任务，全面评估了FlexiRay的多模态感知能力。该任务集精细操作、手内工具重定向、热辨别和稳定倾倒于一体。FlexiRay提供的实时多模态反馈（力、接触位置、本体感觉、温度）帮助操作者在视觉遮挡等情况下做出决策，例如通过受控的微滑动实现茶壶托盘的手内重定向，以及通过温度敏感层可靠区分室温杯和热水杯。实验证明了其在长时程、细粒度任务中增强遥操作性能的独特潜力。

研究结论与意义

该研究成功开发出集成视觉触觉传感的柔性机器人抓取器FlexiRay，它仿效人类触觉模态和Fin Ray效应，将增强的结构柔顺性与先进的多模态传感能力相结合，实现了力（精度0.17 N）、接触位置（精度0.96 mm）、纹理、温度（平均绝对误差1.17°C）和本体感觉（空间精度0.24 mm）五种核心触觉感知。通过战略性结构设计和优化，FlexiRay在不同变形状态下保持了平均87.2%的有效传感覆盖率。研究创新性地将变形引起的光路干扰视为关键设计参数，通过分段镜阵列和CMA-ES优化方法，确保了在大变形下仍能通过被动镜面反射实现一致的图像采集。

与现有VTS技术相比，FlexiRay在柔顺性方面具有显著优势，直接提升了抓取的通用性、感知鲁棒性和交互安全性。其被动适应特性使其能够安全轻柔地处理易碎或不规则物体，且基于Fin Ray的柔顺性为人机交互提供了内在安全性。与GelSight Baby FinRay等柔性VTS相比，FlexiRay在相同接触力下变形量超过其四倍，且在大变形下仍能保持超过1092 mm2的有效感知面积。这种高柔顺性与宽广感知覆盖率的结合，使FlexiRay能够从单次交互中捕获更丰富的触觉信息。

在成本与可用性方面，成像部件的可负担性和精心设计的制造工艺使FlexiRay具有优势，其模块化设计便于维护。经过超过40,000次重复交互测试，证明了其出色的耐久性。

总之，FlexiRay代表了软体机器人系统向高分辨率、大覆盖、低成本感知能力发展的重要进展。其多模态感知能力在顺从抓取、安全人机交互、物体分类、形状重建和增强遥操作等方面展现出巨大应用潜力。未来研究可聚焦于集成可调骨架刚度、开发先进感知场材料，并将其能力拓展至多指灵巧手，应用于动态高安全任务（如水果采摘、辅助护理），为下一代鲁棒、自适应和智能的人机交互系统开辟道路。