基于视觉的触觉感知用于机器人抓取：一种基于自编码器的泛化滑移检测方法

《Results in Engineering》：Vision-Based Tactile Sensing for Robotic Grasping: An Autoencoder-Based Approach to Generalizable Slip Detection

　　

基于视觉的触觉感知（vision-based tactile sensing）为操作任务（如滑移检测（slip detection））提供了详细的接触信息，使夹爪能够在处理未知物体时动态调整力。尽管深度学习（deep learning）可以减轻研究人员对触觉传感器（tactile sensors）获得的图像进行手动特征工程（feature engineering）的负担，但这些模型往往过拟合（overfit）并需要大量标注数据，导致产生针对特定物体而非泛化的滑移线索（slip cues）。本研究提出了一种基于自编码器的触觉学习框架（autoencoder-based tactile learning framework），该框架利用大量未标注的触觉图像来改善在未见过的物体条件下的滑移检测（slip detection），同时满足实时推理（real-time inference）要求。通过采用无监督表示学习（unsupervised representation learning），所提出的方法被证明能够使与滑移相关的时间线索更加显著，强调滑移相关动态，同时减少对标注数据的依赖。在域偏移（domain shift）下，所提出的编码器-长短期记忆网络（Encoder–LSTM）在F₁分数（F₁-score）上与卷积神经网络-长短期记忆网络（CNN–LSTM）基线保持一致竞争力，并实现了与强大的时空卷积长短期记忆网络（ConvLSTM）基线相当的准确度，同时将推理延迟（inference latency）降低了一半以上。学习到的表示还支持多任务触觉感知（multi-task tactile perception），能够进行滑移检测和法向/切向力估计（normal/tangential force estimation），95%置信区间（confidence intervals）分别为0.246 N和0.103 N。整个流程在Jetson Nano上实现了19.5 ms的推理，而ConvLSTM为49.8 ms。该集成到闭环控制系统（closed-loop control system）中的方法仅依赖触觉反馈来维持稳定抓取，展示了用于自适应机器人操作（adaptive robotic manipulation）的准确、低延迟滑移感知。

**基于自编码器的视觉触觉滑移检测：面向泛化与实时抓取的研究解读**

**1. 研究背景与动机**
在非结构化环境中，机器人操作（robotic manipulation）需要可靠的滑移检测（slip detection）能力，尤其是处理未知或易损物体时，滑移检测能支持动态抓取力控制，避免物体损坏并提升操作适应性。现有方法包括基于阈值（例如通过应变区域比例、标记位移场熵值）的传统技术，虽在受控条件下有效，但面对多样物体与接触条件时泛化能力差。机器学习方法（如支持向量机SVM）依赖手工特征设计，而深度学习方法（如卷积神经网络CNN结合长短期记忆网络LSTM）可自动从图像中提取特征，但易过拟合（overfit），且需要大量标注数据，导致模型仅对训练物体有效，难以泛化至未见物体。此外，实时部署在嵌入式平台（如Jetson Nano）上要求低推理延迟（inference latency），而现有高容量模型（如ConvLSTM）计算开销大。因此，急需一种数据高效（data-efficient）、泛化能力强且满足实时约束的滑移检测框架。研究人员来自德黑兰大学机械工程学院（University of Tehran），旨在解决上述问题。

**2. 主要技术方法**
研究人员采用两阶段学习策略：首先，基于自编码器（autoencoder, AE）对大量未标注的触觉图像进行无监督特征学习（unsupervised representation learning），编码器将150×150灰度图像压缩为64维潜在向量（latent vector）。该自编码器为VGG风格架构，含三个卷积块（每块两个卷积层+最大池化+批归一化），滤波器数依次为8、16、32。解码器通过密集层、卷积层和转置卷积层重建输入。训练使用16,000张图像，MSE损失，Adam优化器，初始学习率0.001。其次，冻结编码器权重，结合循环网络（LSTM）进行监督时序学习，以少量标注数据（约4,000个样本）捕捉滑移的时间动态。具体网络架构包括：Encoder-LSTM（编码器后接两层LSTM+密集层）、基线CNN-LSTM（相同CNN结构但端到端训练）、ConvLSTM（时空联合建模，输入下采样至1/3）、Encoder-MLP（仅静态分类）。力估计任务采用Encoder-MLP（编码器后接两个密集层，同时预测法向力和切向力）。数据集收集自实验装置：一个自由度抓取模拟系统，包括视觉触觉传感器（PDMS弹性体嵌入32个黑色标记，内部Raspberry Pi Camera V2以60 Hz捕获图像）、电磁执行器、线性位置传感器、电流传感器和S型称重传感器。实验对象为矩形容器（不同表面材料：PLA、纸板、皮革、织物、纸；不同重量80–240 g），滑移事件通过IMU（MPU6050）标注，力真实值由称重传感器提供。训练/验证集使用Paper和PLA表面（180–240 g）；测试集1使用Cardboard、Leather、Fabric（80–160 g）；测试集2使用Paper、PLA（80–160 g）。推理优化采用TensorRT（FP32精度）在Jetson Nano上加速。

**3. 研究结果**
**3.1 自编码器（Autoencoder）**
重建误差分析表明：滑移帧的MSE略高，且标记Y坐标重建误差在滑移时显著增大（0.22±0.12 vs 0.16±0.08），但速度对比度从原始数据~1.3提升至重建后~2.0，表明自编码器增强了滑移与非滑移帧间的速度差异。t-SNE可视化显示编码器潜在空间对滑移/非滑移样本有自然分离，证明无监督预学习有效提取了判别特征。

**3.2 特征保留分析（Feature Preservation Analysis）**
通过比较原始与重建序列的标记速度，发现绝对速度被衰减，但滑移与非滑移的速度对比度被放大（从~1.3增至~2.0），说明自编码器强化了时间线索的区分性。

**4.1 网络架构与训练（Network Architecture and Training）**
提出Encoder-LSTM架构，冻结编码器后仅46k可训练参数（原793k的93.8%减少）。力估计网络Encoder-MLP同时预测法向/切向力。所有模型在给定数据集上训练，超参数调优。

**4.3 结果与分析（Results and Analysis）**
**4.3.1 滑移检测（Slip Detection）**
- 基线比较（Baseline Comparison）：Encoder-LSTM在验证集平均F₁分数0.941，测试集1为0.878，测试集2为0.910。相比CNN-LSTM（验证0.935，测试1 0.853，测试2 0.892），Encoder-LSTM泛化更优；相比Encoder-MLP（验证0.916，测试1 0.860，测试2 0.890），时序建模必要；ConvLSTM（验证0.934，测试1 0.886，测试2 0.910）性能相近但推理延迟更高（49.8 ms vs 19.5 ms）。
- 序列长度效应（Effect of sequence length）：序列长度从2增至7帧，测试集性能先升后平稳，5帧以上提升有限，但推理时间线性增加。
- 编码器微调效应（Effect of Encoder Fine-Tuning）：冻结编码器vs逐步微调vs联合微调，泛化性能几乎不变，表明预训练编码器已足够。

**4.3.2 力估计（Force Estimation）**
Encoder-MLP对法向力的MAE/RMSE为0.101/0.125 N，切向力为0.039/0.053 N；95%置信区间法向±0.246 N、切向±0.103 N。与先前研究（Mirzaee and Sadighi, 2023）相比，性能接近，但仅使用冻结编码器。

**5. 实时抓取力控制（Real-Time Gripper Force Control）**
- 推理时间（Inference Time）：经TensorRT优化后，编码器2.2 ms，滑探头15.8 ms，力头1.5 ms，全流程19.5 ms（Jetson Nano），相较ConvLSTM的49.8 ms显著更快。系统运行频率30 Hz，周期33 ms。
- 结果（Results）：闭环控制系统中，当检测到滑移时，控制器自动将抓取力提高15%，实验验证了该策略能稳定抓取不同重量物体。系统响应延迟约50 ms（含图像采集和机械响应）。

**4. 讨论与结论**
讨论部分总结：自编码器重建过程提升了滑移与非滑移状态的对比度；两阶段学习策略通过无监督预训练，减少了标注数据需求并提高了泛化；Encoder-LSTM在泛化和计算效率上优于CNN-LSTM和ConvLSTM，适合嵌入式实时部署。
研究结论（Conclusion部分翻译）：本文提出了一种基于自编码器的滑移检测方法，利用未标注触觉图像进行特征学习，并结合有限标注数据建模时间动态。实验表明，编码器能增强时间线索的区分性；Encoder-LSTM相比CNN-LSTM泛化更优，相比ConvLSTM推理延迟减半，同时支持多任务感知。方法在闭环控制中仅依赖触觉反馈实现稳定抓取，为自适应机器人操作提供了准确、低延迟的滑移感知。未来工作可扩展至弯曲物体、非规则接触面及更复杂的操作轨迹。
（全文约1500字）