基于视觉和触觉的软体机器人系统用于存储环境中的自动水果分类与处理

《Engineering Applications of Artificial Intelligence》:Integrated vision and tactile-based soft robotic system for automated fruit classification and handling in storage environments

【字体: 大 中 小 】 时间:2026年07月23日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  农产品的个体评估与处理是一项精细任务,需要获取产品状况信息、应用特定选择标准,并在不造成损伤的情况下进行操作。这对工业机器人来说仍具挑战性,尤其是在需要快速、准确且非侵入性交互时。为解决这一问题,研究人员提出的方法结合了相机获取的视觉数据与由仪器化软体夹爪收集

  
农产品的个体评估与处理是一项精细任务,需要获取产品状况信息、应用特定选择标准,并在不造成损伤的情况下进行操作。这对工业机器人来说仍具挑战性,尤其是在需要快速、准确且非侵入性交互时。为解决这一问题,研究人员提出的方法结合了相机获取的视觉数据与由仪器化软体夹爪收集的触觉数据。抓取过程中获取的触觉时间序列数据用于分类。研究人员进行了全面比较,包括18种最先进的机器学习(ML)和深度神经网络(DNN)模型,从而确定最适用于仅使用时间序列进行触觉分类的模型。对于视觉分类,研究人员评估了GoogLeNet、AlexNet和视觉几何组网络(VGGNet,也称为极深卷积网络)在不同训练参数下的表现。该系统将产品分为五类水果,每类标注为新鲜或腐烂,共10个输出类别。仅使用触觉数据时分类准确率有限,其中多样化表示规范区间森林分类器(DrCIF)表现最佳,达到65.75%;而通过GoogLeNet处理的视觉数据达到98.91%的准确率。通过简单融合层结合两种模态,使用GoogLeNet处理视觉数据和支持向量机(SVM)模型处理触觉时间序列数据,准确率进一步提升至99.05%。这表明融合这些互补传感器模态显著提升了分类性能。该方法的可行性在实时环境中得到验证,算法成功引导了本研究中考虑的产品类别的机器人分拣任务。
**论文解读**

**研究背景与问题**
在农产品供应链中,从生产到消费终端的各个环节存在大量浪费。联合国环境规划署2024年报告显示,2022年全球约10.5亿吨食物被浪费,占消费者可获取食品总量的19%,其中零售环节损失达1.31亿吨。尽管自动化已在供应链中广泛应用,但个体化产品评估与处理仍依赖人工,导致批量管理增加损失。现有机器人系统在处理易损农产品时面临挑战,需要在快速、准确、非侵入性交互下完成分类与操作。因此,开发一种结合视觉与触觉感知的软体机器人系统,用于存储环境中自动化水果分类与状态评估,具有重要的经济价值与减损意义。

**研究内容与结论**
研究人员提出了一种集成视觉(相机)与触觉(配备拉伸传感器的软体夹爪)的机器人系统,对五种水果(苹果、芒果、橙子、土豆、番茄)的鲜/腐状态进行分类(共10类),并额外评估硬度分类(4类)。通过对比18种机器学习与深度神经网络模型,发现仅依赖触觉数据时最高准确率为65.75%(DrCIF模型),而视觉数据通过GoogLeNet达到98.91%。融合视觉与触觉(GoogLeNet + SVM)后准确率提升至99.05%。实时实验验证了系统在机器人分拣任务中的可行性。该论文发表在《Engineering Applications of Artificial Intelligence》上。

**主要技术方法**
研究人员采用商用弗兰卡·艾米卡机器人(Franka Emika Robot,7轴)与四指软体夹爪(The Gripper Company ApS),并自行粘贴弹性体拉伸传感器(ElastiSense Sensor Technology)至两个手指以采集触觉时间序列数据。视觉数据通过Intel RealSense D435f相机获取(1920×1080 px)。分类方法包括:触觉时间序列模型(KNN、RF、SVM、DrCIF、HIVE-COTE 2.0、MCDCNN、ResNet、InceptionTime等),以及视觉模型(AlexNet、GoogLeNet、VGGNet)。融合模型通过一个神经网络层合并视觉与触觉输出。数据集来自实验室采集(每个物品抓取20次/每组3次试验,共10类)及在线数据集(Mukhiddinov, 2023)扩充,共60%训练、10%验证、30%测试。

**研究结果**
**3.1 压缩测试**
通过压缩试验获取应力-应变曲线,估计杨氏模量(E),将水果分为四个硬度等级。发现新鲜水果的杨氏模量高于腐烂水果,苹果和土豆的模量值高于番茄和橙子。

**3.2 触觉数据集**
传感器1(直贴式)在不同水果类别间信号差异较大,有助于分类;传感器2(折叠式)差异较小。稳态值与水果投影面积显著相关,面积越大信号越小。硬度中间类别(1、2)的稳态值较小,表明传感器输出主要受尺寸影响,而非刚度。

**3.3 视觉数据集**
实验室采集的图像包括新鲜与腐烂水果,并采用随机翻转、旋转、亮度抖动等数据增强方法。

**3.4 数据集配置**
训练集、验证集、测试集按70%、10%、20%划分,其中20%测试数据来自未被模型调优的两类水果,确保公平比较。在线图像占总数49.8%。

**3.5 模型结果**
- **触觉模型**:水果分类最高准确率65.75%(DrCIF),硬度分类最高57.98%(DrCIF)。简单ML模型(如RF、SVM)表现尚可,但被时间序列专用模型超越。KNN表现最差,DTW不如欧氏距离。深度学习模型中,CNN基线较强,但LSTM波动大。基于频谱图的AlexNet在硬度分类中尚可,在水果分类中效果最差(可能因无法捕捉尺寸形状特征)。HIVE-COTE虽为当前最先进(SoA),但未显著优于其他模型。
- **视觉模型**:GoogLeNet达到98.91%准确率,优于AlexNet和VGGNet(后者资源消耗最大)。所有视觉模型在合适训练参数下均能实现高精度。
- **融合模型**:视觉(GoogLeNet)与触觉(SVM)融合后水果分类准确率达99.05%,硬度分类达77.51%(GoogLeNet + LSTM)。但融合层存在过拟合(训练准确率100%),且单独最准确的触觉模型不一定对应最佳融合模型。

**3.6 讨论**
触觉模型精度有限,但DrCIF表现突出,表明统计特征的重要性。视觉模型因能提取更多特征而优于触觉。融合模型验证了多模态互补性。混淆矩阵显示,大小相似的水果易误分类(如苹果、番茄、土豆),而芒果因尺寸显著大而准确率最高。硬度分类中,误分类多倾向于“Hardness-3”类别或相邻硬度。

**3.7 相关工作**
与已有研究相比,该工作首次使用视觉与触觉组合进行水果类型、状态与硬度分类。视觉分类准确率(98.91%)优于多数文献(80.8%-100%),但触觉分类结果(65.75%)低于部分研究(如Chin等78%,张等98%),可能因传感器数据特征不足或水果类别物理相似性高。融合结果与Gao等(2016)一致,表明多模态融合提升性能。

**4. 结论**
本研究提出了一种由机械臂、相机和集成拉伸传感器的软体夹爪组成的解决方案。通过测试多种机器学习模型,系统在水果分类(10类)中达到99.05%的最高准确率(视觉GoogLeNet + 触觉SVM),在硬度分类(4类)中达到77.51%(视觉GoogLeNet + LSTM)。实时运行验证了其在食品工业中用于成熟度判断和损伤预防的可行性。原始数据集已公开。未来挑战包括扩展类别数量并保持高精度。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号