农业机器人抓取状态分类的多传感器融合与机器学习方法研究

《Smart Agricultural Technology》：Investigating Sensors and Methods in Grasp State Classification in Agricultural Manipulation

本研究针对农业采摘中抓取状态分类的难题，通过集成惯性测量单元(IMU)、红外(IR)反射、张力、触觉和RGB相机等多种传感器，系统评估了随机森林(Random Forest)和长短期记忆(LSTM)网络两种分类模型的性能。研究发现张力传感器的引入将成功采摘的识别准确率从10%显著提升至80%，并确定了IMU与张力传感器的最小可行组合，为实现自主水果采摘的实时反馈和纠错动作规划提供了可靠技术方案。

　　

在农业自动化领域，采摘机器人面临着严峻挑战。劳动力短缺严重影响农业生产，特别是在时间紧迫的收获季节，任何延误都可能导致作物重大损失。这一挑战在可持续农业系统（如混作农业）中更为突出，因为传统的针对行栽作物的自动化技术往往难以适用。虽然机器人在结构化的温室环境中表现出色，但在非结构化的环境（如混作农田和城市高架温室）中仍然困难重重。以采摘成熟樱桃番茄为例，对人类来说轻而易举的任务，对机器人而言却异常复杂——特别是在枝叶丛生、视野受限的环境中。

采摘作业的核心挑战不仅在于感知和规划，更在于果实必须从植株上成功分离。理解关键事件（如分离和抓取状态）对实现高效机器人采摘至关重要。在农业操纵和采摘过程中，抓取状态会经历一系列动态变化：从抓取开始，经过无滑动状态，最终可能达成成功采摘，也可能经历滑动甚至完全抓取失败。准确识别这些状态转变，使得机器人能够及时采取纠正措施（如调整抓取力），从而提高首次采摘成功率，减少重复尝试的时间消耗。

以往研究多集中于滑动检测，但对整个抓取过程的全面理解仍显不足。远程相机虽能胜任多种任务，但在遮挡严重的农业环境中效果有限，且需要较大计算资源。GelSight或Soft Bubble等专用抓取传感器虽然有效，但存在体积大、成本高、计算复杂等问题。Benjamin Walt、Jordan Westphal和Girish Krishnan的研究团队在先前工作的基础上，致力于寻找一种轻量、低成本、计算效率高的解决方案，以适应安装在柔性连续体机械臂末端的定制夹爪。

本研究旨在开发一种改进的抓取状态分类模型和传感器套件，解决早期工作中存在的不足。研究目标包括：1）建立一种适用于农业环境、能够克服以往缺陷的抓取状态分类方法；2）实现实验室训练的模型向真实植株环境的有效迁移；3）深入理解各传感器在农业抓取状态分类中的作用；4）对两种不同的分类模型进行客观比较。研究重点在于确定能够稳健分类所有抓取状态的最小传感器组合及其相关的机器学习算法。

研究人员设计了一套定制的气动两指夹爪，安装在6自由度xArm6系列机械臂上。夹爪设计轻巧、外形小巧，可搭载于不同平台（包括软体连续臂）。手指覆盖有硅胶并模压有凸点纹理以增强抓握力。研究集成了多种传感器：三个MPU6050惯性测量单元(IMU)分别安装在两个手指和夹爪主体上，用于检测加速度和角速度；一个ITR20001/T红外反射传感器安装在夹爪主体，指向手指之间；一个基于FSR 402力敏电阻的定制张力传感器，用于检测采摘过程中的拉力；一个FSR 400力敏电阻嵌入左手指硅胶覆盖层中心作为触觉传感器；以及一个内窥镜RGB相机安装在夹爪下方，指向手指间区域。数据采集通过Arduino Mega 2560以150 Hz频率进行，相机图像以30帧/秒捕获。拉力数据仅用于生成真实标签，不参与模型训练。

为收集数据，研究团队构建了实验室训练装置：一个固定刚性支架，其上放置真实樱桃番茄，番茄通过绳缆连接至支架或电磁快速释放机构，以模拟滑动、抓取失败和成功采摘。采摘轨迹在速度和最终位置上随机变化，以增加数据多样性。数据标注由专家使用定制软件完成，依据力传感器数据和其他传感器读数识别滑动开始/结束、分离或抓取失败等关键点。相机数据采用了四种预处理方法：质心(COM)、像素计数(Pixel)、区域值(Regions)和主成分分析(PCA)，以降低数据维度并聚焦关键特征。

研究评估了两种分类模型：随机森林(Random Forest)和长短期记忆(LSTM)网络。随机森林模型使用25个样本的窗口，对IMU数据进行快速傅里叶变换(FFT)后与其他传感器数据一并输入分类器。LSTM模型则直接处理15个样本序列的时间序列数据。所有数据在输入模型前均进行归一化处理。通过消融实验评估了每个传感器单独的性能，并测试了十二种不同的传感器组合。

研究结果表明，惯性测量单元(IMU)和红外(IR)传感器在滑动检测方面表现稳健，增加其他传感器并未带来统计显著性提升。所有传感器组合均能可靠检测抓取失败状态，无误检或漏检。张力传感器的引入对成功采摘状态的识别至关重要，它能有效区分果实是否已从植株分离，将成功采摘的识别准确率从基线（仅IMU/IR）的约10%显著提升至80%以上，并显著减少了"非持续成功采摘"（即分类器短暂识别为成功后又误判为其他状态）的发生率，这一改善具有统计显著性。触觉传感器和相机传感器提供的信息与IR传感器存在功能重叠，增加它们并未带来显著性能提升。

在分类模型方面，随机森林和LSTM网络均表现出色，性能相近。随机森林因使用FFT窗口而具有一定内在平滑效应，LSTM则通过后分类滤波（15样本窗口多数表决）来减少噪声，后者具有稍高的时间分辨率，但训练需要更多计算资源。

4.1. 传感器组合

基于消融研究结果和实际集成限制，研究筛选了十二种传感器组合进行测试。IMU因其易集成性和可靠性被包含在所有组合中。相机数据仅使用质心(COM)方法。

4.2. 抓取状态分类

研究定义了抓取状态分类中的几种失败情况，主要包括漏检和误检。例如，漏检滑动、误检滑动、漏检成功采摘、误检成功采摘、漏检/误检抓取失败以及非持续成功采摘。准确识别这些状态对于机器人采取正确行动至关重要。

4.3. 统计分析

采用McNemar统计检验比较不同传感器组合在分类性能上是否存在显著差异。检验针对漏检滑动、漏检成功采摘、误检成功采摘和非持续成功采摘这四种主要错误类型进行。结果显示，张力传感器在减少非持续成功采摘方面带来的改善具有统计显著性。

4.4. 观察结果

观察一指出，增加额外传感器对滑动检测的改善无统计显著性，IMU已提供稳健性能。观察二确认所有组合均能可靠检测抓取失败。观察三和观察三a表明张力传感器能略微改善成功采摘的检测，并显著减少误检成功采摘。观察四强调张力传感器对减少非持续成功采摘的关键作用。观察五指出随机森林和LSTM模型性能相当，各有权衡。

4.5. 讨论

研究表明，包含惯性测量单元(IMU)和张力传感器的最小传感器套件是实现稳健抓取状态分类的必要条件。虽然包含所有传感器（IMU、张力、触觉、相机）的组合性能最佳，但考虑到夹爪空间限制，IMU/张力/触觉、IMU/张力/IR或IMU/张力/相机等组合是可行的实用选择。红外、触觉和相机传感器在功能上存在冗余，主要辅助滑动检测和确认果实存在，但无法像张力传感器那样有效区分采摘成功与否。研究的结论适用于轻量、低成本的农业夹爪设计，其有效性依赖于夹爪的柔顺性以放大滑动信号。若机械臂本身具备关节扭矩感知能力，则可替代专用张力传感器。

本研究成功开发并验证了用于农业采摘机器人抓取状态分类的多传感器融合与机器学习方法。通过系统评估，确定了以惯性测量单元(IMU)和张力传感器为核心的最小可行传感器组合，结合随机森林或长短期记忆(LSTM)网络模型，能够实现对抓取滑动、成功采摘和抓取失败等关键状态的准确、稳健分类。特别是张力传感器的引入，解决了以往研究中难以区分"无滑动"和"成功采摘"状态的瓶颈问题，将成功采摘的识别准确率大幅提升。这项研究为在非结构化农业环境中实现高效、可靠的自主水果采摘操作提供了重要的技术支撑和理论依据，推动了农业机器人智能化水平的发展。未来工作可集中于算法进一步优化、扩展到其他水果品类和夹爪设计，以及在实际自主收获流水线中的集成应用。