基于数据的工人活动识别与手动水果采摘效率估算

《Biosystems Engineering》：Data-driven worker activity recognition and efficiency estimation in manual fruit harvesting

基于仪器化采摘车和CNN-LSTM模型的草莓收获效率评估研究，开发了实时记录重量、位置和运动数据的iCarritos系统，训练模型准确识别采摘与非采摘活动（F1=0.97），计算效率为75.09%和装筐时间6.85分钟，为优化劳动力管理提供技术支持。

　　在现代农业中，水果和蔬菜的采摘工作仍然以人工为主。尽管自动化技术在农业领域取得了显著进展，但许多采摘机器人仍处于原型阶段，无法在可靠性、成本、速度和可扩展性方面与人工采摘相媲美。因此，提高人工采摘的效率仍然是农业工作者面临的重要挑战之一。采摘效率的评估对于优化劳动力管理和采摘流程至关重要，因为采摘者在非生产性活动上的时间投入可能极大影响整体效率。例如，采摘者在运输满载容器、排队等待运输以及在田间重新定位以继续采摘的过程中，都会花费大量时间，而这些时间往往并未直接产生经济效益。

本研究的目标是开发一种实用的系统，以计算人工采摘草莓的效率。该系统通过部署一种名为“iCarritos”的仪器化采摘车来记录采摘的水果重量、地理位置以及采摘车的运动数据。iCarritos配备了两个力传感器、全球导航卫星系统（GNSS）接收器和惯性测量单元（IMU），以实时采集相关数据。这些数据被用于训练一种基于卷积神经网络（CNN）和长短期记忆网络（LSTM）的深度神经网络，以区分采摘者是否在进行采摘活动，即“Pick”和“NoPick”两类。实验评估显示，该CNN-LSTM模型在活动识别方面表现出色，F1分数达到了0.97。这表明模型在识别采摘活动和非采摘活动方面具有较高的准确性和鲁棒性。

通过将识别结果应用于采摘效率的计算，研究团队进一步分析了整个采摘季节的数据，发现采摘者的平均效率为75.09%，并且估算的准确性达到了97.23%。此外，平均每个托盘的填充时间为6.85分钟，估算的准确率也达到了96.78%。这些结果表明，该系统能够有效监测采摘者的工作状态，并为优化采摘流程提供数据支持。当这种技术被集成到商业采摘中时，它可以帮助种植者更好地管理劳动力，减少非生产性时间，从而提高整体采摘效率。

然而，人工采摘效率的评估面临诸多挑战。首先，采摘活动与其他非采摘活动交织在一起，使得数据采集和分析变得更加复杂。采摘者在采摘过程中不仅要进行采摘动作，还需要完成运输、等待、重新定位等任务。这些任务的频繁切换和复杂性，使得传统的效率评估方法难以准确捕捉采摘者的工作状态。其次，采摘者在操作过程中可能会对传感器造成干扰，导致数据采集过程中的噪声增加，从而影响活动识别和效率计算的准确性。

为了克服这些挑战，本研究采用了一种基于传感器数据的直接测量方法。这种方法不仅能够捕捉到采摘相关的信号，如采摘重量、位置和运动数据，还能够减少人为因素对数据的影响。此外，通过引入深度学习技术，特别是CNN-LSTM模型，研究团队能够处理复杂的时序数据，并从中提取出有意义的特征，从而提高活动识别的准确性。CNN-LSTM模型结合了CNN的空间特征提取能力和LSTM的时序建模能力，使得模型能够在处理采摘过程中不同时间段的数据时，保持较高的识别性能。

在数据收集方面，iCarritos被部署在加州圣玛丽亚地区的商业草莓采摘季节中，以获取实际采摘环境下的数据。这些数据包括采摘的水果重量、地理位置以及采摘车的运动轨迹。通过这些数据，研究团队能够构建一个全面的采摘活动数据库，并将其用于训练和评估CNN-LSTM模型。数据的采集过程采用了多种传感器技术，如力传感器用于测量采摘重量，GNSS接收器用于记录地理位置，IMU用于捕捉采摘车的运动状态。这些传感器的组合使得系统能够实时、准确地记录采摘者的行为模式。

在活动识别方面，CNN-LSTM模型被用于分类采摘者的行为为“Pick”或“NoPick”。通过分析不同输入特征组合对模型性能的影响，研究团队发现，使用采摘重量、地理位置和运动数据的组合能够显著提高模型的识别准确率。相比之下，仅使用速度数据作为输入特征时，模型的识别性能较低，这表明速度数据在活动识别中可能不足以全面反映采摘者的工作状态。因此，研究团队建议在实际应用中，应结合多种传感器数据以提高活动识别的准确性。

此外，研究团队还开发了一种基于iCarritos的采摘效率评估方法。该方法通过计算采摘者在采摘活动中的时间占比，以及完成一个托盘采摘所需的时间，来评估整体采摘效率。这种评估方法不仅能够提供定量的数据支持，还能够帮助种植者识别效率低下的环节，并采取相应的优化措施。例如，如果发现采摘者在运输托盘时花费了过多时间，种植者可以考虑优化运输路径或增加运输工具的数量，以减少非生产性时间。

本研究的主要贡献在于提出了一个基于传感器数据和深度学习技术的采摘效率评估系统。该系统不仅能够准确识别采摘者的活动状态，还能够提供关于采摘效率的详细数据。此外，研究团队还公开了用于训练和评估CNN-LSTM模型的完整数据集，以及相关的代码，以便其他研究人员能够复现和改进该方法。这一数据集的公开有助于推动农业自动化领域的进一步研究，并为未来的采摘效率评估系统提供参考。

总体而言，本研究为人工采摘效率的评估提供了一种新的方法，并展示了如何利用传感器技术和深度学习算法来提高采摘效率的监测和管理能力。随着农业自动化技术的不断发展，类似的方法可能会被广泛应用于其他水果和蔬菜的采摘过程中，从而进一步提高农业生产效率。然而，该系统仍然需要在实际应用中进行更多的测试和优化，以确保其在不同环境和采摘条件下都能保持较高的识别准确率和评估效率。