利用3D视频分类技术对森林机械作业进行深度学习分析,以提升生产率——一项初步研究

《International Journal of Forest Engineering》:Deep learning analysis of forest machine operations for productivity analysis using 3D video classification, a pilot study

【字体: 大 中 小 】 时间:2026年05月08日 来源:International Journal of Forest Engineering 1.7

编辑推荐:

  摘要 在森林作业中的时间和运动研究受益于基于视频的分析,但手动标注非常耗时。这项初步研究旨在通过开发一个深度学习框架来减少分析时间,该框架将行车记录视频分类为四个工作元素:起重机伸出、切割和处理、驾驶以及处理。使用在手动标注的片段上训练的3D ResNet-50(PyTorchV

  摘要
在森林作业中的时间和运动研究受益于基于视频的分析,但手动标注非常耗时。这项初步研究旨在通过开发一个深度学习框架来减少分析时间,该框架将行车记录视频分类为四个工作元素:起重机伸出、切割和处理、驾驶以及处理。使用在手动标注的片段上训练的3D ResNet-50(PyTorchVideo)模型,达到了0.88的验证F1分数和0.90的精确度,表明时空卷积神经网络(spatiotemporal CNNs)能够捕捉森林环境中的相关运动和外观线索。过拟合现象表明需要更多样化的数据和更好的类别平衡,但这种方法显示出自动化工作元素监控和效率分析的显著潜力。

关键词:人工智能(AI);自动化;时空视频分类;PyTorchVideo;3D卷积神经网络;动作识别

引言
时间和运动研究涉及对特定工作任务及其组成工作元素的时间消耗进行系统观察和测量(Bj?rheden等人,1995年引用)。在林业中,工作任务可能包括间伐作业,而工作元素可能包括单独砍伐树木或过程中的特定活动,例如起重机运动。这些研究长期以来一直是提高森林作业效率、改进工作技术和设计更具成本效益的运营系统的基石(Koňir等人,2015年引用)。传统上,时间研究依赖于秒表和纸质记录,通常需要两个人来计时和记录任务(McDonald和Rummer,1999年引用)。到了20世纪末,手动计时被专业野外计算机、手持数据记录器和后来的视频记录技术所取代。现代摄像机,包括动作摄像机和行车记录仪,能够实现高效的单人数据收集,并提供工作活动和单独工作元素的详细视觉记录,支持比以前更复杂的分析(McDonald和Rummer,1999年引用)。

尽管取得了这些进展,基于视频的手动分析仍然是一个主要瓶颈。虽然可以逐帧回放影像以详细检查单独的工作元素,但审查和标注视频既耗时又主观,且容易出错。分析所需的时间可能是视频长度的三倍或更多,限制了效率和可重复性(McDonald和Rummer,1999年引用)。随着低成本、高质量摄像机的广泛可用,时间研究的重点已从数据收集转向自动化分析方法。计算机视觉和深度学习的最新进展使得在机器作业期间自动检测和分类工作元素成为可能(B?ng,2019年引用),特别是与标准化的工作元素定义结合使用时(Bj?rheden等人,1995年引用;Magagnotti等人,2013年引用)。

在定长伐木(CTL)系统中,伐木机作为核心生产单元,执行产生木材供应链大部分价值的工作。伐木机的性能受多种因素影响,尤其是树干特性和操作员行为,从而导致整体系统效率的显著变化(例如Eriksson和Lindroos,2014年引用;Liski等人,2020年引用)。由于其对下游过程的强大影响,伐木机通常被视为优化的首要目标,其改进有望提升后续操作(如转运)的性能(Manner等人,2013年引用)。这在北欧地区尤为重要,因为该地区以CTL系统为主,而且向连续覆盖林业(CCF)的转变需要新的时间消耗模型,而基于视频的时间研究特别适合于此(Laitila等人,2025年引用)。

除了视频分析之外,还探索了几种其他实现自动化或半自动化时间研究的方法。基于模拟器的研究结合了起重机位置、抓斗状态和负载数据来自动分类工作元素,仅在分类不明确时依赖视频(Manner等人,2020年引用)。类似的信息在某种程度上也可以从现代森林机械的CAN总线数据中获取(Palander等人,2013年引用)。然而,在实践中,访问CAN总线数据往往受到限制,可能会损坏设备或使保修失效,并且通常需要制造商的密切参与,使得这种方法不适用于规模较小或变化迅速的研究。

在更粗略的层面上,StanForD数据(Skogforsk,2007年引用;Arlinger等人,2020年引用)已被用于根据“伐倒到伐倒”的间隔来估计树木级别的周期时间(Kemmerer和Labelle,2020年引用)。在这种聚合水平上,基于StanForD的数据和手动时间研究没有显示出显著差异(Brewer等人,2018年引用)。然而,在比较机器或工作技术或制定最佳实践时,分析单独的工作元素仍然至关重要。这种细粒度分析需要正确的车载计算机(OBC)设置,通常还需要额外的现场支持,而使用简单的车载摄像机进行视频记录通常更为稳健且易于部署,非常适合自动化。重要的是,自动工作元素检测不需要完美才能有用;与人类分析师相当的性能通常就足够了。在这方面,即使是经验丰富的研究人员,手动基于视频的时间研究也表现出相当大的分析者间差异,突显了内在的主观性和可重复性的局限性(Nuutinen,2013年引用)。早期的自动化尝试依赖于传感器数据或使用手工设计特征的经典机器学习方法。尽管这些方法对于粗略活动检测有效,但在处理细粒度工作元素、跨条件的泛化以及复杂森林环境中的可扩展性方面存在困难(McDonald和Rummer,1999年引用)。这些限制促使开发了更先进的基于学习的视频分析方法,以处理实际伐木作业的变异性和复杂性。

深度学习的最新进展显著提高了图像和视频识别的能力,林业研究越来越多地利用这些发展。卷积神经网络(CNNs)在多种林业应用中表现出色,包括从航拍图像和树皮图像中分类树种,突显了它们直接从数据中学习辨识性视觉特征的能力(Onishi和Ise,2018年引用;Faizal,2022年引用)。对于视频分析,深度学习通过同时捕捉视觉外观和运动的架构来建模时间信息,例如时空CNNs或结合循环网络的CNNs。这些方法在复杂的动作识别任务中已被证明有效,并且非常适合处理林业作业的变异性和动态性。在伐木背景下,这样的模型可以直接从视频数据中学习工作元素的特征序列,如起重机运动、切割和处理。

总体而言,先前的工作表明,当处理复杂和多变的视觉环境时,深度学习方法比传统方法更为稳健。这为森林作业中基于视频的时间研究的自动化分析创造了新的机会,特别是在伐木系统中对细粒度工作元素的检测方面。尽管基于深度学习的视频分析取得了快速进展,并在林业相关视觉任务中取得了成功,但在伐木机作业中应用自动化工作元素分类的研究仍然很少。据作者所知,目前还没有研究系统地评估基于视频的深度学习方法是否足够成熟,能够在现实操作条件下可靠地分类伐木机的工作元素。鉴于伐木机在CTL系统中的核心作用以及收集高质量视频数据的便利性,这代表了提高时间和运动研究的效率、一致性和可扩展性的巨大未开发潜力。本研究的目的是评估基于深度学习的视频分析用于自动分类伐木机工作周期元素的可行性。我们旨在开发一个持续集成和持续开发(CI/CD)框架,以支持从视频材料和现场数据中进行工作元素分类。具体来说,这项初步研究评估当前方法是否足够稳健,以证明进行大规模数据收集和标记工作的必要性,从而开发出可用于基于视频的时间研究的通用模型。

材料与方法
数据集
本研究中使用的视频片段来自德国北莱茵-威斯特法伦州Sauerland山脉因树皮甲虫病害而进行抢救性砍伐的挪威云杉(Picea abies)林分。这项作业是由Wald und Holz NRW地区的经验丰富的操作员驾驶的John Deere 1270 G伐木机(型号H425 HD)执行的,该操作员还在Neheim/Germany的FBZ Arnsberg林业培训学校教授该机器的操作。

尽管计划进行抢救性皆伐,但在录制视频期间,操作员模拟了间伐情况,以便用于当前和其他研究问题,之后才将剩余的树木砍伐(图1)。在抢救性砍伐作业期间收集数据的机会得益于垂死云杉树冠下的良好照明条件,这种林分特征是地面植被稀少。这为对象检测模型创造了一个不太具有挑战性的环境,从而为初步研究提供了有利条件。图1显示了视频中的起重机伸出工作元素的一个样本帧。

这种设置是抢救性砍伐作业的一部分,由于垂死云杉树冠下的照明条件,提供了良好的可见性。环境特征是地面植被稀少,为与对象检测模型相关的初步研究创造了有利条件。

在此次作业中,录制了大约两小时的无声视频片段,时间是在一个阴天但无雨的日子(2022年6月22日),使用的是分辨率为1920×1080、帧率为30帧每秒(fps)的Nextbase 622GW行车记录仪。

标注
其中一个作者使用美国Meltytech, LLC的Shotcut视频编辑器(https://www.shotcut.org/)手动标注了视频片段,以标记离散的工作元素。标注包括记录不同工作元素的开始时间(小时、分钟、秒、帧)和结束时间(表1)。

表1. 数据集类别(工作元素)的摘要,包括定义、优先级和片段数量。下载CSV显示表格。

这些标注后的片段被分成训练集和验证集,以支持模型开发和评估。这个初步数据集作为测试能够直接从原始视频数据中识别工作元素的深度学习模型的基础。数据集包括分类为六个操作组的工作周期元素,这些组是伐木机伐木工作周期中的不同活动(表1)。工作元素的分布表明,除了“非生产性”类别外,数据集在不同类别之间相对平衡,“非生产性”类别的代表性不足,可能会在实现所有类别的一致模型性能方面带来挑战(图2)。为了模型训练和评估的目的,使用了四个主要工作元素类别的子集:“起重机伸出”、“切割和处理”、“驾驶”以及“处理”。这些类别的选择基于它们在实地工作流程中的频率和操作重要性。

图2显示了数据集中每个类别的个别工作元素(ckiolength)的帧计数直方图。每个子图显示了特定类别内视频的帧长度分布。

第一个标记为“起重机伸出”的直方图显示的计数范围是从0到15,帧号从0到400。第二个标记为“非生产性”的直方图显示的计数范围是从0到1,帧号从0到6000。第三个标记为“切割和处理”的直方图显示的计数范围是从0到15,帧号从0到800。第四个标记为“处理”的直方图显示的计数范围是从0到15,帧号从0到2000。第五个标记为“驾驶”的直方图显示的计数范围是从0到80,帧号从0到100000。第六个标记为“其他起重机运动”的直方图显示的计数范围是从0到10,帧号从0到800。每个直方图代表了特定工作元素类别内视频的帧长度分布。

图2中的直方图说明了每个标记类别的视频片段中帧计数的分布情况。大多数类别,如“起重机伸出”、“切割和处理”和“处理”,表现出相对一致且紧凑的片段持续时间分布,通常集中在1000帧以内。“非生产性”类别的分布较为稀疏,包含一些长时间片段,反映了其代表性不足和不规则的发生。相比之下,“驾驶”类别显示出严重的偏态分布,大多数片段较短,但由于长时间不间断的运动,少数片段超过了80000帧。“其他起重机运动”类别也显示出高度的变异性,具有右偏态分布,表明持续时间不一致和操作定义较为宽泛。这些不平衡和帧计数的异常值可能会影响模型训练和类别性能,特别是对于代表性不足或变化较大的类别。

处理可变的片段长度和帧计数异常值
标注的工作元素片段的持续时间差异很大,包括少量非常长的“驾驶”片段。在这项研究中,这些异常值没有被移除,因为每个片段在训练之前都被转换为了固定长度的表示形式:我们应用了统一的时间 subsampling方法,从每个片段中提取了八帧,不论其原始的帧数是多少。因此,极端片段长度并不会改变输入网络的时间大小。在未来的工作中,长片段将被分割成多个较短的片段(例如固定时长的窗口,可以选择性地重叠),或者使用随机片段采样来减少类别内的变化。

模型开发
本项目开发的视频分类流程(见图3)利用了PyTorch Lightning(Falcon Citation2019)的模块化设计以及PyTorchVideo(Research Citation2021)的专业视频处理能力。我们选择在PyTorchVideo中实现模型,因为它提供了成熟的3D ResNet架构实现,以及标准的视频预处理/增强工具,并且能够与本研究使用的PyTorch训练工作流无缝集成。虽然也可以使用其他框架(例如TensorFlow(Tensorflow Citation2026)/Keras(Keras Citation2026)或Hugging Face(Hugging Face Transformers Citation2026)构建类似的流程,但对于这个试点项目来说,PyTorchVideo提供了最直接和可复现的实现方式。

预处理部分包括以下步骤:统一时间 subsampling、归一化、随机短边缩放、随机裁剪和随机水平翻转。这些步骤依次进行,最终进入3D ResNet-50部分。3D ResNet-50部分由卷积 stem、残差步骤、全局平均池化、全连接层和输出层组成。流程图展示了从预处理输入数据开始,通过3D ResNet-50模型阶段直到产生最终输出的过程。

每个视频片段都经过了统一的时间 subsampling,提取了八帧,然后使用标准的RGB均值和标准差值进行归一化。为了提高模型的泛化能力,在训练过程中应用了以下数据增强方法:随机短边缩放(256–320像素);随机裁剪至244×244像素;以及随机水平翻转。

在验证阶段,采用了一个确定性的预处理流程,包括统一时间 subsampling、归一化、固定短边缩放(256像素)和中心裁剪。这些预处理步骤是使用PyTorchVideo的转换工具实现的(Fan et al. Citation2021)。

模型使用PyTorchVideo的模块化工具进行实现。配置细节包括:输入通道数:3(RGB);模型深度:50层(ResNet-50变体);类别数量:4(林业活动类别);卷积类型:全程使用3D卷积;归一化方式:BatchNorm3d;激活函数:ReLU。

该模型可以被视为一系列逐步将原始视频转换为更抽象的运动/外观特征的过程。3D卷积就像是滑动式的“时空过滤器”,能够在图像空间和时间上检测模式(例如起重机的移动)。ReLU激活函数保留了有信息量的正面响应,抑制了弱信号,引入了非线性。批量归一化通过连续重新调整中间信号的规模来稳定训练过程,使得每一层接收到的输入都在一个一致的范围内,这通常可以加速并规范学习过程。

训练是在四块A100-80GB的GPU上进行的,每个片段的持续时间为4秒。批量大小设置为8,训练进行了最多200个epoch。一个epoch是指整个训练数据集完成一次遍历,之后参数会更新,然后进行下一次遍历。训练过程中使用了Adam优化器,学习率固定为0.001。禁用了混合精度,始终使用32位精度。损失函数是交叉熵损失。在这项试点研究中没有应用早期停止(early stopping)策略;相反,所有模型都训练了固定的epoch数(200),以便在不同运行之间进行一致比较,并在数据有限的情况下诊断过拟合问题。在未来的工作中,我们将基于验证F1分数(或损失)和耐心标准(patience criterion)来实施早期停止策略,以减少过拟合。

数据集被分为训练集和验证集,重点关注四个类别:“起重机停止”、“切割和运输”、“驾驶”和“加工”。两个数据集的数据加载器都配置了基于片段的采样和多线程处理,以确保训练效率高。这种流程确保了模型的可复现性和可扩展性,便于对新数据或新增类别的快速适应。

为了评估视频分类模型的性能,计算了准确率、精确度、召回率、F1分数和交叉熵损失等指标。这些指标提供了对模型在多个类别上预测性能的全面了解。

准确率测量的是正确预测标签的比例,计算公式如下:
(1) Accuracy = 1/N ∑_{i=1}^{N} 1/(yi = y_pred)
其中 yi 是真实标签,y_pred 是预测标签,N 是样本总数。公式 (2) 中的 1_{A} 表示指示函数,如果 A 为真则返回1,否则返回0。因此,总和表示正确预测的数量,除以N得到准确率。

精确度(宏观平均)表示每个类别中预测为正的实例中有多少是实际正确的。宏观平均精确度的计算公式如下:
(3) Precision_macro = 1/C ∑_{c=1}^{C} TPC_{c} + FP_{c}
其中 TP 是真正例(正确分类为1),FP 是假正例(错误分类为1),C 是类别的数量。

召回率(宏观平均)衡量的是实际为正的实例中有多少被正确识别出来,计算公式如下:
(4) Recall_macro = 1/C ∑_{c=1}^{C} TPC_{c} + FN_{c}
其中 FN 是假负例。

F1分数(宏观平均)是精确度和召回率的调和平均,按类别计算并求平均值,公式如下:
(5) F1macro = 1/C ∑_{c=1}^{C} (2 * Precision_{c} * Recall_{c})

用于优化的损失函数是交叉熵损失,公式如下:
(6) LCE = ?∑_{i=1}^{N} ∑_{c=1}^{C} yi,c * log(p?_{i,c)
其中 yi,c 是真实标签(one-hot编码),p?_{i,c} 是类别 c 的预测概率。这些指标是使用torchmetrics库(PyTorch Lightning Team Citation2021)计算的,并在每个epoch结束时使用Weights & Biases(Weights and Biases Citation2025)记录下来,以支持实验跟踪和性能可视化。

除了总体参数外,还计算了最后一个epoch中所有工作元素的参数。使用精确度、召回率和F1分数评估了各个工作元素的分类性能,并根据验证数据构建了混淆矩阵。

我们开发了一个模型,用于分类“起重机停止”、“切割和运输”、“加工”和“驾驶”这四个工作元素(见表2,附录)。该模型在训练数据上的表现良好,但在验证数据上的表现不佳。在表现最佳的检查点(epoch 190),模型在验证数据上的精确度达到了0.90,召回率为0.88。虽然训练曲线表明在这个阶段稳定性有限,但对于一个试点研究来说,整体性能还是令人鼓舞的。同时,训练数据和验证数据集之间的F1分数差异表明存在一定程度的过拟合。

不同工作元素的检测效率也有所差异(见表3,图4)。“切割和运输”类别的检测准确率最高,所有真实的验证实例都被正确分类,尽管有四个假正例。另一方面,“起重机停止”是最难分类的工作元素,只有9个实例被正确分类为“起重机停止”,而有3个实例被错误地分类为“驾驶”。有趣的是,其中有5个被错误分类为“驾驶”的实例实际上是被正确分类为“驾驶”的。图4显示了验证数据的混淆矩阵。该矩阵是在模型训练200个epoch后的最后一个检查点计算得出的。行代表真实标签,列代表预测标签;每个单元格显示分配给该预测的验证片段数量。对角线单元格表示正确分类;非对角线单元格表示错误分类(颜色越深,数量越多)。

之前的研究(见表4)提出了两种互补的自动化时间研究方法:基于遥测的传感和以视觉为中心的识别。在林业领域,轻量级的遥测设备已被证明对粗略的活动分割非常有效:安装在咀嚼设备上的智能手机惯性测量单元(IMUs)能够以高曲线下面积(AUC)和平衡的准确率区分任务状态,而GNSS-RF应答器能够以2.5秒的分辨率恢复装载机的摆动周期,正确率超过0.90,表明低成本的运动/位置线索可以在不需要视频录像作为基础的情况下构建工作周期(Becker et al. Citation2017; Becker et al. Citation2022)。然而,这些方法需要硬件安装、同步和稳定的运行环境,这可能会限制在即兴实地工作中的快速部署。

在挖掘机上广泛研究的视觉方法表明,时空模型能够处理视觉上相似的状态和杂乱环境。将RGB与点云融合在双流CNN-LSTM架构中,可以将准确率提升到0.90左右。而纯视觉流程(CNN+BiLSTM或带有时间梯度的单阶段检测器)也报告了强劲的性能(Kim et al. Citation2023; Ghelmani and Hammad Citation2024; Cho et al. Citation2025)。这激发了我们仅使用相机的设计思路:3D CNN可以为林业时间研究提供可部署的、开销低的自动化方案,而在存在歧义的情况下(例如“起重机停止”与“驾驶”),添加额外的感测模式(深度/激光雷达、粗略的IMU/GNSS)是下一步明确的方向。

我们的试点结果表明,所提出的基于3D ResNet-50的分类流程能够从驾驶记录中学习有意义的时空表示,以识别林业工作元素。验证F1分数为0.88,精确度为0.90,表明该模型在多个操作类别中具有良好的泛化能力,特别是在四个类别的限制条件下。这表明基于视频的方法在支持自动化或用于森林作业的时间研究方面具有巨大潜力。然而,在这种方法能够广泛部署之前,还需要解决几个问题。训练过程中最显著的问题是过拟合。尽管训练F1分数达到了0.96,但与验证F1分数的差距表明模型的泛化能力有限,这可能是由于数据集规模相对较小。这一点也得到了训练和验证损失值之间差距的支持。模型可能记住了训练数据中的模式,这限制了其处理未见过的情况或林业作业中的边缘案例的能力。

另一个挑战是类别不平衡,特别是“非生产性”和“其他起重机运动”类别,由于它们的代表性较低,因此被排除在模型训练之外。这种不平衡影响了模型对更细粒度或罕见工作阶段的扩展性。未来的工作应该考虑有针对性的数据收集或合成过采样技术(例如SMOTE或数据增强)来解决类别代表性不足的问题。

“驾驶”和“起重机停止”这两个工作元素比其他两个元素更难以区分(见表3,图4)。这部分挑战可能源于在注释/分类过程中工作元素的优先级设置(表1)。“驾驶”在工作元素中的优先级最低,因此在起重机移动时没有被包括在内。实际上,机器在“起重机停止”开始时往往仍会继续移动,这可能导致这两个类别之间的边界模糊,从而引起错误分类。一种解决方法是将“起重机停止”分为“驾驶时停止”和“静止时停止”,从而将问题从四个类别转变为五个类别。这种更细粒度的划分可以通过分离混合运动情况来提高检测效果,但也会带来权衡:增加一个类别会增加任务复杂性,而且如果新类别的代表性强而数据有限,还可能降低性能。对于其他工作元素,如果它们能够反映有意义的操作子状态并且在数据中有足够的表示,也可以考虑类似的分割方法。还有几个额外的改进措施是可行的。由于操作员的隐私问题,试点视频中并未包含音频。然而,先前的研究表明,声音可以支持对特定操作的准确分类(例如链锯作业,参见Gnamele等人2019年的研究)。这表明,如果可行,启用音频可以在不增加额外传感器的情况下增强对伐木相关活动的检测能力。另一种方法是采用分层方法,例如使用第一阶段模型来检测机器是否在移动(当前轮子可见时通常非常准确),然后使用第二阶段模型根据运动状态对工作元素进行分类。在未来的工作中,我们将明确比较四类和五类设置(包括混淆模式和宏观F1分数),以确定增加类别粒度是否能提高鲁棒性或主要是重新分配错误。试点研究中使用的数据也存在局限性,因为视频中没有任何声音,这是出于对操作员隐私的考虑。Gnamele等人(2019年)发现,声音可以用于高精度地分类链锯作业。因此,在视频录制过程中启用声音可以更好地检测伐木和横切作业,而无需添加额外的传感器。另一种改进方案是建立一个单独的模型来检测机器何时在行驶以及起重机何时在移动。只要前轮可见,这样的模型就可以非常准确。模型架构本身显示出了很强的编码空间和时间特征的能力。然而,可以探索更先进的技术,如注意力机制、变换器或混合CNN-RNN模型,以改进时间推理并减少对固定长度输入剪辑的依赖。此外,整合传感器数据(例如起重机角度、GPS、机器状态)可以提供多模态上下文来补充视频流(La Hera和Ortiz Morales 2019年)。不过,获取这些额外信息可能仍然比较复杂。最容易获取的额外信息来自StanforD文件,其中可能包含切割和弯曲切割的时间戳。然而,这需要在机载计算机上正确设置 recordings,并且相机和机器之间需要同步时钟。还有一个问题是,较简单的机器可能根本无法记录这些信息。因此,在考虑其他数据源之前,最好先使用额外的数据进行进一步开发。Pierzcha?a等人(2018年)在研究场地作业时使用了一个不太先进的多传感器模态方法,包括IMU、GPS和相机,实现了0.78的工作元素分类加权平均精度。他们发现,额外的传感器可能会生成重复或不相关的信息,导致工作元素分类错误,这突出了增加传感器复杂性的潜在缺点。Varch等人(2023年)使用基于已安装传感器的简化方法来计算场地作业的总周期时间。他们在研究的限制条件下得出结论,手动现场时间研究和自动时间研究得出的结果与详细的基于视频的分析相当。两者在平均周期时间上略有差异,而主要区别在于自动时间研究的变异性较小。这些结果表明,现代传感器技术具有很高的潜力,可以准确地识别森林环境中的重复性工作元素,为自动化时间研究方法的未来发展提供了支持。最后,尽管当前的流程是为离线分析设计的,但将系统适配到嵌入式平台上的实时推理仍然是一个重要的未来目标。可以应用量化、模型剪枝或蒸馏等优化措施来减少推理时间和资源需求,从而实现机载计算环境中的部署。这一点很重要,因为机载实时分析也可以显著提高对操作员的决策支持系统。Manner(2024年)还注意到并认为开发智能辅导系统来补充人类指导是一个关键因素。这是当前研究的另一个潜在好处,可以提高森林作业的效率,不仅限于森林作业的研究。在这个试点项目中,我们评估了剪辑级别的工作元素分类(精确度/召回率/F1分数),但尚未量化开始/停止检测的边界时间精度。在未来的工作中,我们将使用边界误差指标(例如平均绝对开始/停止误差)以及检测到的边界与手动注释在0.5秒(和1.0秒)范围内的比例来评估时间分割,这与Nuutinen(2013年)报告的基准一致。总之,试点结果验证了基于深度学习的视频分类在林业中的可行性,但也显示了需要更大的数据集、更广泛的类别覆盖范围以及更高效模型变体以适应实际应用的需求。

**结论**
试点研究表明,仅使用相机的深度学习流程可以从行车记录仪视频中学习到林业工作元素识别的有意义的时空模式。使用在手动标注的视频上训练的3D ResNet-50模型,在四类设置中达到了0.90的精确度、0.88的召回率和0.88的验证F1分数,表明从视频数据中支持自动化时间研究是可行的,并且有可能减少手动分析的工作量。不同工作元素的性能有所不同:“切割和处理”被最可靠地检测到,而大多数错误源于视觉上重叠的类别之间的混淆,尤其是“起重机外出”与“驾驶”之间的混淆。这项研究得出了三个实际结论:(1)基于视频的工作元素分类是低开销部署在现场研究中的有前途的方法;(2)扩大到操作使用将需要更多样化的数据(机器、操作员、条件)以及改进工作元素的平衡/覆盖范围;(3)通过有针对性的数据收集、更强的正则化/增强措施,以及在可行的情况下添加额外的线索(如音频或轻量级机器/StanForD信号),精度和鲁棒性可能会有所提高。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号