《Artificial Intelligence in Agriculture》：A lightweight perception and decision framework for single-camera three-lane online apple defect sorting
编辑推荐：
中国是全球最大的苹果生产国，其产业结构以小中型果园为主。收获后的直接田间分级是商业化苹果加工中的关键步骤。目前，大多数商用苹果分拣机专为大型水果分销企业的室内包装厂设计，其庞大的体积和高昂的成本使其不适用于中国小中型果园的初级田间分拣，这些果园的采后初级分拣仍
中国是全球最大的苹果生产国，其产业结构以小中型果园为主。收获后的直接田间分级是商业化苹果加工中的关键步骤。目前，大多数商用苹果分拣机专为大型水果分销企业的室内包装厂设计，其庞大的体积和高昂的成本使其不适用于中国小中型果园的初级田间分拣，这些果园的采后初级分拣仍主要依靠人工完成。因此，开发适用于这些果园的自动化田间初级分拣技术具有重要的实用价值。
现有研究主要集中于“多相机多通道”和“多相机单通道”架构。在“多相机单通道”配置中，盲区通过多视角采集进行补偿，提高了对苹果不同区域表面的覆盖率，但硬件成本、标定工作和系统集成复杂度相对较高。相比之下，“多相机多通道”架构通常每条通道配备一台工业相机，并利用果托或螺旋输送机诱导苹果自转，使果实在成像过程中逐渐暴露表面。尽管这两种架构在缺陷表征方面具有一定优势，但它们通常需要高端硬件，这反过来增加了系统维护的复杂性。对于小中型果园而言，尽管其视觉性能优越，但这些局限降低了其在设备占地和田间部署方面的实用性。
与这两种配置相比，“单相机多通道”架构因其更高的硬件集成度，更适合小中型果园的田间初级分拣。此外，由于一台工业相机可同时覆盖多条平行通道，该架构在吞吐量方面也具有优势。近期针对该配置在水果分拣中应用的研究大致分为两类：一类侧重于系统级工程验证，例如使用拨片分拣器或螺旋输送机验证“单相机多通道”苹果分拣的可行性；另一类则研究轻量化通用算法（如改进的YOLO模型）在该特定场景中的适配，以提高检测速度和精度。然而，与近距离多相机成像相比，“单相机多通道”架构必须在单次采集中覆盖更大的视场（FOV），导致单个苹果的有效图像尺度减小，进而使与表面缺陷相关的视觉特征显著退化。大多数现有的系统级研究依赖基线目标检测模型，而通用轻量级网络难以在远距离成像下的缺陷识别精度与实际部署的实时性要求之间取得平衡。
此外，在“单相机多通道”分拣场景中，果实剔除决策通常采用基于时间-速度的延迟触发策略，但该方法难以适应苹果表面缺陷仅在特定视角短暂可见的情况。已有研究表明，引入多目标跟踪可以提高分拣决策的稳定性。然而，大多数主流的多目标跟踪方法主要针对开放环境开发，其面临的挑战包括严重的遮挡处理、基于外观的区分以及长期身份保持。在多通道苹果分拣中，视场内目标的运动轨迹受到机械结构的强烈约束，且果实间外观差异有限。因此，控制任务需要的是直到果实到达分拣位置的短期关联，而非开放环境中的长期身份保持。据此，将通用多目标跟踪方法直接应用于该分拣场景可能会导致大量的计算冗余和场景适应性不足。
基于上述分析，多相机、“单通道与多相机”及多通道配置的新鲜水果分拣系统在结构设计和检测算法方面已取得显著进展。然而，当扩展到特定的单相机多通道场景时，现有方法仍面临若干局限。由于果实形状和输送带结构的约束，通用多目标跟踪方法在该场景中存在计算冗余和适应性差的问题；从检测到剔除的过程中，仍缺乏一个紧凑的轨迹级决策机制来稳定分拣输出。为克服这些限制，本研究开发了一个紧凑的“单相机三通道”苹果分拣测试平台，在真实分拣条件下构建了苹果缺陷图像数据集，并提出了一种高效的轻量化视觉感知与决策框架。主要贡献集中在单相机三通道苹果分拣的系统集成与场景特定适配，具体如下：
（1）开发了一个紧凑的“单相机三通道”苹果分拣平台，并在真实在线分拣条件下构建了苹果缺陷数据集。
（2）提出了一种适用于远距离单相机多通道成像的轻量化缺陷检测模型MOD-DETR。该模型集成了轻量化骨干网络、深层增强、自适应多尺度选择融合（AMSF）以及动态重参数化融合，在保持效率的同时增强了缺陷表征能力。
（3）开发了一种面向机械约束苹果输送场景的场景自适应跟踪方法ASORT，该方法利用运动一致性关联和轨迹生命周期管理，而非复杂的外观重识别。
（4）建立了一种轨迹级缺陷确认与到达时间预测策略，将帧级感知结果转换为可执行的剔除指令。
**基于论文内容的学术解读**
**一、研究背景与问题**
中国作为全球最大的苹果生产国，其产业以小中型果园为主。采后田间直接分级是商业化苹果加工的关键环节。然而，现有商用苹果分拣机主要面向大型分销企业的室内包装厂，体积庞大且成本高昂，不适合小中型果园的田间初级分拣，该环节目前仍以人工为主。现有自动分拣研究多采用“多相机多通道”或“多相机单通道”架构，虽然视觉性能优越，但硬件成本、标定复杂度与维护难度高，设备占地大，限制了田间部署。“单相机多通道”架构因其硬件集成度高、吞吐量优势明显，更适合小中型果园。然而，该架构需在单次采集中覆盖更大视场（FOV），导致单个苹果的有效成像尺度减小，缺陷视觉特征显著退化。通用轻量级检测网络难以兼顾远距离成像下的识别精度与实时性。此外，在检测与剔除之间，传统时间-速度延迟触发策略无法适应缺陷仅在特定视角短暂可见的情况；而通用多目标跟踪方法针对开放环境设计，强调外观判别与长期身份保持，在机械约束强、果实外观相似的多通道分拣场景中计算冗余且适应性不足。为此，研究人员开发了紧凑的“单相机三通道”苹果分拣平台，构建了真实分拣条件下的缺陷数据集，并提出了轻量化视觉感知与决策框架。该研究发表在《Artificial Intelligence in Agriculture》。
**二、研究方法概述**
研究开发了MOD-DETR缺陷检测模型与ASORT运动跟踪模型。MOD-DETR基于RT-DETR框架，采用FasterNet作为轻量化骨干，引入自适应多尺度选择融合（AMSF）增强不同尺度缺陷响应，加入优化阶段增强网络（OSENet）保留深层语义特征中的缺陷信息，并以动态平衡重参数化C3模块（DBRC3）替代原RepC3以提升动态输送条件下的融合稳定性。ASORT基于SORT框架，利用运动一致性约束的交叉帧关联、轨迹生命周期管理以及到达时间（ETA）预测，实现无需外观特征的轻量级连续跟踪。样本来源于陕西省的红富士、瑞阳、瑞香红苹果，包含典型缺陷类型；共构建3700幅图像、11508个缺陷实例的数据集，以及含454帧、13条真实轨迹的视频跟踪评估集。
**三、研究结果**
**（一）轻量化骨干网络比较。** 通过替换不同轻量化骨干（MobileNet、FasterNet、ConvNextv2、MobileNetV3及FasterNet+OSENet）并进行有效感受野可视化分析，研究表明FasterNet实现了与ResNet-18相当的检测精度（mAP@50为85.4%），同时计算量降低51%、模型大小降至42.4MB、推理速度达到97.3 FPS；结合OSENet后，mAP@50提升至86.2%，有效感受野表现出更集中的中心响应与多尺度局部聚焦能力，更有利于缺陷细节捕获。
**（二）消融实验。** 逐步引入FasterNet、OSENet和DBRC3的消融研究表明，FasterNet可在不损失精度的情况下大幅降低计算成本；OSENet的引入显著提升了对小尺度缺陷的定位与边界回归能力（mAP@50达86.2%）；选择Stage 3作为OSENet部署位置可在增强效果与实时性间取得平衡；DBRC3单独引入收益有限，但在高质量特征表示支持下发挥结构优势。最终MOD-DETR实现86.7%的mAP@50、28.9 GFLOPs的计算成本和95.4 FPS的推理速度。HiResCAM可视化表明，MOD-DETR对苹果主体区域覆盖更完整，缺陷区域响应更集中，同时有效抑制了背景和无关纹理的干扰。
**（三）与基线模型比较。** 与YOLOv8s、YOLOv11s/m、YOLOv12s、DAB-DETR、RT-DETRv2-s及RT-DETR-R18等主流模型的对比表明，MOD-DETR在mAP@50、精确率和F1-score上均取得最高值（86.7%、90.7%、85.7%）。相比RT-DETR-R18，mAP@50提升1.5个百分点，计算成本从58.3降至28.9 GFLOPs。逐类性能分析显示，MOD-DETR对苹果黑星病、果柄扎伤和碰压伤的AP@50分别提升1.40、1.53和2.85个百分点，召回率提升主要体现于黑星病和碰压伤，表明性能增益主要源于产线成像条件下缺陷区域的检测改进。
**（四）ASORT跟踪性能分析。** 在移动平台（GTX 1650Ti 4GB）上的评估表明，与SORT相比，ASORT将漏检数从101降至46、轨迹碎片从9降至4，MOTA从95.7%提升至97.6%，IDF1从97.8%提升至98.8%。与ByteTrack、StrongSORT、HybridSORT、DeepOCSORT的对比中，ASORT取得最高MOTA（97.6%）和IDF1（98.8%），无身份切换，处理速度最高（19.7 FPS），表明在果杯引导的平行输送场景中实现了精度、稳定性和效率的良好平衡。
**（五）轨迹级缺陷融合与剔除决策。** 离线产线视频试验（398个样本，含335个缺陷果和63个正常果）比较了缺陷积累阈值K∈{1,2,3}。结果表明，K=2时未产生漏剔，误剔降至6次，决策准确率达98.49%；K=1虽有零漏剔但误剔率较高，K=3则漏剔增多。研究因此选取K=2用于在线试验。轨迹可视化显示，系统可在连续帧中将同一轨迹的多次缺陷检测累积确认，并以红色边界框标记为剔除目标。
**（六）在线部署验证。** 在传送速度0.16 m/s、气动拨片动作周期0.6 s的条件下，使用200个苹果（80个缺陷果、120个正常果，均未参与模型训练和测试）进行在线分拣试验。系统正确剔除68个缺陷果、漏剔12个，正确放行117个正常果、误剔3个，总体分拣准确率为92.5%（95% Wilson置信区间：88.0%~95.4%），漏剔率15.0%，误剔率2.5%。误差分析表明漏剔是主要误差来源，与拨片与果杯距离、果实间距及气动响应延迟相关。
**四、总结讨论与结论**
讨论指出，在固定结构的单相机三通道分拣系统中，远距离成像、缺陷瞬时可见性、局部反射、果实密度变化和执行器响应延迟是关键影响因素。MOD-DETR在精度上虽仅略优于RT-DETR，但在有限计算资源下实现更稳定的识别结果比追求更高静态指标更具工程价值。然而，图像边缘处的苹果因目标尺度进一步减小，模型对局部缺陷的表征仍存在不足。轨迹级决策机制将检测结果直接用于剔除控制，增强了系统的抗波动能力。研究结论为：所提出的检测、跟踪及轨迹级决策方法在单相机三通道平台上完成了从苹果表面缺陷感知到剔除触发的连续闭环验证。但在线验证仅涉及200个苹果，系统在不同品种和田间作业条件下的适应性与长期运行稳定性仍需进一步验证。
