《Agriculture》:Potato Defect Detection in Storage Environments via Multi-Scale Fusion and Dynamic Feature Interaction
编辑推荐:
针对马铃薯存储场景中的目标严重堆叠与遮挡、缺陷特征变化大等挑战,研究人员提出了一种名为MDS-DETR的马铃薯缺陷检测方法,并验证了其在机器人分选平台上的部署。首先,在马铃薯存储仓库中采集了不同光照条件和堆叠状态下的马铃薯图像,构建了包含黑斑、发芽、干腐、腐烂
针对马铃薯存储场景中的目标严重堆叠与遮挡、缺陷特征变化大等挑战,研究人员提出了一种名为MDS-DETR的马铃薯缺陷检测方法,并验证了其在机器人分选平台上的部署。首先,在马铃薯存储仓库中采集了不同光照条件和堆叠状态下的马铃薯图像,构建了包含黑斑、发芽、干腐、腐烂、绿皮和开裂等缺陷的马铃薯缺陷数据集。随后,根据存储场景中目标检测任务的特点,设计了MCF模块(Multi-scale Context Fusion,多尺度上下文融合)以增强不同空间尺度下上下文特征的提取与整合。构建了AIFI-DyMona结构(Anchor-free Instance Feature Interaction with Dynamic Mona,无锚框实例特征交互与动态Mona),以提升不同光照条件下特征表示的稳定性。此外,引入Shape-IoU回归策略(Shape Intersection over Union,形状交并比),提高了网络对不规则缺陷轮廓和几何特征的敏感性。验证实验表明,所提出的MDS-DETR框架在mAP@0.5(平均精度均值,IoU阈值为0.5)上达到96.3%,仅有14.2 M参数和42.9 G FLOPs(浮点运算次数)。与几种代表性目标检测算法相比,所提方法在复杂存储条件下表现出更优的识别能力和更强的鲁棒性,同时能更好地抑制漏检和误检。为进一步评估其实际应用性,将训练好的网络集成到智能马铃薯分选机器人中,并在真实仓库场景中进行了测试。实验观察表明,该机器人系统始终保持着超过95%的分选准确率,证明了该方法在马铃薯存储应用中的有效性和实际部署潜力。本研究可为马铃薯存储过程中的智能检测与自动分选提供参考。
这篇论文聚焦于马铃薯在存储环境中的缺陷检测与机器人自动分选问题。研究背景指出,马铃薯作为全球重要作物,在冷链或通风仓库中长期储存时,易因温湿度波动导致腐烂、发芽等品质问题,而传统人工检测主观性强、效率低,已有的基于图像处理的方法受光照和噪声影响大,难以应对存储场景中目标堆叠遮挡、光照不均、缺陷特征动态变化等挑战。为此,研究人员开展了基于深度学习的缺陷检测方法研究,提出了MDS-DETR模型,并部署在自主研发的马铃薯分选机器人上,在真实气调库中验证了其有效性。该研究发表于《Agriculture》。
研究人员采用的关键技术方法包括:1)构建了一个包含3540张图像的马铃薯缺陷数据集,样本来源于河北省张家口市沽源县气调库,品种为希森3号和希森6号,使用BNC100工业相机采集,覆盖不同光照与堆叠状态,包含黑斑、发芽、干腐、腐烂、绿皮、开裂六类缺陷,但统一标注为“Defect”类别;2)提出MCF模块(Multi-scale Context Fusion),替代原始RT-DETR骨干网络中的BasicBlock,通过引入GCBlock(Context Guided Block)增强不同尺度上下文特征的提取与融合;3)设计AIFI-DyMona结构,在无锚框实例特征交互模块中引入DyMona(Dynamic Mona),利用DynamicTanh(DyT)实现动态归一化与极值抑制,提升光照适应性;4)引入Shape-IoU损失函数,结合几何形状一致性惩罚项,优化不规则缺陷(如发芽、腐烂)的边界框回归。
研究结果部分包含以下内容:
**3.1 骨干网络对比实验**:通过将MCF骨干网络与七种常用网络(如TransNeXt、EfficientViT等)在相同条件下比较,发现MCF在mAP@0.5(94.7%)、参数量(14.1 M)和推理速度(138.7 FPS)之间取得良好平衡,优于轻量级网络(如EfficientViT的90.8%),且计算复杂度低于高精度网络(如TransNeXt的95.6%但速度慢)。
**3.2 AIFI模块对比实验**:采用控制变量法比较八种AIFI增强方法,DyMona获得最优mAP@0.5(95.3%),表明其能增强对模糊腐烂边界和细长发芽结构的联合表示能力,在遮挡和弱纹理条件下表现稳健。
**3.3 消融实验**:逐步引入MCF、AIFI-DyMona和Shape-IoU。MCF使参数量减少29.1%、FLOPs降低24.7%,mAP@0.5从94.2%提升至94.7%;AIFI-DyMona使mAP@0.5达95.3%,召回率升至93.1%;引入Shape-IoU后mAP@0.5达94.8%,召回率升至93.6%。三者联合使用时,mAP@0.5达到96.3%,精度和召回率分别为95.0%和93.6%,同时保持较高检测速度和低计算成本。
**3.4 不同检测算法对比分析**:与Faster R-CNN、YOLOv5-m、YOLOv8-m、YOLOv10-m、YOLOv11-m、YOLOv12-m、RetinaNet、Deformable-DETR及RT-DETR相比,MDS-DETR在mAP@0.5上最高(96.3%),且参数量和计算量适中,表现出高参数利用效率和计算效率。
**3.5 可视化分析**:对比RT-DETR与MDS-DETR的检测结果,在密集堆叠、缺陷特征不明显、弱光照等场景下,RT-DETR存在漏检和误检,而MDS-DETR能更准确定位缺陷区域,对不同类型缺陷马铃薯检测效果更好。
**3.6 模型鲁棒性分析**:在测试集随机选取300张图像,添加10%~50%的椒盐噪声模拟图像退化。MDS-DETR在噪声低于10%时mAP@0.5下降较小,超过10%后性能下降最慢,即使在50%噪声下仍保持较高检测精度,表明其抗干扰能力强。
**3.7 存储仓库分选实验**:在河北省张家口市沽源县气调库进行分选实验,机器人系统在10次重复实验中分选准确率始终高于95%,推理速度约21 FPS(Jetson平台),验证了MDS-DETR在真实存储环境中的稳定性和实时性。
讨论部分指出,MDS-DETR在mAP@0.5上达到96.3%,优于前人研究(如Wu等95.6%,Qiu等95.8%),但存在局限性:数据集仅来自单一区域,多样性不足;缺陷标注统一为“Defect”类别,无法区分具体缺陷类型;密集堆叠导致严重遮挡,部分缺陷区域不可见;噪声鲁棒性实验仅模拟椒盐噪声,未覆盖实际存储中的非均匀光照、灰尘模糊、运动模糊等干扰。未来工作将扩展数据来源、实现细粒度缺陷识别、引入多视角成像或主动翻转机制,并评估模型在更真实环境扰动下的鲁棒性。
研究结论翻译如下:本研究聚焦于存储仓库环境下的马铃薯缺陷检测与智能分选任务。针对存储场景中弱光照、目标堆叠遮挡、缺陷特征复杂等问题,对RT-DETR模型进行改进,提出了增强模型MDS-DETR。该模型集成了MCF、AIFI-DyMona和Shape-IoU,有效提升了特征表示能力和检测稳定性。实验结果表明,MDS-DETR在验证集上mAP@0.5达到96.3%。与其他模型相比,该方法有效减少了漏检和误检。同时,模型仅含14.2 M参数和42.9 G FLOPs,满足分选操作需求。此外,将所开发的检测框架集成到智能马铃薯分选机器人中,并在实际仓库存储条件下进行了实验验证。实验表明,该机器人系统能够可靠地执行缺陷马铃薯识别与分选操作,具有高分选精度,证明了其在真实存储仓库条件下的有效性和适用性。研究结果可为马铃薯存储过程中的智能检测与自动分选提供有益参考。