基于改进RT-DETR的沙窝萝卜表面缺陷检测方法

《Frontiers in Nutrition》：Surface defect detection method for shawo radishes based on improved RT-DETR

　　

摘要：引言：沙窝萝卜表面缺陷检测面临缺陷特征复杂、缺陷尺度变化大以及特征表征不足等挑战，这限制了自动化质量检测与分级性能。方法：为应对这些挑战，本研究提出了一种基于频率-空间协同建模策略的改进RT-DETR-r18框架。该模型引入了小波变换块（Wavelet Transform Block, WT_Block）、基于注意力且带有高低频注意力的尺度内特征交互模块（Attention-based Intra-scale Feature Interaction with High-Low Attention module, AIFI-HiLo）以及VoVGSCSP-PConv跨尺度特征融合模块（VoVGSCSP-PConv Cross-Scale Feature Fusion Module, VP_CCFM），以增强特征提取、特征交互与多尺度表征。结果：在自建沙窝萝卜表面缺陷数据集上进行的实验表明，所提方法实现了94.5%的精确率（Precision）、81.2%的召回率（Recall）以及85.3%的以交并比阈值为0.5的平均精确率（mean Average Precision at an Intersection over Union threshold of 0.5, mAP@50），相较于基线RT-DETR-r18模型分别提升了2.9、2.8和1.9个百分点。同时，参数量和计算复杂度分别降低了7%和12.7%。对比实验进一步表明，所提模型在整体检测性能上优于若干主流目标检测方法。讨论：这些结果表明，所提出的频率-空间协同框架能够提升沙窝萝卜表面缺陷检测的准确性、鲁棒性和效率，为根茎类蔬菜产品的自动化质量检测与智能分级提供技术支持。

论文解读文章

**研究背景与问题**

在农产品采后处理与质量分级中，外观品质直接影响商品分类与市场价格。沙窝萝卜作为天津市西青区的特色农产品，富含花青素、维生素C等营养成分，在高端消费和礼品市场中价值较高。然而，其表面缺陷检测面临多重挑战：缺陷特征复杂（包括生长结节、病斑、机械损伤和裂纹），尺度差异大（小型缺陷表现为局部高频纹理扰动，大型缺陷以低频轮廓信息为主），且密集分布的小缺陷易被漏检。传统人工检测或基于手工特征的方法效率低、主观性强、鲁棒性不足。基于深度学习的检测方法虽已广泛应用，但卷积神经网络（CNN）受限于有限感受野，难以捕获长距离依赖，且依赖非极大值抑制（NMS）后处理可能导致漏检或误检。Transformer-based方法（如DETR）虽可实现端到端检测，但存在收敛慢、小目标性能有限的问题。RT-DETR通过全局注意力与多尺度特征建模实现了精度与速度的平衡，但其ResNet骨干网络依赖固定尺度卷积，难以在统一特征空间中表征不同尺度目标的频率特性；特征融合过程中语义层级不一致及跨尺度交互不足，导致关键信息丢失。因此，亟需一种能有效建模多尺度缺陷频率特征、增强特征交互与融合的检测方法。本研究旨在提出一种基于改进RT-DETR-r18的沙窝萝卜表面缺陷检测方法，通过频率-空间协同建模框架提升检测精度与效率，为自动化质量分级提供技术支撑。论文发表在《Frontiers in Nutrition》。

**主要关键技术方法**

研究人员采用自建沙窝萝卜表面缺陷数据集（1,000张图像，来源于天津市西青区种植基地，采集于2025年3月至4月，使用大恒图像HN-3522-20M-C1-1X工业相机和LED平面光源在受控照明下采集），按6:2:2划分为训练集、验证集和测试集，并对训练集进行数据增强（翻转、缩放、颜色空间转换、噪声添加、对比度增强）至1,200张。主要技术方法包括：1）小波变换块（WT_Block），基于二维Haar小波变换对输入特征进行多尺度频率分解，联合表征高频细节与低频信息，替代原ResNet-18骨干中的BasicBlock；2）高低频注意力模块（AIFI-HiLo），通过双分支架构分别用局部窗口注意力增强高频局部细节、全局自注意力捕获低频全局语义，替代原AIFI中的多头自注意力；3）VoVGSCSP-PConv跨尺度特征融合模块（VP_CCFM），引入VoVGSCSP（结合One-Shot聚合与Cross Stage Partial）和部分卷积（PConv）替代原RepC3和标准卷积，提升跨层级特征重用与融合效率，降低计算复杂度。训练采用AdamW优化器，初始学习率0.0001，批大小8，输入尺寸640×640，训练600轮，并采用早停机制（耐心30轮）和权重衰减0.0005、丢弃率0.1防止过拟合。

**研究结果**

**3.1 数据采集**：研究人员在天津农业科学院标准化实验田采集新鲜沙窝萝卜样本，构建图像采集系统（工业相机、LED平面光源、固定样品平台），手动旋转样本从多角度拍摄，经预处理和质量筛选后保留1,000张有效图像。

**3.2 数据集构建**：根据市场标准将缺陷分为四类：生长结节、病斑、机械损伤和裂纹。使用LabelMe工具标注，按6:2:2分割，训练集增强至1,200张。统计显示各缺陷类别在数据分区中比例相对均衡，且标注框尺寸分布集中在低尺寸区域，表明小缺陷占多数，呈现多尺度分布。

**3.3 实验环境与参数设置**：实验在NVIDIA GeForce RTX 4090 GPU（24 GB显存）、Intel Xeon Platinum 8358P CPU（2.60 GHz）、120 GB内存的云计算平台进行，软件环境为Ubuntu 22.04、Python 3.10、PyTorch 2.1.2、CUDA 11.8。超参数统一设置，消融实验和对比实验均采用相同数据集划分和评估协议。

**3.4 评价指标**：采用精确率（Precision）、召回率（Recall）、平均精确率（mAP@50，IoU阈值0.5）、参数量（Parameters）、计算复杂度（GFLOPs）和推理速度（FPS）作为评价指标。

**3.5 对比实验**：与YOLOv5m、YOLOv8m、YOLOv11m、YOLOv26m、Faster R-CNN、DINO、Deformable DETR及RT-DETR-r18对比。所提模型精确率94.5%、召回率81.2%、mAP@50 85.3%，均优于所有对比模型，同时参数量18.7 M、计算量25.4 GFLOPs，较基线降低7%和12.7%，FPS为105。混淆矩阵显示所提模型对角线分布最集中，正确识别数最多，漏检和误检最少。可视化结果进一步验证了模型对裂纹、生长结节等小缺陷的检测能力更强。

**3.6 消融实验**：通过严格变量控制，在三个随机种子下评估各模块贡献。WT_Block单独提升精确率0.5、召回率0.8、mAP@50 1.1个百分点；VP_CCFM单独提升精确率0.9、召回率0.6、mAP@50 0.6个百分点，同时降低参数和计算量；AIFI-HiLo单独提升精确率1.4、召回率1.1、mAP@50 1.2个百分点。两模块组合显示协同效应，三个模块集成后达到最佳性能，mAP@50 85.3%。训练收敛曲线和类别级精确率-召回率曲线显示，各模块对不同缺陷类别贡献不同：WT_Block增强纹理和结构表征，AIFI-HiLo提升病斑和机械损伤检测，VP_CCFM在裂纹类别表现最佳。Grad-CAM可视化进一步证实模块组合在频率域特征增强、注意力引导特征选择和跨尺度特征融合中的互补作用。

**3.7 模拟扰动下的鲁棒性**：研究人员构建了六种模拟扰动测试集（光照不均、灰尘遮挡、运动模糊，各分轻、重两级）。灰尘遮挡导致最大性能下降（重遮挡下mAP@50下降约35个百分点），运动模糊次之，光照不均影响最小。所提模型在重光照不均和重运动模糊下衰减更小，保持了更高的绝对mAP@50值，表明在缺陷细节降质但未完全遮挡时具有更好的鲁棒性。

**讨论与结论**

讨论部分指出，所提频率-空间协同建模框架有效提升了沙窝萝卜表面缺陷检测的总体性能，但在裂纹类别上改进有限。裂纹呈细长连续结构，低对比度、弱纹理响应，其检测高度依赖细粒度边缘连续性和局部高频特征。全局上下文聚合可能引入平滑效应，削弱裂纹边界与背景的区分性。VP_CCFM独立变体在裂纹上取得最高AP，提示增强跨尺度特征融合有助于保留轮廓连续性。未来可引入浅层P2特征层、动态上采样算子、边缘保持约束和薄结构敏感检测头。此外，本研究采用均匀背景，可能不完全代表真实传送带分拣场景（萝卜重叠、接触边界、阴影等），需进一步在真实场景中验证。研究结论：本研究提出了基于改进RT-DETR-r18的沙窝萝卜表面缺陷检测方法，通过集成WT_Block、AIFI-HiLo和VP_CCFM，增强了多尺度特征表征、频率感知特征建模和特征融合效率，解决了密集小缺陷和复杂缺陷模式等挑战。实验结果表明，所提模型精确率94.5%、召回率81.2%、mAP@50 85.3%，较基线RT-DETR-r18分别提升2.9、2.8和1.9个百分点，参数量和计算复杂度降低7%和12.7%，同时保持实时推理速度105 FPS，实现了检测精度与计算效率的有效平衡。该频率-空间协同框架为沙窝萝卜表面缺陷检测提供了有效解决方案，为根茎类蔬菜产品的智能质量检测提供了有益参考。未来工作将聚焦于更广泛应用场景下的验证和实际农业环境中的部署适应性改进。