CQ-RT-DETR:基于查询竞争校准的轻量化棉田杂草检测

《Agronomy》:CQ-RT-DETR: Lightweight Cotton-Field Weed Detection with Query Competition Calibration

【字体: 大 中 小 】 时间:2026年09月10日 来源:Agronomy 4.1

编辑推荐:

  为解决棉田机器人与变量喷雾场景中的存储、计算和延迟约束,研究人员提出CQ-RT-DETR,采用结构压缩与训练时查询校准的两阶段设计。首先,将RT-DETRv2的隐藏维度从256降至192,并将目标查询(object queries)数量从300降至100,形成

  
为解决棉田机器人与变量喷雾场景中的存储、计算和延迟约束,研究人员提出CQ-RT-DETR,采用结构压缩与训练时查询校准的两阶段设计。首先,将RT-DETRv2的隐藏维度从256降至192,并将目标查询(object queries)数量从300降至100,形成轻量化基线B_Lite。随后,尺度可靠性引导的轨迹一致竞争边界(Scale-Reliability-Guided Trajectory-Consistent Competition Margin, SR-TCCM)机制利用跨层IoU轨迹筛选持续竞争查询,并基于目标尺度和胜出查询定位优势施加预算约束的自适应边界。在测试集五个随机种子下,RT-DETRv2、B_Lite与CQ-RT-DETR的AP50–95均值分别为0.8867、0.8691与0.8892。CQ-RT-DETR相较B_Lite提升AP50–95达2.01个百分点,精度与原始RT-DETRv2相当,参数量与GFLOPs分别降低16.93%与23.38%。在RK3576平台FP16 RKNN模型级前向测试中,平均延迟较RT-DETRv2降低54.57%,FPS由6.69升至14.7。结果表明,CQ-RT-DETR在不增加推理图复杂度的前提下恢复了压缩导致的精度损失,并提供了良好的精度–效率权衡。
论文《CQ-RT-DETR: Lightweight Cotton-Field Weed Detection with Query Competition Calibration》发表于《Agronomy》。棉花是重要的纤维与油料作物,杂草通过与棉株竞争光、水、养分和生长空间,降低产量并增加人工与化学除草成本。变量喷雾、机械除草和田间机器人要求杂草识别不仅给出类别,还要给出空间位置,因此多类别棉田杂草检测成为精准管理的关键感知能力。已有方法从颜色指数、纹理、叶形等手工特征,发展到卷积神经网络分类、全卷积语义分割,再到目标检测。YOLO系列轻量化研究虽多,但常在推理图中保留新引入的卷积、注意力或融合模块,使结构压缩与精度补偿耦合。检测Transformer(DETR)以集合预测和二分匹配实现端到端检测,RT-DETR与RT-DETRv2已具备实时潜力。近景棉田图像中真实目标少,而标准检测器保留过多查询;压缩查询预算后,多个查询会围绕同一目标竞争,若约束不足会扰乱置信度排序,若一律强抑制又会丢掉仍有定位价值的候选。Stable-DINO、Align-DETR、Rank-DETR分别关注跨层匹配稳定性、分类—定位对齐和预测排序,但未针对压缩后同一真值目标上的持续竞争进行分析。因此,研究人员以RT-DETRv2为基线,开展“先压缩推理架构、再于训练时补偿精度”的解耦研究。
作者为开展研究用到的主要关键技术方法包括:使用公开CottonWeedDet12数据集,含5648张RGB图像、12类棉田杂草、9388个边界框;训练4517张、验证565张、测试566张,输入尺寸384×384;对少数类采用重复采样使每轮处理图像由4517增至5004;以PResNet18vd为骨干的RT-DETRv2作基线;构建B_Lite时将隐藏维度由256降至192、目标查询由300降至100;提出SR-TCCM,在训练时利用跨解码层IoU轨迹挖掘持续竞争查询,按目标尺度可靠性与胜出查询定位优势计算权重与自适应边界,并以不超过Varifocal Loss(VFL)3%的预算约束排名损失;部署时导出ONNX并转为FP16 RKNN,在RK3576开发板做模型级前向延迟与FPS测试。
研究结果如下。
多类别棉田杂草检测任务与数据集划分:研究人员在CottonWeedDet12上固定数据划分与384×384输入,通过类别不平衡重采样增加每轮样本数但不生成新图与新标注,为后续结构比较、消融与查询行为分析建立可复现实验基础。
RT-DETRv2架构概览:研究人员说明RT-DETRv2由PResNet18vd骨干、高效混合编码器(含注意力式层内交互AIFI与CNN式跨尺度融合CCFF)、查询选择和多层Transformer解码器组成;编码器选出的初始内容查询进入解码器,训练用一对一匈牙利匹配,推理直接输出类别与边界框。
B_Lite:结构压缩:研究人员将隐藏维度统一由256降至192、目标查询由300降至100,解码层保持3层;参数量由20.097 M降至16.694 M,GFLOPs由22.947降至17.581,形成不引入新推理模块的轻量基线。
SR-TCCM:尺度可靠性引导的轨迹一致竞争边界校准:研究人员分四阶段实现训练时校准。持久竞争查询挖掘阶段,以末层匈牙利匹配胜出查询为锚,按同类别、最高末层IoU、重叠充足、分类响应足够、定位不优于胜出者等条件建候选池。跨层轨迹稳定与持久竞争查询选择阶段,用各解码层IoU轨迹的方差与均值计算轨迹稳定度与持久分数,每目标保留最多若干持久竞争查询。尺度可靠性与胜出者定位优势阶段,按真值框归一化面积给小目标保留最低监督权重,用sigmoid处理胜出者与竞争者末层IoU差作为门控。预算自适应边界排名损失阶段,以温度平滑加权边界损失拉开胜出查询与持久竞争查询的日志得分,并设置激活轮次、线性升温、排名损失系数及不超过VFL 3%的预算上限;SR-TCCM分支推理时完全移除,故CQ-RT-DETR与B_Lite推理图一致。
训练配置与评价指标:研究人员对RT-DETR系列采用相同划分、输入、80轮训练、批次、重采样序列、优化器与增强;跨框架比较中YOLO与D-FINE沿用各自官方策略;结构比较与消融用随机种子42在验证集进行,最终鲁棒性用42、3407、5903、45、46五个种子在测试集评估;指标采用COCO协议的AP50–95。
RKNN部署与测试:研究人员将三款RT-DETR系列模型转FP16 RKNN,在RK3576双NPU核、批次1、384×384、50次预热后测300次前向;计时只含模型前向,不含预处理、后处理与通信,精度仍用PyTorch FP32权重在566张测试集计算。
结构压缩结果与尺度效应:研究人员发现B_Lite较RT-DETRv2参数量降16.93%、GFLOPs降23.38%,AP50–95由0.8799降至0.8684;小目标AP由0.267降至0.161,相对降39.70%,中、大目标下降较小;小目标AR反由0.573升至0.644,说明压缩后小目标覆盖尚存但定位质量或置信排序不稳。
SR-TCCM的精度恢复:研究人员在B_Lite上加SR-TCCM后,参数量与GFLOPs不变,AP50–95由0.8684升至0.8842,较RT-DETRv2高0.43个百分点;小、中、大目标AP分别由0.161、0.599、0.920升至0.282、0.647、0.930,小目标AR由0.644降至0.589但仍高于原始模型0.573。
消融实验:研究人员做2×2结构消融,发现隐藏维度压缩是复杂度下降与初始精度损失主因,查询预算压缩影响较小;SR-TCCM组件中,去掉轨迹筛选、尺度可靠性、胜出者优势分别使AP50–95降0.0070、0.0052、0.0043,固定边界或去损失预算也带来下降,证明各子项有预期作用。
查询竞争行为分析:研究人员以末层匹配胜出者为锚统计发现,RT-DETRv2到B_Lite后竞争发生率由73.98%升至89.35%,初始与持久竞争查询数上升;CQ-RT-DETR较B_Lite把竞争发生率降至81.51%,持久竞争查询数降至1.460,胜出—竞争日志得分差由5.585升至5.933,说明SR-TCCM关联于更少冗余竞争查询与更强类别得分分离。
关键参数敏感性分析:研究人员对轨迹筛选强度、竞争查询数、损失预算等八组设置测试,六组低于默认,少数略高但差距小,表明SR-TCCM不依赖精细搜参,但参数须处合理区间。
与其他检测器比较:研究人员在相同数据划分下比较YOLOv8n/m、YOLO11n/m、YOLO26n/m与D-FINE-M;CQ-RT-DETR的AP50为0.9392,AP75为0.9127,AP50–95为0.8842,低于YOLOv8m最高值但参数量与GFLOPs明显更低,相对原始RT-DETRv2在更少资源下精度相当,提供有利精度—复杂度权衡。
鲁棒性分析:研究人员在五种子下得到RT-DETRv2、B_Lite、CQ-RT-DETR的AP50–95均值为0.8867、0.8691、0.8892;CQ-RT-DETR较B_Lite稳定提升约2.01个百分点,与RT-DETRv2差异不显著;类别层面CQ-RT-DETR较B_Lite在7类AP50–95与9类AR100上改善,Carpetweed与Ragweed提升明显,较RT-DETRv2各类AP相近且12类AR100均提升。
RKNN部署性能:研究人员测得CQ-RT-DETR平均前向延迟67.89 ms,较RT-DETRv2的149.44 ms降54.57%,FPS由6.69升至14.7;CQ-RT-DETR与B_Lite速度几乎一致,证实SR-TCCM无推理开销。
讨论部分总结:研究人员指出,结构压缩后精度下降不能归为单因;隐藏维度压缩主导精度损失,查询预算压缩影响较小,而竞争发生率与竞争查询数上升也与特征表达能力下降、类别不平衡和标注噪声有关。SR-TCCM通过训练时校准使B_Lite的AP50–95由0.8691升至0.8892、小目标AP由0.1625升至0.2733,并与更低竞争发生率、更少持久竞争查询和更大日志得分差相关联,但尚不能证明查询竞争是唯一机制。研究局限包括仅用CottonWeedDet12、RK3576前向测试不含采集预处理后处理通信与执行器响应、SR-TCCM依赖匈牙利匹配胜出者且早期匹配不稳时强监督可能有害,因而用延迟激活与损失预算约束。未来需在外部数据集、更强压缩与更多硬件上验证。
结论部分翻译:本研究提出面向自然棉田多类别杂草检测的CQ-RT-DETR。第一阶段将RT-DETRv2隐藏维度由256降至192、目标查询由300降至100,参数量由20.097 M降至16.694 M,GFLOPs由22.947降至17.581;五种子下结构压缩使AP50–95由0.8867降至0.8691,小目标AP由0.2709降至0.1625。第二阶段利用跨层IoU轨迹、真值框尺度和胜出查询定位优势,对同目标持久竞争查询施加预算约束的自适应边界排名监督;五种子下CQ-RT-DETR的AP50–95达0.8892,较B_Lite提升2.01个百分点,较RT-DETRv2参数量降16.93%、GFLOPs降23.38%且精度差异不显著;RK3576平台FP16模型级平均前向延迟由149.44 ms降至67.89 ms,FPS由6.69升至14.7。CQ-RT-DETR的主要优势是在不增加推理图复杂度的情况下恢复压缩导致的精度损失,并在本研究数据与硬件条件下提供有利的精度—效率权衡。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号