数据集偏移下作物-杂草视觉感知可复现可靠性基准测试

《Information Processing in Agriculture》：Reproducible reliability benchmarking for crop–weed visual perception under dataset shift

　　

研究人员针对作物-杂草视觉感知在数据集偏移与图像条件变化下的可靠性问题，提出了一套可复现的基准测试方法。该研究以CropAndWeed与PhenoBench为主要数据集，将两者异构细粒度标注保守统一为背景（background）、作物（crop）与杂草（weed）三类操作标签空间，并将CWFID与CWD30仅作为外部诊断测试集。研究覆盖杂草存在分类（classification）、作物/杂草检测（detection）与语义分割（semantic segmentation）三类任务，联合报告双向跨数据集迁移与性能留存（retention）、校准（calibration，含ECE、Brier评分）、选择性预测（selective prediction，含风险-覆盖曲线AURC、Risk@80/90）、图像条件压力鲁棒性（模糊、压缩、降分辨率、亮度/对比度偏移）、外部验证、不确定性（bootstrap置信区间与三种子稳定性）、子组行为及batch-1推理参考时延。结果表明，同数据集内模型选择不足以预测跨域迁移可靠性，跨数据集迁移呈非对称退化，高置信度错误在分类转移中尤为突出，温度缩放可改善校准但不消除语义错误，检测与分割在模糊与强压缩下显著退化，外部集CWFID/CWD30得分普遍偏低，证明标注策略与域差异共同影响泛化。该基准为部署前模型选择提供了可追溯的可靠性剖面。

研究背景方面，作物-杂草视觉感知是定点喷施、机器人除草、作物监测与农艺决策支持的感知基础，但田间光照、土壤、相机姿态、标注策略与标签粒度变化会导致分布偏移（dataset shift）。现有农业视觉研究多依赖单数据集测试集准确率，忽视跨采集条件、跨任务格式与跨图像质量退化下的可靠性，而农业场景错误代价不对称——杂草漏检致逃逸，作物误检致药害或机械伤。因此研究人员在《Information Processing in Agriculture》发表该文，旨在建立一套任务对齐、标签可审计、跨分类/检测/分割统一的预部署可靠性基准。

关键技术方法上，研究人员以CropAndWeed（8034张）与PhenoBench（2872张）为主对数据集，CWFID（60张）与CWD30（196275张图像级样本）仅作外部诊断；将各数据集细粒度标签保守映射至背景/作物/杂草统一空间并保留映射记录；分类标签由掩膜派生杂草存在性，检测框由连通域生成或沿用原标注，分割重映射为三类中值；模型族涵盖ResNet50、ConvNeXtV2-Tiny、DINOv2-S、EfficientNetV2-S、Swin-T（分类），YOLO系列与RT-DETR-L（检测），U-Net、DeepLabV3+、SegFormer-B0、UPerNet-Swin-T、Mask2Former-Swin-T（分割），统一300 epoch训练与按任务指标选优；可靠性协议包括双向迁移与留存率、ECE/Brier/AURC选择性预测、固定严重度及多严重度图像腐蚀压力测试、bootstrap与三种子（seed 0/1/2）稳定性、batch-1 GPU/CPU时延参考。

研究结果部分，3.1节评估矩阵显示模型强度随任务与迁移方向改变，源域排名与迁移排名常不一致。3.2节跨数据集迁移揭示非对称可靠性：CropAndWeed→PhenoBench下YOLO11m检测mAP50–95为0.454（留存0.611），Mask2Former-Swin-T分割mIoU 0.609但杂草IoU仅0.060；PhenoBench→CropAndWeed下Swin-T分类平衡准确率0.504（留存1.004）；三种子审计显示DINOv2-S分类迁移平衡准确率0.626±0.121、排名浮动1–5。3.3节分类校准与选择性预测中，Swin-T在C&W→PB转移下ECE达0.6487、高置信错误333次，DINOv2-S线性探针转移ECE 0.0374、高置信错误1次；事后温度缩放使12行平均ECE降0.035、Brier降0.061但AURC不变、高置信错误残留。3.4节压力鲁棒性表明高斯模糊半径7使YOLO11m域内mAP50–95从0.669降至0.298，RT-DETR-L从0.591降至0.324；分割中Mask2Former-Swin-T在亮度降低时mIoU从0.540降至0.411。3.5节模型选择建议按场景区分：分类筛选用ConvNeXtV2-T（域内）或DINOv2-S（迁移点估计），检测用YOLO11m，分割用Mask2Former-Swin-T但须单独看杂草IoU。3.6节外部验证CWFID检测mAP50–95中位数0.096（C&W训练）与0.001（PB训练），CWD30分类平衡准确率中位数0.328（C&W训练）与0.498（PB训练），证明外部域难度来自视觉偏移与标注策略共同作用。3.7节推理参考显示ResNet50分类约3.7 ms、DINOv2-S约9.7 ms、YOLO11m检测约32.7 ms、Mask2Former-Swin-T分割约59 ms，速度-可靠性非单调权衡。3.8节子组分析显示RT-DETR-L小目标mAP50–95为0.200对比大目标0.495，SegFormer-B0低杂草像素组IoU 0.034对比高覆盖组0.670，小杂草与稀疏杂草是主要失效模式。

讨论与结论翻译部分，研究人员指出同数据集模型选择不足以保证跨域迁移可靠性；保守标签统一与映射记录是可审计跨数据集比较的前提；校准改善不等于语义正确性恢复；检测与分割对模糊与压缩敏感直接影响喷施面积与机器人定位；外部集低位分数反映标注策略与域差距而非单一模型缺陷；batch-1时延参考揭示速度维度与迁移可靠性须联合决策。该基准的价值在于把迁移、校准、选择性风险、压力鲁棒、外部诊断与推理参考并入同一可追溯协议，服务于农业视觉模型部署前的可靠性画像而非单点准确率排行。