面向瓶子检测YOLO检测器无泄漏基准测试的序列感知数据集审计

《Technologies》：Sequence-Aware Dataset Auditing for Leakage-Free Benchmarking of YOLO Detectors for Bottle Detection

　　

摘要

本文提出了一种可复现的基于YOLO的流水线，用于在沙地环境中检测瓶子，强调数据集完整性、无泄漏评估以及面向部署的模型选择。审计了一个包含1585张图像和3167个已标注瓶子的单类别数据集，以识别标注格式缺陷以及训练集和验证集分区之间的近似重复污染。通过感知图像相似性重建序列成员关系，并将其用于将完整的图像组件分配到序列感知的训练/验证分割中，消除了初始随机分区中发现的近似重复对。在保持模型、种子和修正标签不变的情况下进行的受控消融实验表明，随机分割报告的mAP@0.5:0.95比序列感知分割高出0.040（0.787对0.747），直接量化了泄漏风险，而不仅仅是断言其存在。随后，五种YOLO配置在每种配置三个独立种子的条件下进行了基准测试；观察到的模型间mAP@0.5:0.95差异（0.004–0.008）在绝对幅度上较小，且鉴于每个模型仅有三个种子，这些差异按描述性方式解释，而非作为统计等价或显著性的证据，因此通过准确率一致性、紧凑性和可导出性的联合准则选择了yolo11n_bottle（精确率0.982，召回率0.985，mAP@0.5为0.992，mAP@0.5:0.95为0.748），其参数量约为最大配置的十分之一，并生成了5.2 MB的检查点。ONNX导出密切保留了检测几何（100%计数一致性，平均匹配IoU ），但未满足严格的指标一致性容差。从实际操作RealSense BAG视频中对108帧进行了分层抽样，由独立审核人员进行手动标注并进行了定量评估：mAP@0.5与内部验证结果保持接近（0.927对0.992），而mAP@0.5:0.95则大幅下降（0.483对0.747），揭示了策划的基准与实际操作条件之间的定位差距，本文对此进行了透明报告。这些结果共同表明，数据集审计、序列感知分区、多种子基准测试和手动标注的操作证据对于解释从连续视频采集构建的检测基准而言都是必要的，为资源受限的环境应用中选择和评估紧凑型视觉感知模型提供了一个可追溯、可复现的工作流程。