零样本开放词汇与微调目标检测器在地下矿井人员检测中的基准评测

《Sensors》：Benchmarking Zero-Shot Open-Vocabulary and Fine-Tuned Object Detectors for Underground Mine Personnel Detection

　　

可靠的人员检测对于在地下采矿中安全部署自主运输系统（Autonomous Haulage Systems, AHS）至关重要，其挑战性环境条件要求具备鲁棒的实时感知能力。现有研究主要关注微调卷积检测器，而与零样本视觉-语言模型（Vision-Language Models, VLMs）的系统化对比仍然有限。研究人员提出一个跨范式基准，使用31,396张真实地下煤矿图像，比较四种零样本视觉-语言模型（YOLO-World、Grounding DINO、OWL-ViT、OWLv2）与四种微调YOLO检测器（YOLOv8s、YOLOv9s、YOLO11s、YOLO26s）。检测性能通过精确率（precision）、召回率（recall）、F1分数（F1-score）、平均精度（Average Precision, AP）、推理速度及条件与目标尺度特异性召回率评估。实验结果显示，微调检测器F1分数为0.8449–0.8662，AP50为0.8791–0.9135，其中YOLO26s整体最优；零样本模型F1分数为0.3186–0.5484，AP50为0.2484–0.5108，Grounding DINO表现最佳。微调检测器在遮挡人员与小表观目标上保持更高召回率。结果表明领域特定微调相较所评估零样本方法具有显著性能优势，并为地下人员感知的范式比较建立了受控跨范式基准。

研究背景与动机

地下采矿环境中自主运输系统（Autonomous Haulage Systems, AHS）的推广受限于低照度、非均匀光照、粉尘、运动模糊、设备遮挡与水雾等恶劣视觉条件，导致自然图像预训练模型存在显著域偏移（domain shift）。已有文献多聚焦微调卷积神经网络（Convolutional Neural Network, CNN）检测器（尤其是YOLO系列）或单独评估零样本视觉-语言模型（Vision-Language Models, VLMs），缺乏在同一实验框架下对两类范式在地下矿井人员检测任务上的系统化横向基准。研究人员据此开展跨范式基准评测，以量化微调YOLO检测器与零样本VLMs在精度、定位质量、计算性能、条件特异性与目标尺度敏感性上的差异，论文发表于《Sensors》。

主要技术方法

研究人员采用公开地下煤矿图像数据集（原始70,948张1280×720 RGB图像，筛得31,396张含coal_miner标注图像），按来源序列与出处分组划分训练/验证/测试集（约80:10:10，测试集3139图含3408实例）以防信息泄露。微调组选用YOLOv8s、YOLOv9s、YOLO11s、YOLO26s，在NVIDIA A100 80GB MIG（3g.40gb）上以640×640输入、batch 32训至200 epoch（早停50）。零样本组选用YOLO-World、Grounding DINO、OWL-ViT、OWLv2，仅用验证集选置信阈值（YOLO-World 0.10、Grounding DINO 0.34、OWL-ViT 0.17、OWLv2 0.31）后冻结，以“person/worker/miner/coal miner”提示合并为单类。统一以IoU 0.50匹配，报告precision、recall、F₁、AP₅₀、AP_50–95及GPU可控吞吐；目标尺度按测试集真值框面积三分位分小/中/大。

研究结果

4.1 微调YOLO模型结果

四模型precision 0.8368–0.8662、recall 0.8533–0.8791、F₁ 0.8449–0.8662、AP₅₀ 0.8791–0.9135、AP_50–95 0.4203–0.4563，单图推理1.30–1.80 ms。YOLO26s获最高precision（0.8662）、F₁（0.8662）、AP₅₀（0.9135）、AP_50–95（0.4563）；YOLOv8s recall最高（0.8791）。结论：领域微调后四代YOLO小模型均强，YOLO26s综合最优。

4.2 零样本视觉-语言模型结果

零样本组precision 0.3355–0.6024、recall 0.3034–0.5032、F₁ 0.3186–0.5484、AP₅₀ 0.2484–0.5108、AP_50–95 0.0867–0.1830。Grounding DINO各项最高（F₁ 0.5484，AP₅₀ 0.5108），OWLv2次之，OWL-ViT最弱。吞吐YOLO-World 81.05 FPS（12.34 ms）、OWL-ViT 35.81 FPS、OWLv2 6.01 FPS、Grounding DINO仅2.35 FPS（425.32 ms）。结论：零样本中Grounding DINO精度最优但极慢，YOLO-World最快但精度低，整体远低于微调组。

4.3 比较基准分析

微调组F₁超零样本组约0.3以上，AP₅₀领先约0.37–0.66，AP_50–95领先约0.24–0.37；YOLO26s AP₅₀ 0.9135为全场最高，Grounding DINO 0.5108仍低于最弱微调模型0.8791。吞吐上微调组555.56–769.23 FPS，零样本组2.35–81.05 FPS。结论：跨范式分离显著，微调在精度与速度双维占优（速度因推理管线不同仅作同硬件参考）。

4.4 条件特异与目标尺度性能

按亮度（高/中/低）、模糊、遮挡分层：YOLO26s在高中亮、模糊、遮挡、非遮挡recall最高（遮挡0.920），YOLOv8s低亮最高0.945；零样本Grounding DINO在六类占优但遮挡recall仅0.386，差53.4百分点。目标尺度三分位：小目标微调recall 0.816–0.864，零样本0.172–0.386（YOLO26s 0.864 vs Grounding DINO 0.386，差47.8百分点）；中、大目标同理分离。结论：遮挡与小表观目标是零样本短板，微调域适应优势在困难子群放大。

讨论与结论翻译

讨论指出，微调YOLO在地下人员检测全面优于零样本VLMs，F₁、AP₅₀、AP_50–95一致分离；遮挡与小目标召回差距最大，说明自然图像-文本预训练视觉-语义表征未能迁移至井下域偏移。YOLO26s最优，Grounding DINO为零样本最强但2.35 FPS难满足实时AHS感知；零样本灵活性与免标注优势未转化为井下精度。对自主运输意义在于：人员检测为上游模块，漏检直接切断下游避碰链路，故recall与误负例比单纯精度更关键，且需将精度-鲁棒性-效率联合考量。局限含单煤矿域、单类、RGB仅、提示词敏感；未来扩至多矿多类、RGB–LiDAR同步、车载平台与提示分析。

结论部分翻译：本研究在统一框架下比较四种微调YOLO与四种零样本VLMs，证实微调在检测精度与定位质量上持续占优，且同硬件下吞吐更高；YOLO26s为最强微调模型，Grounding DINO为零样本最强。领域特定微调在当前井下人员检测任务中显著优于直接零样本推断。条件与目标尺度分析进一步表明微调在亮度、模糊、遮挡及各表观尺度上召回更高，遮挡与小目标分离最甚。该基准为地下人员感知范式比较提供量化基线，并彰显常规指标结合条件、尺度与计算评估的价值；未来工作将扩展多矿多类、提示敏感性、RGB–LiDAR与车载平台评测。