《Sensors》：Vehicle-Mounted Vision Sensing for Large-Scale Road Surface Monitoring: A Multi-Year Field Study of Acquisition Geometry and a Heterogeneous Detection–Classification Pipeline for Pothole Mapping
编辑推荐：
车载视觉传感（Vehicle-mounted vision sensing）通过巡逻车辆上的摄像头获取道路网络的地面图像，为大规模路面监测和坑洞检测提供了一种低成本、可扩展的方法。然而，其实际有效性不仅取决于在精心策划的图像上的检测器精度，还取决于两个很少被报
车载视觉传感（Vehicle-mounted vision sensing）通过巡逻车辆上的摄像头获取道路网络的地面图像，为大规模路面监测和坑洞检测提供了一种低成本、可扩展的方法。然而，其实际有效性不仅取决于在精心策划的图像上的检测器精度，还取决于两个很少被报道的因素：现场采集条件和管道架构。研究人员对一种基于车辆的坑洞监测系统进行了多年现场研究。首先，受控的现场比较显示了采集几何和设备热行为如何影响检测产出：在三种车辆类型中，主动冷却的挡风玻璃支架实现了41.7–58.3%的产出，而基于后视镜的基线支架仅为0–4.2%。其次，研究人员识别了同质两级检测器级联中的共享偏差限制，其中第二个YOLO检测器（You Only Look Once）复制而非消除第一阶段的误报。第三，研究人员将管道重新设计为一种异质检测-分类级联：边缘部署的YOLOv12-large检测器提出候选区域，服务器端的EfficientNet-B2分类器验证每个区域。在现场数据上，这将检测平均精度（mAP）从32.7%提高到69.5%，并将误报率从99.96%降低到32.26%，减少了约70%的人工检查工作量。与以往主要优化检测器架构的工作不同，本研究表明，在实际部署中，采集几何和异质验证主导了真实世界的感知性能。
以下是对论文《Sensors》发表的“Vehicle-Mounted Vision Sensing for Large-Scale Road Surface Monitoring: A Multi-Year Field Study of Acquisition Geometry and a Heterogeneous Detection–Classification Pipeline for Pothole Mapping”的解读文章。
**研究背景、存在问题与开展原因**
道路坑洞威胁行车安全与车辆完整性，一旦缺陷扩展，修复成本急剧上升。在大范围路网上监测路面状况成为大规模视觉传感问题，车载摄像头作为低成本、高频次的地面级模态，补充了航空与卫星观测对精细表面缺陷的覆盖。基于深度学习的检测方法在精心策划的数据集上表现优异，但实际部署中，监控系统受两个基准测试未暴露的因素制约：现场部署条件（摄像机视角、设备热行为、车辆平台、数据传输可靠性）以及检测栈架构（需部分运行于边缘设备、部分运行于服务器）。现有研究多聚焦于检测器架构优化，而现场采集条件与管道架构对真实世界性能的影响报告极少。因此，研究人员开展多年现场研究，旨在量化这些因素并设计可部署的系统。
**主要关键技术方法**
研究人员采用三项主要技术方法：第一，受控现场比较实验，在韩国坡州Dayul-dong固定2公里往返路线，使用三辆不同车辆（卡车、厢式货车、轿车），同时安装基线支架（后视镜位置）与改进支架（副驾挡风玻璃位置，带四风扇强制冷却），对比系统级检测产出；第二，同质级联诊断，通过部署的YOLO检测器级联识别共享偏差限制；第三，异质检测-分类级联设计，将边缘检测器升级为YOLOv12-large（You Only Look Once版本12-large），服务器验证器替换为EfficientNet-B2分类器，并采用Redis队列异步解耦、预聚合统计批处理、TensorFlow Lite边缘运行时迁移等工程实现。样本队列来源：实验2现场数据采集自韩国京畿道坡州Dayul-dong，地面真值包括8个未修复坑洞与22个修复坑洞，共24次和66次坑洞遭遇。
**研究结果**
**5.1. Experiment 1: Comparison of Early Single-Stage Devices (2022)**
通过对比两个早期单级设备（运动相机+笔记本电脑系统与紧凑型物联网设备）与视觉地面真值，发现单级设备误报率极高（78%）或验证产出接近零，直接推动采用两级验证设计。
**5.2. Experiment 2: Vehicle-Type × Mount Controlled Yield (2024)**
在相同车辆上同时安装基线支架与改进支架，测量系统级检测产出（非接收视为遗漏）。对于未修复坑洞，改进支架产出41.7–58.3%，基线支架仅0–4.2%；修复坑洞分别为19.7–30.3%与0–7.6%。改进支架的挡风玻璃位置与主动冷却显著提升产出，表明安装位置与热管理对系统级性能的影响大于检测器增量改进。
**5.3. Failure Analysis**
识别两种主要失效模式：小坑洞低于检测器尺寸阈值而遗漏，以及外观相似对象（如人孔盖、阴影）被误检。这促使研究人员采用距离感知尺寸学习与三值检查标签（存在/缺失/修复），并保留坑洞似对象用于单独跟踪。
**5.4. Proposed Heterogeneous Pipeline: Field Performance (2025)**
将第一阶段检测器从YOLOv7-tiny升级为YOLOv12-large，在276图像测试集上提升检测性能；将第二阶段验证器从YOLOv7检测器替换为EfficientNet-B2分类器，第二级误报率从99.96%降至32.26%，分类器精度73.6%、召回74.3%、F1-score 73.9%。人工检查工作量减少约70%。
**5.5. Two-Stage Detection Metrics of the Deployed Cascade (Background)**
作为背景，先前部署的同质级联中，第一级与第二级检测mAP（平均精度）均在0.57–0.60附近，原始检测计数从186降至122，表明逐步误报抑制，但误报仍是主要问题。
**5.6. Controlled Held-Out End-to-End Evaluation of the Cascade**
在2550帧未见测试集上，添加异质验证器将误报减少27.3%（2745降至1996），精度从0.709升至0.755，同时保留91.7%检测召回（0.663降至0.608）。验证器作为精度导向过滤器，以少量召回换取大幅误报降低。
**总结讨论与结论**
讨论部分指出：现场部署中，摄像机安装角度与热管理对系统产出的影响超过检测器增量改进；异质验证（分类器）而非大容量检测器有效消除误报，任务多样性比模型容量更重要；两阶段级联解决了单级设备的极端误报问题；失效模式分析直接指导管道机制设计；Redis队列、预聚合批处理、TensorFlow Lite迁移等工程优化使国家尺度部署成为可能。结论部分翻译如下：这项多年现场研究表明，摄像机安装几何与热管理强烈影响车载坑洞监测系统的操作产出。早期单级系统表现出过高误报或接近零验证产出，促使采用两级验证管道。同质检测器-检测器级联的共享偏差限制通过异质检测-分类架构（YOLOv12-large结合EfficientNet-B2）得到解决。在各自评估数据集上，该重新设计将第一阶段检测mAP从32.7%提升至69.5%，将第二级误报率从99.96%降低至32.26%，并减少约70%的人工检查工作量。基于Redis的异步处理、预聚合报告及TensorFlow Lite迁移进一步支持了国家尺度部署。未来工作应进行统计功效充分的多路线试验，区分模型未检测与数据未接收，并在共同保留数据集上评估两阶段。
