基于检测器引导的、具备伪深度感知功能的可提示分割技术，用于桥梁超限车辆监测中的不规则货运车辆识别

《Structures》：Detector-guided, pseudo-depth-aware promptable segmentation for irregular freight vehicles in bridge oversized-vehicle monitoring

　　摘要：不规则货运车辆，尤其是那些载有超大型或突出货物的车辆，会因与桥梁存在间隙冲突及对桥梁结构造成冲击而带来日益严重的风险。利用现有的道路摄像头进行基于视觉的监控具有较好的扩展性，但由于货物形状多样、标注较少，且难以用文本提示完全描述，因此要对这类不规则车辆及其货物进行精准分割仍然十分困难。本研究提出了一种基于检测器引导、具备伪深度感知能力的可提示分割框架，用于处理不规则货运车辆。该方法无需训练或微调即可实现零样本运行，整合了基于RF-DETR的车辆定位技术、基于Depth Anything V2的伪深度推理、深度边缘边界构建、提示词重新分配以及RGB-深度双分支SAM3融合算法。在未经训练或微调的情况下，该框架在570张不规则货运卡车图像上的测试中，实现了559次有效定位，IoU值为0.931±0.032，Dice值为0.963±0.026。后续的现场模拟测试表明，更完整的掩码有助于构建更精确的3D立方体模型，对于后部突出的货物，长度测量精度可达92.01%，而对于对角线突出的货物，高度和宽度测量精度分别可达96.20%和93.63%。研究结果表明，所提出的框架可作为单目尺寸估算及针对桥梁的超大型车辆预警的可靠分割前置方案，同时也可为其他垂直领域应用提供可迁移的解决方案。

引言：桥梁是交通基础设施中极为重要的组成部分，而随着货运量的持续增长，其安全面临着越来越大的挑战。截至2024年底，中国的高速公路网络中共有约110.81万座桥梁[1]，2025年的货运总量则达到了597亿吨[1]。其他主要经济体的情况也类似：2024年欧盟的公路货运量约为18690亿吨公里[2]，而美国2024年的货运总量则约为202亿吨[3]。在降低运输成本和提高配送效率的经济压力下，一些运输企业会尽可能提高每次运输的载货量，这就使得超出规定高度、宽度或长度限制的超大型车辆出现频率增加。此外，大型工业设备、预制构件、风电设施以及其他重型工程产品的运输往往不可避免地涉及超大尺寸的货物。对于桥梁而言，这类车辆不仅会带来与负载相关的风险，还会因突出的或非标准形状的货物与桥梁的主梁、缆绳、吊杆、桥孔等其他结构部件发生碰撞，从而构成几何间隙方面的威胁[4][5]。现实中的事故充分体现了这一威胁的严重性。图1展示了四起典型的桥梁撞击及与超大型货运车辆相关的碰撞事件。其中，图1(a)显示的是2024年5月11日发生在南京的一起事故——一辆不规则货运卡车刮到了嘉江桥附近向内倾斜的主缆和吊杆，导致货物掉落，造成了局部桥体结构的损坏[6]。图1(b)展示的是英国发生的另一起桥梁撞击事件，Network Rail在2024/25财年记录到了1666起桥梁撞击事故[7]。同样，如图1(c)所示，2013年美国I-5斯卡吉特河大桥的坍塌也是由一辆超大型卡车引发的[8]。2019年5月，中国浙江省也发生过一起因超高卡车撞击而导致人行桥坍塌的事件（见图1(d)）[9]。北京的统计数据显示，超高车辆撞击事故约占所有与桥梁相关事故的20%[10]。这些案例表明，超大型货运卡车不仅仅是交通管理方面的问题，更是对在役桥梁基础设施的安全性和使用性能构成的持续威胁。为降低此类风险，基于视觉的主动监控方法越来越受到重视，因为它可以利用已部署的道路摄像头，因而非常适合大规模道路网络的监控需求。Dubská等人[11]通过提出全自动的交通摄像头校准方法，为车辆尺寸测量和交通状况分析奠定了重要基础。Sochor等人[12]和Zhu等人[13]的后续研究进一步表明，可以从交通监控图像中构建出3D边界框以及实现单目3D车辆识别。最新的研究[14][15][16]则在测量精度和实时处理效率方面相较于非基于视觉的方法有了进一步提升，从而使基于视觉的监控成为一种无需接触、成本低廉的路边几何参数评估实用方案。在那些用于估算卡车3D尺寸的基于几何信息的框架中[11][12][14][15][16]，实例分割是一个极为关键的部分，因为经过分割得到的前景区域是为轮廓提取、轮廓推理以及后续的3D立方体构建提供几何基础的。因此，诸如Mask R-CNN[17]以及基于YOLO的分割模型[18]这类监督式端到端实例分割模型被广泛应用于这些研究中，旨在实现对常见、标准型卡车实例的精准识别。在更广泛的土木工程和基础设施研究领域，监督式分割也被频繁使用，典型应用包括施工场景理解[19][20]、路面与裂缝识别[21][22]、结构损伤识别[23]以及缺陷检测任务[24][25]。然而，这类模型严重依赖于一个假设，即训练数据能够充分覆盖目标对象的分布情况。但对于不规则货运车辆而言，这一假设就不太成立。与公共数据集中的标准物体不同，现实中的运输车辆有时会遇到因非法装载或临时装载而导致的形状拉长、突出或不对称的“卡车-货物”组合体，如图2所示。这些例子表明，不规则货运车辆的边界往往不仅仅由卡车本体决定，还受到临时或非标准货物配置的影响。在这种情形下，面临的主要挑战就从简单的语义分类转变为准确还原实际的外轮廓。在这一阶段，任何分割掩码的误差都会直接影响到最终的几何参数推断，这使得货运车辆的尺寸测量比普通卡车的分割任务要复杂得多。视觉基础模型以及开放词汇表感知技术的出现为突破监督学习的局限性提供了可能。通过利用可迁移的先验知识以及基于提示词的推理机制，这类零样本方法无需针对特定任务准备专门的标注数据，即可泛化到从未见过的对象上。其中具有代表性的成果包括：Segment Anything模型（SAM）[26][27][28]提出了基于提示词的可分割框架，只需输入点或矩形等简单提示即可生成掩码；CLIP[29]建立了可用于开放词汇表识别的可迁移图像-文本表示方法；Grounding DINO[30]则进一步将文本引导的定位功能拓展到了开放集对象检测领域。在这些基础之上，有一些研究直接将SAM作为下游任务的核心分割模块，例如Ye等人[31]开发了一种自提示式SAM框架，能够自动定位并识别结构缺陷。还有些研究将类似CLIP的视觉-语言推理机制与SAM相结合，利用语言语义信息进行初步定位或提示词转换，再由SAM负责细化掩码。比如Song等人[32]利用CLIP为SAM提供语义引导，用于桥梁点云分割和逆向建模；Li等人[33]在ClipSAM中将CLIP生成的提示词转换为用于SAM细化的提示。最新的研究则倾向于采用检测器引导的分割流程，即先由基于文本的检测器定位目标，再由SAM将其细化为精确的掩码。Lee等人[34]将Grounding DINO与SAM结合，用于桥梁伸缩缝的检查；Jeoung等人[35]则使用Florence-2+SAM2来实现建筑设备的监控。同样，Ho等人[36]在最低桥面高度估算任务中发现，采用检测器引导的提示策略，尤其是将Grounding DINO生成的边界框输入SAM，其效果优于较为简单的视觉-语言提示策略。尽管取得了这些进展，但在货运车辆监控领域仍存在一个关键缺口。完全基于文本驱动的零样本方法通常假定目标对象是可描述或可枚举的，而货运货物往往具有极高的多样性且形式多变。此外，虽然SAM和Grounding DINO这类模型在处理常见物体时表现良好，但面对那些轮廓不规则、有突出部分且具有特定任务特征的复合型车辆-货物组合体时，仍可能无法有效应对。另一个重要的因素是深度信息，无论是直接通过RGB-D传感器获取，还是从单目图像中推断出伪深度，都在提升工程视觉领域的分割精度和几何感知能力方面发挥了重要作用。Czerniawski和Leite[37]、Mondal等人[38]研究了RGB-D融合技术在建筑构件分割和状态评估中的应用；Shen等人[39]探讨了在施工场景中基于自监督的单目深度估计方法；Wang等人[40]则将Depth Anything V2的伪深度功能集成到基于YOLO的实例分割模型中，提升了该模型在多种施工数据集上的性能。这些研究都证明了真实深度信息和伪深度信息在增强复杂工程环境下的分割稳定性方面的积极作用。为解决上述问题，本研究聚焦于基于检测器引导、具备伪深度感知能力且支持提示词输入的不规则货运车辆分割方法，其具体目标是为实现面向桥梁间隙安全的单目三维尺寸估算提供支撑。该方案无需为每种新的货物形态准备详尽的标注数据，也无需重新训练专门的掩码模型，而是采用了一种近乎零样本的检测与细化框架，该框架整合了针对卡车特征的车辆定位技术、基于基础模型的分割功能以及单目伪深度推理能力。本研究旨在提升对非标准车辆-货物组合体的轮廓提取精度，进而提高单目视觉作为面向桥梁超大型车辆监控的可行前置感知方案的实用性。从桥梁运营的角度来看，估算得到的车辆-货物几何参数可直接用于间隙风险评估。一旦获得了高度或宽度等与任务相关的尺寸数值，就可以将其与桥梁各关键构件的间隙阈值进行比较，这些构件包括主梁、缆绳、吊杆、桥孔以及各类临时施工设施等。通过设置一定的安全裕度来弥补测量误差，就可以提前识别出那些接近或超过间隙限制的车辆，从而减少不安全的漏检情况，同时控制误报的数量在可接受的范围内。本文的其余部分结构如下：第2节介绍了所提出的基于检测器引导和伪深度辅助的可提示分割框架，内容包括整体工作流程、仅用于测试的不规则货运车辆数据集的构建方法、算法流程以及后续的三维尺寸估算步骤。第3节阐述了实验验证的相关内容，包括评估设置、用于前端检测的普通车辆数据集、采用不同标签类型的监督式基准模型训练过程、与监督式方法和零样本方法的对比分析、消融实验以及敏感性分析。最后，第4节对整个研究进行了总结，并探讨了未来的研究方向。

方法论：本节介绍了所提出的基于检测器引导和伪深度辅助的不规则货运车辆可提示分割框架。2.1节阐述了该方法的整体工作流程。2.2节介绍了不规则货运车辆数据集的构建方法。2.3节详细说明了算法的具体流程，包括基于检测器引导的初始化步骤、具备伪深度感知能力的边界构建过程、基于边界引导的提示词优化步骤、双分支分割机制以及后续的三维处理步骤。

实验验证：在本研究中，使用了570张图像组成的数据集来评估和分析不规则货运卡车的实例分割结果。为进一步验证该分割结果对后续尺寸测量任务的影响，还按照先前研究的方案，使用一辆形状规则的货运卡车进行了额外的现场测试。在这辆卡车上还装载了不规则、形状异常的货物（并加上了防护罩），以此来测试所提方法的最大测量精度。

结论：本研究提出了一种基于检测器引导、具备伪深度感知能力的可提示分割框架，专门用于面向桥梁监控的超大型不规则货运车辆识别。研究人员构建了一个包含570张图像的IFT数据集，这些图像既包括固定的道路监控画面，也包括来自不同视角的公开资源图片。该框架无需针对这个数据集进行任何训练或微调，便能采用零样本式的优化策略，整合基于RF-DETR的卡车定位技术、……