无需训练的开放词汇量单目3D物体检测技术，适用于工业资产检测

《AUTOMATION IN CONSTRUCTION》：Training-free open-vocabulary monocular 3D object detection for industrial assets

　　马苏德·卡马利（Masoud Kamali）| 贝赫纳姆·阿塔扎德（Behnam Atazadeh）| 阿巴斯·拉贾比法德（Abbas Rajabifard）| 陈一坤（Yiqun Chen）

澳大利亚维多利亚州墨尔本大学基础设施工程系空间数据基础设施与土地管理中心，邮编3010

摘要

在棕地工业环境中，3D场景理解在运营和维护活动中起着关键作用。然而，缺乏可靠的3D信息给精确的对象检测带来了重大挑战。现有的3D对象检测方法依赖于标记数据集，而在工业环境中，由于资产的复杂性和多样性，这类数据集非常稀缺。此外，当前的方法通常需要深度信息和相机参数来进行2D到3D的转换。为了解决这些限制，本文提出了一种无需训练的开源词汇表单目3D对象检测方法，该方法消除了对标记数据集、深度信息和相机参数的依赖。该方法结合了提示引导的检测、深度和相机参数估计器以及自适应噪声过滤方法来进行3D边界框预测。为了评估所提出的方法，在澳大利亚的一个工业环境中进行了实验，结果发现电气套件的3D mIoU为0.4251，泵的为0.3205，储罐的为0.3659，阀门的为0.2823，电线的为0.2217。

1. 引言

工业环境中的运营和维护（O&M）活动往往给各种系统带来巨大的财务负担[1]。在美国，建筑、工程和施工（AEC）领域的互操作性问题导致每年约158亿美元的效率损失，其中约106亿美元发生在O&M阶段[2]。在水和废水处理设施中，O&M费用可能占这些资产总生命周期成本的50-75%，在某些情况下甚至高达85%[3]。在过程制造行业中，最近的研究表明，与反应式维护方法相比，预测性维护可以将非计划停机时间减少52.7%，缺陷减少78.5%[5]。

工业环境包含各种规模的小型和大型资产。在这些环境中进行3D场景理解对于资产管理[6]和自主检测[7]等应用至关重要。尽管为新设计的工业环境创建了3D模型，但大多数棕地场地缺乏有效进行3D场景理解所需的最新空间信息[8]。在这些环境中捕获数据并识别关键资产可以改进维护工作流程，例如远程监控[9]。然而，在捕获的数据中手动检测和定位资产是一个耗时且资源密集的过程[10]。因此，在棕地工业场地中进行对象检测对于促进3D场景理解和O&M活动至关重要。

在棕地工业环境中，可以使用基于LiDAR[11]、基于立体视觉[12]和单目技术[13]的方法进行对象检测。然而，LiDAR传感器的高成本和立体相机的复杂校准要求限制了它们在下游应用中的采用[14]。相比之下，单目3D对象检测（M3OD）旨在从单张图像中识别和定位3D空间中的对象。因此，M3OD的可行性和简单配置在计算机视觉领域受到了广泛关注。尽管已经使用了大量数据集来训练M3OD模型，但它们仍然局限于有限的对象类别范围[15],[16]。例如，Omni3D[17]是最大的公开可用的基于图像的3D对象检测数据集，包含234,000张带有超过300万个实例注释的图像，但它仅覆盖了98个不同的类别。这一限制表明需要提高M3OD方法对工业资产的泛化能力。此外，由于这些资产的复杂性和多样性，为工业资产准备训练数据集是一个劳动密集型过程。

为了解决这些挑战，我们提出了一种无需训练的M3OD方法，该方法消除了对封闭集对象检测器、深度信息和相机内在参数的依赖。该方法采用开源词汇表对象检测（OVOD）来实现工业环境中的零样本对象检测。本文的主要贡献总结如下：
- 提出了一种无需训练的开源词汇表单目3D对象检测框架，该框架不需要已知的相机内在参数，可以从单张RGB图像中进行3D对象检测，即使相机参数不可用。应用预训练的相机内在参数估计器从单张图像中推断焦距和主点。
- 为了解决现有OVOD方法在检测具有挑战性外观的对象时的局限性，提出了一种基于提示的对象检测策略，该策略结合了基于LLM的资产描述提取和视觉语言模型，以提高复杂工业场景中的2D定位精度。
- 由于RGB图像中缺乏深度信息，使用预训练的单目深度估计（MDE）模型从相机预测像素级别的对象距离，而无需辅助输入。
- 引入了一种自适应噪声过滤方法，根据资产特定的几何特征去除噪声和异常值，从而提高各种工业资产中3D边界框预测的准确性。此外，还使用了主成分分析（PCA）来细化3D边界框的方向。

本文的其余部分结构如下：第2节回顾了当前的M3OD、MDE和OVOD方法。第3节介绍了无需训练的M3OD方法。第4节讨论了定量和定性结果。第5节深入讨论了研究结果并指出了研究的局限性。最后，第6节总结了本文的关键贡献，并概述了未来研究的潜在方向。

2. 文献综述

本节回顾了3D对象检测、工业环境中的M3OD方法、先进的MDE技术、开源词汇表3D对象检测以及无需训练的开源词汇表单目3D对象检测的最新进展。

2.1 3D对象检测

3D对象检测旨在通过估计对象的空间位置、方向和尺寸来识别和定位它们。现有方法可以根据输入和建模架构分为基于LiDAR[18],[19]、基于图像[20],[21]和多模态检测方法[22],[23]。

基于LiDAR的方法利用密集或稀疏的点云来获取精确的深度和几何信息。它们从点云特征中学习几何表示，以预测每个对象的3D边界框。虽然这些方法在各种环境中实现了高精度和稳健的性能，但它们依赖于昂贵的传感器，并受到点云稀疏性的限制。基于图像的方法直接从RGB图像的视觉特征中估计3D对象几何形状，而不依赖于显式的深度测量。这些方法分为多视图和单目方法。多视图方法需要从不同视角捕获的图像来估计深度并预测3D边界框。尽管这种方法提供了高空间精度，但它依赖于多个相机和大规模的标记训练数据集，在复杂的工业环境中成本高昂且劳动密集。相比之下，单目方法从单张RGB图像中推断3D场景结构。然而，它们面临深度模糊性和在不同环境中的泛化能力有限的挑战。多模态方法结合了来自LiDAR和相机的信息，以结合精确的几何深度和丰富的视觉特征。由于需要收集图像和点云数据，这些方法需要复杂的传感器配置和校准程序。

2.2 单目3D对象检测

由于其成本效益和简单的设置，M3OD在基于图像的3D对象检测方法中受到了广泛关注[24]。以往关于M3OD的研究主要集中在有限的领域[25],[26],[27],[28]。此外，公开可用的用于训练的学习型数据集通常缺乏对许多实际场景中对象的覆盖，例如工业资产。沈等人[29]利用建筑工地（MOCS）数据集[30]设计了一个用于建筑场景分析的M3OD框架。该研究结合了基于Swin Transformer的级联网络和边界补丁细化技术，以实现精确的2D检测和分割，以及一个自监督的单目深度估计器，该估计器可以从未知参数的视频中推断相机内在参数。沈等人[30]利用AIM数据集[31]开发了一个用于建筑工地安全的3D对象检测框架，该框架结合了增强的2D检测、实例分割和伪LiDAR点云生成。丁等人[32]创建了一个包含22,500张虚拟和真实建筑图像的数据集，并提出了一个M3OD框架，该框架回归边界框的位置、大小和方向，以分类工人接近风险，从而发出碰撞警告。虽然已经提出了一些针对工业资产的数据集[33],[34]，但当前的M3OD方法仍然严重依赖于其训练数据集中的资产类别。这一限制限制了它们泛化到未见资产类型的能力。

2.3 单目深度估计

为了解决单目环境中缺乏显式深度信息的问题，可以使用MDE方法为M3OD任务生成深度图。MDE的主要挑战是从单张2D图像中推断深度信息，这由于3D空间信息的固有丢失而变得困难。MDE在各种应用中起着关键作用，包括自动驾驶[35]和3D重建[36]。MDE模型分为两大类：1）相对深度估计和2）度量深度估计。

2.3.1 相对深度估计

在相对深度估计中，每个像素的深度信息是相对于图像中的其他像素定义的。然而，测量的实际比例仍然未知。MiDaS[26]引入了新的损失函数来解决数据集之间的主要不兼容性问题，如未知和不一致的比例和基准。Marigold[28]提出了一种基于Stable Diffusion[29]的仿射不变单目深度估计方法。在这种方法中，图像和深度图被编码到潜在空间中。通过优化相对于深度潜在代码的标准扩散目标来微调U-Net架构。通过在将它们输入U-Net之前合并两个潜在代码来实现图像条件化。相对深度估计方法对未见场景表现出强大的泛化能力。然而，它们无法恢复度量深度，这限制了它们在需要绝对距离测量的M3OD任务中的适用性。

2.3.2 度量深度估计

度量深度估计器预测对象与相机的实际距离，提供具有已知比例单位的每个像素的深度信息。ZoeDepth[37]使用MiDaS框架估计相对深度，并加入了额外的头部进行度量深度估计。ZoeDepth在12个数据集上预训练，并在两个数据集上进行了度量深度估计的微调。Depth Anything[31]开发了一个数据引擎，用于为未标记的图像自动生成深度注释，使数据能够缩放到任意比例。它在150万张标记图像和6200万张未标记图像上进行了训练，使用自我训练同时从标记和未标记的数据中学习。Depth Anything V2[38]通过用合成数据替换标记的真实图像来增强Depth Anything模型，使用伪标记的真实图像扩大数据集规模，并使用师生模型框架进行训练。Depth Pro[39]使用多尺度视觉Transformer（ViT）从单张图像生成度量深度图，而无需相机内在参数。该网络使用共享权重的ViT编码器提取多个尺度上的重叠块，合并特征，并逐步上采样以生成密集的深度预测。UniDepth[40]引入了一种相机自提示机制和伪球形3D输出表示，以从单张图像中联合推断相机参数和度量深度。该网络使用编码器骨干提取特征，通过相机模块处理这些特征，该模块预测密集的角度嵌入，并通过交叉注意力条件化深度模块。伪球形表示分离了相机和深度组件，而几何不变性损失确保了不同相机视角之间的一致性。在没有RGB图像深度信息的M3OD场景中，预训练的单目度量深度估计模型可以生成比例一致的深度图。深度信息使得从单张图像中进行绝对距离推理成为可能，并提高了3D对象定位的准确性。

2.4 开源词汇表3D对象检测

OVOD指的是通过将视觉特征与文本描述对齐来检测和定位可见和未见对象类别。使用视觉语言基础模型进行OVOD在检测未见对象方面取得了显著改进[40]。Grounding DINO[41]是一种基于Transformer的开源集对象检测器，它通过将图像区域与任意文本查询对齐来统一对象检测和短语定位。这种方法使用双编码器处理视觉和文本输入，并通过跨模态注意力来预测文本条件化的边界框，从而能够检测可见和未见类别。FM-OV3D[42]使用预训练的基础模型来增强开源词汇表3D检测，而无需手动注释。对于3D定位，它使用GroundedSAM[43]从配对图像生成2D边界框，然后将其投影和聚类以形成3D框。在对象检测方面，该方法整合了GPT-3、Stable Diffusion和CLIP，通过生成文本和视觉提示，并将它们与来自检测器的3D点云特征对齐。INHA [44] 提出了一种基于图像的新的类别发现和分层特征空间对齐框架，用于开放词汇表的3D对象检测。在特征对齐方面，该方法使用排列不变的场景特征提取模块和跨模态对比损失，在实例、类别和场景层面将3D特征与视觉语言模型特征对齐。这项研究结合了文本和图像引导，同时利用3D几何结构来检测点云场景中的新对象。尽管这些方法使用基础模型实现了开放词汇表的3D对象检测，但它们仍然依赖于点云数据作为3D对象检测的主要输入。OpenSU3D [45] 通过整合来自基础模型的多模态信息，引入了一个开放世界的3D场景理解框架。该研究使用GroundedSAM和GPT-4 V提取2D语义特征和对象标签，然后通过深度和相机参数将这些特征投影到3D空间中。这种方法通过整合基础模型的多模态特征，实现了开放词汇表的3D场景理解。然而，它依赖于RGB-D图像和已知的相机参数来进行3D投影和特征对齐。OV-3DET [46] 提出了一种开放词汇表的3D点云检测框架，消除了对3D注释的需求。它使用来自2D预训练检测器的伪标签训练3D检测器，并通过去偏置的三重交叉模态对比学习来对齐文本、图像和点云特征。这项研究在训练过程中也依赖于成对的RGB图像和点云数据来学习鲁棒的跨模态表示。

2.5. 无需训练的开放词汇表单目3D对象检测
为了解决RGB-D图像和点云数据的局限性，一些最近的研究集中在无需训练的开放词汇表单目3D对象检测上。OVM3D-Det [47] 提出了一种开放词汇表单目3D对象检测框架，该框架无需任何3D监督，仅依赖于RGB图像。它利用开放词汇表2D检测器和深度估计来生成伪LiDAR表示，从而实现3D推理和边界框预测。虽然该框架为M3OD引入了一个强大的流程，但它假设存在一个一致的地面平面用于方向估计，并使用统一的尺寸先验进行边界框验证，这不能应用于工业资产。例如，电气套件和阀门等资产通常安装在不同的高度和方向上，可能位于墙壁或管道上，而不是一个共同的地面平面上。此外，尽管汽车、行人和沙发等对象的尺寸相对统一，但工业资产（如储罐、泵和阀门）在规模和几何形状上差异很大。这些工业环境中的变化使得依赖标准尺寸先验来评估生成的边界框的有效性变得不太可行。OVMono3D [48] 提出了两种开放词汇表单目3D对象检测框架。OVMono3D-LIFT是一种基于学习的方法，它训练了一个类不可知的神经网络，直接将2D检测结果提升到3D空间。此外，OVMono3D-GEO是一种无需训练的流程，它通过几何反投影从2D检测结果推断出3D边界框，利用预训练的模块如Depth Pro进行深度估计，SAM进行分割，以及Grounding DINO进行开放词汇表2D检测。该方法采用了两阶段异常值去除过程。首先，使用随机采样对点云进行降采样。然后，应用DBSCAN聚类并迭代调整参数，以将主要对象簇与噪声分离。尽管OVMono3D-GEO与我们的方法最为相似，但它假设M3OD任务有可用的相机内在参数。此外，它仅依赖Grounding DINO作为OVOD的视觉-语言基础模型，这限制了检测精度，特别是对于复杂的工业资产。表1提供了不同3D对象检测方法在关键方面的结构化比较，包括输入模式、训练要求和OVOD能力。比较表明，大多数现有的M3OD方法都是在监督和封闭集设置中开发的，这限制了它们泛化到未见对象类别的能力。最近的开放词汇表方法已将类别泛化扩展到3D感知。然而，它们大多依赖于辅助深度或点云输入，并假设相机内在或姿态信息的可用性。此外，现有的无需训练的M3OD方法通常依赖于已知的相机参数，无法泛化到工业资产，从而降低了它们在复杂工业环境中的鲁棒性。在本文中，我们提出了一种M3OD方法，以解决2D检测精度、依赖已知相机参数以及泛化到工业环境的局限性。

2.5. 无需训练的开放词汇表单目3D对象检测
为了解决RGB-D图像和点云数据的局限性，最近的一些研究专注于无需训练的开放词汇表单目3D对象检测。OVM3D-Det [47] 提出了一种开放词汇表单目3D对象检测框架，该框架无需任何3D监督，仅依赖于RGB图像。它利用开放词汇表2D检测器和深度估计来生成伪LiDAR表示，从而实现3D推理和边界框预测。虽然该框架为M3OD引入了一个强大的流程，但它假设存在一个一致的地面平面用于方向估计，并使用统一的尺寸先验进行边界框验证，这不能应用于工业资产。例如，电气套件和阀门等资产通常安装在不同的高度和方向上，可能位于墙壁或管道上，而不是一个共同的地面平面上。此外，尽管汽车、行人和沙发等对象的尺寸相对统一，但工业资产（如储罐、泵和阀门）在规模和几何形状上差异很大。这些工业环境中的变化使得依赖标准尺寸先验来评估生成的边界框的有效性变得不太可行。OVMono3D [48] 提出了两种开放词汇表单目3D对象检测框架。OVMono3D-LIFT是一种基于学习的方法，它训练了一个类不可知的神经网络，直接将2D检测结果提升到3D空间。此外，OVMono3D-GEO是一种无需训练的流程，它通过几何反投影从2D检测结果推断出3D边界框，利用预训练的模块如Depth Pro进行深度估计，SAM进行分割，以及Grounding DINO进行开放词汇表2D检测。该方法采用了两阶段异常值去除过程。首先，使用随机采样对点云进行降采样。然后，应用DBSCAN聚类并迭代调整参数，以将主要对象簇与噪声分离。尽管OVMono3D-GEO与我们的方法最为相似，但它假设M3OD任务有可用的相机内在参数。此外，它仅依赖Grounding DINO作为OVOD的视觉-语言基础模型，这限制了检测精度，特别是对于复杂的工业资产。表1提供了不同3D对象检测方法在关键方面的结构化比较，包括输入模式、训练要求和OVOD能力。比较表明，大多数现有的M3OD方法都是在监督和封闭集设置中开发的，这限制了它们泛化到未见对象类别的能力。最近的开放词汇表方法已将类别泛化扩展到3D感知。然而，它们大多依赖于辅助深度或点云输入，并假设相机内在或姿态信息的可用性。此外，现有的无需训练的M3OD方法通常依赖于已知的相机参数，无法泛化到工业资产，从而降低了它们在复杂工业环境中的鲁棒性。在本文中，我们提出了一种M3OD方法，以解决2D检测精度、依赖已知相机参数以及泛化到工业环境的局限性。

3. 方法论
本研究提出了一种无需训练的开放词汇表单目3D对象检测流程，用于工业资产，仅使用单个RGB图像。该方法分为三个不同的过程：（1）OVOD（开放词汇表对象检测），（2）单目度量深度估计，以及（3）3D边界框预测。如图1所示，流程从OVOD开始，在此过程中，工业资产在2D中被检测和定位。然后预测相机内在参数，以从单个RGB图像中估计度量深度信息。最后，应用过滤策略对资产级别的点云进行噪声和异常值去除，以提高3D边界框预测的准确性。

下载：下载高分辨率图像（167KB）
下载：下载全尺寸图像

图1. 所提出的无需训练的开放词汇表单目3D对象检测流程的高级工作流程。

图2 展示了无需训练的开放词汇表单目3D对象检测的方法论。在第一阶段，使用多模态大型语言模型生成结构化描述并检测图像中的资产。对于每个检测到的资产，创建一个2D边界框。然后应用掩码生成技术将资产与相邻资产分离。在第二阶段，应用单目度量深度估计来获取像素级别的深度值并生成每个资产的3D点云。在最后阶段，应用自适应噪声过滤和方向调整来预测具有准确几何形状和与对象几何形状对齐的3D边界框。

下载：下载高分辨率图像（492KB）
下载：下载全尺寸图像

图2. 为工业资产提出的无需训练的开放词汇表单目3D对象检测方法的工作流程。

3.1. 开放词汇表对象检测
在方法论的初始阶段，使用多模态大型语言模型GPT-4o [55] 在工业场景图像中执行资产检测。该模型生成结构化的文本描述，包括资产类型、数量、图像中的大致空间位置以及它们的外观和周围环境的描述。这种方法可以直接从视觉输入中精确且一致地提取与资产相关的数据，而无需标记的训练数据集。使用通用提示来识别图像中所有可见的资产，而不提供具体指导。提示指令中没有预定义资产的几何形状和视觉特征，以增强该方法在各种工业环境和资产类别中的泛化能力。接下来，使用Grounding DINO生成工业资产的精确2D边界框。该模型使用前一阶段的文本描述作为提示来检测图像中的对象位置。最后，应用SAM为每个检测到的资产生成像素级别的分割掩码。使用前一阶段生成的2D边界框，SAM分割原始图像中的相应区域以提取每个单独的资产。这通过过滤掉周围元素并专注于目标资产的几何形状，实现了精确的3D边界框预测。

3.2. 单目度量深度估计
为了获得准确的3D边界框预测所需的深度信息，对每张图像应用MDE（单目度量深度估计）。由于缺乏用于训练基于学习模型的标记深度信息，因此使用预训练的度量深度估计器来预测像素级别的深度值。使用分割后的资产区域作为输入来提取相关资产的深度。此外，还需要相机内在参数将坐标从图像坐标系转换为3D相机坐标系。转换定义为：
(1) XYZ = zu ? cx * fy / (xv ? cy)
其中uv是2D像素坐标，z表示像素位置uv处的深度值。3D坐标XYZ位于相机的坐标系中。参数cx和cy是相机的主点偏移量，而fx和fy分别对应水平和垂直方向的焦距。使用预训练的相机校准模型来预测相机内在参数。这使得可以从带掩码的图像和深度信息生成3D点云。

3.3. 3D边界框预测
准确的3D边界框预测依赖于干净可靠的资产点云。噪声保留或原始数据去除可能会扭曲对象的尺寸和方向。在复杂环境中，深度估计的错误和遮挡经常引入噪声。此外，工业资产的多样几何形状和尺寸限制了传统去噪方法（如DBSCAN、体素网格降采样和基于半径的过滤）的有效性，因为它们的固定参数通常会阻止跨资产类别的泛化。例如，小型组件（如阀门）在激进过滤下可能会丢失几何细节，而大型资产（如储罐）在阈值过于宽松时可能会保留噪声。为了解决这一限制，引入了一种自适应噪声过滤方法。该方法分析每个资产的几何特性，包括其大小和点密度，以调整过滤参数并在去除噪声时保持几何保真度。

体素网格降采样通过将空间划分为均匀的体素网格来减少3D点云的密度。在每个体素内，所有点都被替换为一个中心点，从而在减少计算成本的同时保持对象的总体几何形状（见算法A）。每个点pi = (xi, yi, zi)被分配给一个体素，索引为vi = (piv = xi / vy, iv / zi)，其中?表示逐元素取整操作。所有共享相同体素索引vk的点pi属于子集Pk = {pi | vi = pk}，每个体素的中心计算为ck = 1/2 * ∑pi ∈ Pk * pi。最终的降采样点云表示为P' = {ck | k = 1/2…M}，其中M是占据的体素总数。

算法A：体素网格降采样

下载：下载高分辨率图像（163KB）
下载：下载全尺寸图像

基于距离的过滤是一种统计异常值去除技术，它通过测量点与簇中心的距离来识别和去除点。该算法首先计算簇的中位数点，然后计算每个点与这个中心的欧几里得距离。超过基于百分比的距离阈值的点被分类为噪声并丢弃（见算法B）。形式上，设输入点云为P = {pi = (xi, yi, zi) | i = 1…N}。簇中心定义为所有点的逐元素中位数，pc = median(P) = median(xi, yi, zi)。然后计算每个点与簇中心的欧几里得距离di = pi ? pc。设Tp表示所有距离di中指定百分比p的距离值。自适应距离阈值定义为Tp = Tp × α，其中α是控制过滤严格程度的距离乘数。满足di ≤ Tp的点被保留，其余点被视为异常值。因此，过滤后的点云表示为P' = {pi | di ≤ T}。

算法B：基于距离的过滤

下载：下载高分辨率图像（235KB）
下载：下载全尺寸图像

基于半径的过滤通过评估点的局部邻域密度来去除孤立或连接较弱的点。只有当点在定义的半径内有足够数量的邻居时才保留该点。这种方法在保留对象核心几何形状的同时消除了散布的噪声（见算法C）。对于每个点pi ∈ P，局部邻域定义为Npi = {pj ∈ P | pi ? pj ≤ r}，其中r表示搜索半径，∥·∥表示欧几里得距离。在这个半径内的邻居点数量表示为ni = Npi。如果ni ≥ nmin（nmin是预定义的最低所需邻居数），则保留点pi。因此，过滤后的点云表示为P' = {pi | ni ≥ nmin}。

算法C：基于半径的过滤

下载：下载高分辨率图像（178KB）
下载：下载全尺寸图像

基于连通性的过滤使用DBSCAN来检测点云中的一致簇。它保留最大的连通组件并去除小或断开的区域。对簇中心的额外邻近性验证确保了最终精炼结果的空间完整性（见算法D）。对于每个点pi ∈ P，DBSCAN根据两个参数将点云划分为簇：最大邻域半径ε和形成密集区域所需的最小点数nmin。至少有nmin个邻居的点被分配到同一个簇中，不满足此条件的点被视为噪声。因此，过滤后的点云表示为P' = {pi | ni ≥ nmin}。

算法D：基于连通性的过滤最大的连通分量被识别为lmax=argmax(lili=l)，相应的簇点由Pmain=pi∈Pli=lmax给出。然后计算主簇的几何中心，即pc=mean(Pmain)。为了去除远离簇中心的点，计算每个点到pc的欧几里得距离，并应用基于百分位的距离阈值T。满足di≤T且属于有效簇的点被保留在最终的精炼点云P′=pi∈Pli≠?1且di≤T中。

算法DConnectivityBasedFiltering
下载：下载高分辨率图像（302KB）
下载：下载全尺寸图像

自适应噪声过滤方法根据检测到的对象的大小动态调整过滤参数，以在去除噪声的同时保持其几何精度（见算法E）。该算法首先通过边界尺寸计算资产的空间范围。空间范围计算为b=max(P?minP)，其中P表示输入点云。然后根据边界向量的欧几里得范数定义对象大小，即s=b2。基于这个度量，点云被分为三类：小型（<0.3米）、中型（0.3–2.0米）或大型（>2.0米）。对于小型对象，应用高分辨率的体素网格降采样以减少冗余，然后使用保守的阈值进行基于距离的过滤以保留精细的几何细节。对于中型对象，采用多阶段过滤策略，包括体素降采样、基于距离的过滤和基于半径的过滤以去除稀疏的异常值。然后应用基于DBSCAN的连通性过滤来隔离主导簇并丢弃弱连接或分散的点。对于大型对象，采用更激进的参数设置。为了减少大型对象中的广泛噪声，算法应用更粗的体素化和更严格的距离阈值。这之后是基于半径的过滤和密度驱动的聚类，以保持对象的几何形状并丢弃不连续的区域。

算法EAdaptiveNoiseFiltering
下载：下载高分辨率图像（380KB）
下载：下载全尺寸图像

应用自适应噪声过滤方法后，从每个生成的点云中去除噪声，并相应地调整3D边界框的尺寸。然而，边界框的方向仍未解决，因为点分布并未直接显示对象的方向对齐。如果没有方向细化，边界框可能会错误地表示对象的真实姿态，导致3D定位不准确。例如，如果边界框没有与对象的实际方向对齐，倾斜管道上的阀门可能会被错误地表示为轴向对齐的。为了解决这个问题，使用PCA通过分析点分布的协方差来确定对象的主导几何方向。对应于最大特征值的特征向量表示最大方差的方向，并被指定为边界框的方向。

4. 实验
在本节中，评估了所提出的无需训练的开式词汇表单目3D对象检测框架。描述了实验设置和数据收集过程，随后提供了在不同工业资产和场景条件下的定量和定性结果。

4.1. 数据收集
为了评估所提出方法的有效性，选择了墨尔本一栋建筑内包含各种工业资产的复杂工厂房间。共收集了320张RGB图像（4032×3024像素）用于开放式词汇表单目3D对象检测。此外，使用Leica BLK360激光扫描仪捕获了整个工厂房间的点云数据，以提供评估3D边界框预测准确性的真实数据（图3）。OVOD和MDE在两个配备48GB VRAM、16个vCPU和241GB系统内存的NVIDIA L40 GPU上执行。此外，掩码生成任务在配备24GB VRAM、16个vCPU和118GB系统内存的NVIDIA L40s-16c GPU上进行。本研究使用Ubuntu 20.04作为操作系统。

图3. 工业工厂房间的点云。

为了评估不同场景下的泛化能力，捕获了代表资产类型和场景复杂性变化的图像，包括单资产、多资产和遮挡场景。表2提供了这些场景条件下测试图像的分布。在这种情况下，单资产场景表示具有清晰可见性的孤立对象，多资产场景包含一个框架内的多个对象，遮挡场景包括部分可见的资产。选择每种资产的图像数量是为了在各种场景配置中提供足够的覆盖范围。从不同的角度和距离捕获图像，以增强多样性并反映资产几何形状和视觉特性的真实变化。

4.2. 结果
一旦通过OVOD检测到资产，就会为每个识别的资产生成2D边界框。然后使用深度信息和相机内在参数将这些2D边界框转换到3D空间。使用UniDepthV2和Depth Anything V2作为MDE模型来生成每像素深度图，并评估它们对3D边界框预测的影响。由于图像没有相机内在参数，因此使用了两个预训练模型GeoCalib [56]和PerspectiveField [57]来估计每张图像的焦距和主点。根据文献（第2节），将所提出的方法与两种最先进的方法OVMono3D-GEO和OVMono3D-LIFT进行比较，以评估开放式词汇表单目3D对象检测在工业资产方面的泛化能力和检测准确性。为了解决OVMono3D-GEO缺乏相机参数的问题并确保公平比较，使用Depth Pro进行深度估计和相机内在参数预测。

4.2.1. 定量结果
表3展示了五种工业资产类型的开放式词汇表单目3D对象检测的3D mIoU结果：电气套件、泵、储罐、阀门和电线。评估包括不同的OVOD、MDE和相机内在参数预测模型组合。结果表明，我们的方法在所有资产类型中都取得了最佳性能，mIoU分数分别为套件0.4251、泵0.3205、储罐0.3659、阀门0.2823和电线0.2217。相比之下，OVMono3D-LIFT和OVMono3D-GEO的mIoU值较低，特别是对于泵和电线等资产，OVMono3D-GEO的表现明显较弱。这一限制是由于OVMono3D-GEO依赖于Grounding DINO进行OVOD，而Grounding DINO无法检测到几种工业资产类型。同样，OVM3D-Det在所有资产类别中的表现也一直较低。在我们的方法中，将资产描述提取与提示引导的检测策略相结合，提高了2D检测的准确性，从而获得了更高的3D mIoU分数。在所提出的框架中，当使用UniDepthV2进行MDE和相机内在参数估计时，电气套件和电线的检测获得了最高的mIoU分数。对于泵的检测，使用Depth Anything V2和GeoCalib的组合取得了最佳性能。储罐检测使用Depth Anything V2和PerspectiveField获得了最高的mIoU，而阀门检测则使用UniDepthV2和GeoCalib表现最佳。这些发现表明，深度和相机内在参数估计器的选择至关重要，因为它们的性能因资产类型和几何复杂性而异。

表3. 基于单目度量深度估计器和相机内在参数估计器的开放式词汇表单目3D对象检测方法的3D mIoU结果。

表4展示了不同MDE模型和相机内在参数估计器组合的深度估计和3D边界框方向的准确性。为了评估深度估计的准确性，使用实际的相机内在参数生成了真实深度图。在这次评估中，用于相机参数估计和深度估计的UniDepthV2获得了最低的RMSE和MAE。相比之下，PerspectiveField和GeoCalib显示出更高的深度误差。PerspectiveField产生的偏差最大，与UniDepthV2结合时MAE最高，与Depth Anything V2结合时RMSE最高。Depth Anything V2对相机内在参数估计器的选择依赖性更强。

表4. 不同预训练MDE模型和相机内在参数估计器组合的深度估计和3D边界框方向准确性。

表5展示了自适应噪声过滤方法在不同资产类别中应用大小感知过滤的有效性。该方法通过自适应参数调整，始终实现了高去除率（从87%到99%），同时保留了重要的几何特征。对于小型对象（<0.3米），保守的体素降采样结合基于距离的过滤有效地减少了冗余，同时保留了精细的几何细节。中型资产（0.3–2.0米）通过结合基于半径的方法和连通性分析的三阶段过程进行过滤，去除率从82%到96%不等。对于大型对象（>2.0米），应用了激进的距离阈值和聚类，实现了高达97%的去除率，同时保持了几何完整性。

表6显示了不同噪声过滤方法下的M3OD 3D mIoU结果。总体而言，自适应噪声过滤方法在大多数资产类型中实现了最高的mIoU，证明了其在保持关键几何特征方面的有效性。它在电气套件、阀门、泵和电线的检测中表现优于其他方法，每种资产类别都获得了最高的mIoU值。然而，对于储罐检测，DBSCAN获得了最佳结果，mIoU为0.4086，优于基于体素和自适应的方法。这一结果可以归因于储罐的独特尺寸和几何特性，它们通常规模较大，表面光滑，细节较少。在这种情况下，包括基于体素和自适应方法在内的激进过滤方法可能会去除曲面上的重要几何点。相比之下，DBSCAN保留了储罐的整体几何形状和空间结构，这对于准确的3D边界框估计至关重要。带有统计异常值去除（SOR）的体素降采样获得了中等性能，但经常牺牲了重要的几何细节，特别是对于较小或复杂的资产。这些发现表明，过滤策略需要根据工业环境中资产的规模和几何复杂性进行调整。

表7总结了所提出的过滤策略对关键参数变化的敏感性，通过报告mIoU的相对变化来体现。结果表明，选定的默认参数位于一个稳健的参数范围内，因为大多数变化只会导致性能的有限降低而不是改进。这种行为表明，过滤流程在不同参数调整下保持稳定的性能，而采用的默认值在不同资产类型之间提供了噪声去除和几何保留之间的平衡。

图4展示了工业资产的OVOD结果的定性比较。由于工业资产的多样性，例如阀门的变化，OVMono3D-GEO无法检测到某些类型的资产。对于电线，该方法将控制面板错误地分类为电线，导致误报。相比之下，我们的方法展示了改进的资产类型识别和准确的定位。此外，在资产密集的区域，Grounding DINO无法检测到多个资产实例，而结合GPT-4o进行资产描述提取可以提高2D检测的准确性。

图5展示了使用预训练的度量深度估计器（包括UniDepthV2、Depth Anything V2和Depth Pro）获得的MDE结果。结果表明，这些模型生成的深度图非常准确，能够有效捕捉各种资产配置和空间布局的几何结构。物体边缘和深度不连续性的清晰划分证明了它们能够在不依赖特定场景训练的情况下有效泛化到复杂的工业环境中。下载：下载高分辨率图像（808KB）下载：下载全尺寸图像

图5. 由预训练的单目深度估计器生成的度量深度估计结果：UniDepthV2、Depth Anything V2 和 Depth Pro。

图6 显示了不同工业资产的 M3OD 结果。对于电气套件和控制面板，OVMono3D-LIFT 能够准确检测到第一个实例，并提供正确的 3D 边界框方向，尽管没有精确估计资产尺寸。该方法在第二个图像中未能检测到控制面板，而我们的方法在两种情况下都能检测到电气套件和控制面板。对于泵，OVMono3D-LIFT 能够检测到资产，但尺寸估计不准确。相比之下，我们提出的方法能够检测到这些资产，并且 PCA 改进了 3D 边界框的方向对齐。对于储罐，OVMono3D-LIFT 能够实现准确的方向和尺寸估计。然而，该方法未能检测到阀门和电线，而我们的方法成功识别了这些资产。在这两种情况下，PCA 都增强了 3D 边界框方向的对齐。下载：下载高分辨率图像（2MB）下载：下载全尺寸图像下载：下载高分辨率图像（349KB）下载：下载全尺寸图像图6. 单目 3D 物体检测结果，比较了使用 PCA 和不使用 PCA 的 OVMono3D-LIFT。

为了评估所提出框架的泛化能力，图7 展示了来自不同场景的定性结果。这些场景展示了多样的空间布局、资产配置和背景条件。尽管存在跨场景的变异性，该框架仍然生成了几何上一致的 3D 边界框，表明所提出方法的鲁棒性超出了原始数据收集地点的范围。下载：下载高分辨率图像（343KB）下载：下载全尺寸图像图7. 跨场景开放词汇表单目 3D 物体检测结果。

5. 讨论

尽管 M3OD 的准确率低于多视图图像或基于 LiDAR 的检测方法，但它在成本效益和简单性方面具有显著优势，因为它仅依赖于单张 RGB 图像。所提出的无需训练的开放词汇表单目 3D 物体检测方法旨在提高工业环境中的 3D 场景理解能力，因为在这些环境中通常无法获得特定领域的标记数据集、相机参数和深度信息。然而，该方法并不适用于高精度 3D 重建或 CAD 建模，但可以有效地应用于运维活动，如资产管理及工业检查。在这种情况下，能够在大规模工业环境中自动检测和定位资产的能力为快速场景解释和远程监控提供了宝贵的输入。3D mIoU 值介于 0.22 到 0.43 之间，表明所提出的方法与现有的 M3OD 方法相比具有竞争力，同时消除了对训练数据和相机校准参数的需求。虽然这些 mIoU 值在绝对值上较为中等，但对于不同的运维场景来说已经足够，因为主要需求是可靠的资产定位、几何范围和空间关系。例如，电气套件的 mIoU 为 0.43，表明其空间对齐一致，有利于资产定位和 3D 场景理解。虽然较低的值（如电线的 mIoU 为 0.22）表示精细对象的精度较低，但对于只需要近似几何信息的运维任务来说，这些结果仍然是足够的。

本文的主要目标是提高在复杂工业环境中无需训练的 M3OD 的准确率和泛化能力。尽管如此，还进行了计算效率的比较分析，以评估所提出方法相对于现有方法的推理性能。表 8 显示了每种方法的平均推理时间和处理速度。结果表明，OVMono3D-LIFT 由于其单阶段设计而具有最快的处理速度，而我们提出的方法平均推理时间（每张图像 560 毫秒）比 OVMono3D-GEO 更短。尽管它可能不适合实时应用，但该方法仍然适用于离线 3D 场景理解，因为每个工业环境只需要执行一次。在可扩展性方面，所提出流程的计算成本主要随检测到的资产数量而非场景的空间范围而变化。每个资产在 2D 检测后独立处理，包括深度提取、点云生成和自适应过滤，从而支持跨资产和图像的批量处理和并行化。然后可以将定位到的资产与数字孪生环境中的各种数据源集成，以提高运营效率并支持明智的决策制定。

表8. 无需训练的 M3OD 方法之间的计算效率比较分析。

方法平均推理时间（毫秒/图像）处理速度（FPS）
OVMono3D-LIFT 1427
OVMono3D-GEO 612 1.6
我们的方法 560 1.8

5.1. 局限性

虽然所提出的方法在无需训练的开放词汇表单目 3D 物体检测方面显示出强大的潜力，但它也存在一些需要承认的局限性：
- **泛化能力**：工业资产在类型和大小上的多样性对在不同工业环境中的泛化提出了重大挑战。复杂场景中的高资产密度会降低资产检测和定位的性能。此外，收集的数据集包含的资产数量有限，这可能限制了其在那些无法通过视觉语言基础模型有效检测的资产类型中的应用。环境变化（如光照条件和可访问性限制）也会影响检测精度。此外，本文使用的数据集来自单一工业场所，这可能限制了所报告结果在其他具有不同布局、资产配置或操作条件的工业环境中的适用性。
- **M3OD 准确率**：尽管所提出的方法在识别资产和生成相应的 2D 边界框方面表现出色，但从 M3OD 得出的 3D 边界框的准确率仍低于多视图和基于 LiDAR 的方法。某些资产（特别是电线和阀门）的复杂几何形状和空间复杂性给工业场景中的精确 3D 物体检测带来了挑战。此外，在遮挡场景中，无法捕获资产的完整几何信息，导致 3D 边界框生成不完整，定位性能下降。在资产频繁重叠或超出相机视野范围的密集工业环境中，这一限制更加明显。

6. 结论与未来工作

本文提出了一种无需训练的开放词汇表单目 3D 物体检测方法，该方法利用视觉语言基础模型、MDE 和自适应噪声过滤来检测和定位工业环境中的资产。与现有方法相比，所提出的方法消除了对特定任务训练数据集和辅助信息（如深度图和相机内在参数）的依赖。通过将 GPT-4o 与 Grounding DINO 结合，该框架通过资产描述提取和提示引导的物体检测来增强 OVOD。深度估计和相机内在参数预测使用预训练模型完成，从而实现无需手动校准的准确 2D 到 3D 转换。所提出的方法在多种资产类型上的 mIoU 值均高于现有开放词汇表单目 3D 检测方法，分别为电气套件 0.4251、泵 0.3205、储罐 0.3659、阀门 0.2823 和电线 0.2217。

未来的研究可以探索几个方向来进一步提高所提出方法的准确率和鲁棒性：
- **上下文引导的 3D 边界框细化**：可以利用相邻资产的空间上下文来细化 3D 边界框的方向和尺寸。周围物体的相对位置和对齐提供了几何线索，从而在复杂工业环境中提高定位准确性和一致性。视觉语言基础模型可以用来通过推导资产与其周围环境的关系来启用空间推理，从而细化检测到的 3D 边界框。
- **新颖视图合成**：可以采用新颖的视图生成方法从单张图像中重建资产的额外视角。这些方法利用学习到的场景几何表示来生成超出原始相机视角的新视图。通过合成新视图，可以恢复被遮挡或未看到的资产部分，从而改进资产尺寸和方向的预测。

CRediT 作者贡献声明：
Masoud Kamali：撰写 – 审稿与编辑、撰写 – 原始草稿、方法论、形式分析、数据管理、概念化。
Behnam Atazadeh：撰写 – 审稿与编辑、监督、方法论、资金获取、概念化。
Abbas Rajabifard：撰写 – 审稿与编辑、监督、项目管理、资金获取。
Yiqun Chen：撰写 – 审稿与编辑、监督、项目管理、方法论、概念化。