MonoSTR：基于关键点的几何表示方法，实现结构感知的单目3D物体检测

《Expert Systems with Applications》：MonoSTR: Structure-aware monocular 3D object detection via keypoint-based geometric representation

单目3D检测通过语义骨骼关键点重建物体几何结构，结合双频带深度预测平衡全局与细节信息，并利用场景拓扑检测头建模物体间几何关系，显著提升遮挡场景下的检测鲁棒性。

　　

Yeon Woo Cho | Jung Woo Cheon | Seok Bong Yoo

韩国光州全南国立大学人工智能融合系，61186

摘要

单目3D物体检测为多传感器系统提供了一种成本效益更高的替代方案，但从单张图像中估计准确的深度仍然具有挑战性。当物体部分可见时，这一难度更加明显。为了解决这些问题，我们引入了骨架关键点。语义骨架关键点作为可解释的结构线索，编码了关于物体几何形状的专家知识。我们的关键点结构表示能够检测到可见的骨架关键点，并利用基于粗略姿态的自编码器重建器来重建缺失的关键点，从而提供了一种紧凑且对遮挡和截断具有容忍度的形状感知线索。同时，深度特征通过双频带引导的深度预测器进行估计，该预测器明确分解低频和高频成分，以平衡全局上下文和细节，从而减轻光谱偏差并提高对微小和远距离物体的深度估计精度。这些表示随后被融合，场景拓扑3D检测头在考虑邻域拓扑的情况下解码类别和框参数，以增强几何一致性。实验表明，我们的方法通过提高遮挡下的鲁棒性，为智能交通中的决策支持系统提供了更可靠的3D感知能力，证明了其在自动驾驶感知系统中的有效性。

引言

三维物体检测是现实世界感知的核心组成部分，支撑着自动驾驶、领域服务机器人、无人机系统、智能制造以及AR/VR技术。使用LiDAR、立体相机和雷达的多传感器系统（Cho, Min, Kim, Sohn, 2021; Chu, Liu, Zhuo, Chen, Ma, 2025; Cui, Li, Fang, 2025; Li, Wang, Zeng, 2024b; Qayyum, Deng, Mushtaq, Jiang, Wan, Ullah, 2026）可以估计场景深度并实现精确的定位。然而，这些方法需要较高的系统设置成本。相比之下，单目3D物体检测仅使用一个捕捉红、绿、蓝（RGB）通道的相机来估计物体位置。这种方法消除了多传感器校准的需要，降低了系统成本，简化了集成，减少了功耗和重量，便于维护，并且可以利用丰富的低成本RGB数据轻松扩展到大规模部署。对于信息和通信技术支持的智能交通系统来说，这些成本优势尤为显著，因为在预算、功耗和硬件限制下，必须在车辆和路边基础设施中广泛安装感知模块。

尽管如此，从单一视角可靠地估计深度仍然是单目3D物体检测的核心限制。在物体部分可见的挑战性情况下，这一限制更加明显，因为这会导致严重的信息丢失。在现实世界场景中，物体经常被遮挡或截断。在杂乱的城市场景或恶劣的天气条件下，这些挑战会更加严重，因为它们会模糊视觉外观和结构布局。单目方法仅依赖于RGB外观信息，而没有结构线索（如物体结构、图像级的结构规律性和场景级拓扑），从而限制了深度推理和布局一致性。因此，许多最近的单目3D物体检测器（如MonoDETR (Zhang et al., 2023) 和 MonoDGP (Pu, Wang, Deng, & Yang, 2025)）主要关注基于外观的特征，包括颜色分布、表面纹理和物体边界。虽然在视野清晰的情况下这些线索很有用，但在复杂场景中它们非常脆弱——尤其是在具有挑战性的情况下。这种对外观信息的过度依赖使得单目检测器特别容易性能下降。在自动驾驶栈中，3D物体检测提供了周围代理的几何状态，用于感知并直接支持决策制定（行为选择和运动规划），为下游模块提供了结构化、对安全性至关重要的场景理解。由于下游的决策和控制仅取决于上游的决策支持，因此3D检测的准确性和稳定性是整体驾驶质量和安全性的关键决定因素。因此，当单目检测器在遮挡下性能下降时，由此产生的深度误差和漏检可能会传播到跟踪和规划中，从而影响风险评估，可能导致现实世界部署中的不安全行为。

为了克服这些挑战，我们提出了MonoSTR，这是一种针对智能交通的结构感知单目3D系统，旨在通过明确利用结构线索来支持专家辅助决策，从而提高3D检测的鲁棒性。MonoSTR不仅仅依赖于外观，还通过引入一组表示每个物体几何结构的语义关键点来结构化推断部分观察到的区域。这些语义关键点以（x, y）对的形式编码，形成了一种轻量级且可解释的表示方式，与密集的图像特征相比，降低了特征维度和计算复杂性。缺失或不可靠的关键点利用基于粗略3D方向和结构对称性的自编码器进行重建；对称性约束和3D方向一致性进一步减少了重建的不确定性。图1(a)展示了我们的方法与LaMa（一种基于图像修复的基线方法，Suvorov et al., 2022）之间的比较。与图像修复不同，我们的基于骨架关键点的方法成功地利用结构线索重建了GT框内的物体几何形状。通过集成骨架关键点、几何先验和全局深度特征，MonoSTR在具有挑战性的情况下仍然保持鲁棒性，同时保持了低成本的单目输入。

此外，MonoSTR集成了一种双频带引导的深度预测器，该预测器明确将特征分解为低频和高频带，以平衡全局上下文和精细的结构细节，从而在遮挡情况下减少结构损失。如图1(b)所示，低频带捕获全局上下文，而高频带保留了对准确深度估计至关重要的精细结构边界和边缘。通过在频率域操作，该模块平衡了低频和高频成分，提高了深度估计的准确性。这为部分观察到的目标提供了更稳定的几何形状，并与关键点派生的结构更好地对齐，为下游3D解码提供了补充线索。

接下来，场景拓扑3D检测头根据周围场景结构对每个预测进行条件化处理，以促进布局一致性。它将候选框视为图节点，并用边将它们连接起来，从而在场景级别明确建模对象间的关系。通过消息传递，该头聚合邻域线索，分层调整中心、大小和3D方向。如图1(c)概念性所示，场景拓扑头通过利用与邻近物体的几何关系来调整错位的3D边界框，使其与整体场景布局对齐。这种设计将单目3D物体检测从独立的对象级回归转变为拓扑感知。通过明确建模预测对象之间的拓扑关系，它抑制了重复的框和3D方向抖动，并在部分观察情况下稳定了长距离定位。这些设计选择使得MonoSTR在自动驾驶感知系统中特别有效，因为在这些系统中遮挡和深度歧义经常发生。

本工作的主要贡献如下：

1. •
   我们引入了一种基于骨架关键点的结构表示方法，该方法使用自编码器重建器定位可见的关键点并重建被遮挡的关键点，从而减少遮挡下的结构信息丢失。我们的方法将语义骨架关键点（而非3D边界框角点）引入单目3D物体检测中。
2. •
   我们引入了一种双频带引导的深度预测器，该方法通过利用频率域线索来平衡全局上下文和细节，从而减少深度估计的不确定性。通过联合利用互补的低频和高频带，模型更忠实地恢复了图像级别的结构。在低频和高频内容之间保持平衡，减少了光谱偏差并增强了深度估计的鲁棒性。
3. •
   我们提出了一种场景拓扑3D检测头，该方法根据表示为场景图的物体间拓扑对框预测进行条件化处理。该头通过图消息传递在相邻提案之间明确建模对象间结构，在推理过程中通过图注意力整合拓扑先验，从而实现更准确的定位和一致的场景布局。

节选

单目3D物体检测

仅使用RGB图像，单目3D物体检测由于其低成本而受到了广泛关注。这些方法（Chen, Huang, Tian, Gao, Xiong, 2021; Chen, Tai, Sun, Li, 2020; Huang, Wu, Su, Hsu, 2022; Lei, Li, Jiang, Ju, Liu, 2024; Li, Liu, Lei, Ma, Fan, & Liu, Lin, Zhang, Zhou, Wang, Zhang, Wang, 2025; Na, Zhang, Zhao, Jia, 2025; Wang, Du, Ye, Fu, Guo, Xue, Feng, Zhang, 2021a; Wang, Zhu, Pang, Lin, 2021b; Wang, Chao, Garg, Hariharan, Campbell, Weinberger, 2019; Yan, Yan, Xiong）

概述

图2展示了所提出的MonoSTR，这是一种旨在解决遮挡导致性能下降问题的单目3D物体检测框架。在单目3D物体检测中，许多现有方法严重依赖于基于外观的线索，如纹理、颜色和局部视觉模式。然而，当物体部分被遮挡时，这些线索变得不可靠，常常导致深度估计不稳定和3D边界框定位不准确。

数据集

我们在KITTI 3D检测基准测试集（Geiger, Lenz, Stiller, & Urtasun, 2013）上进行评估，该数据集在德国卡尔斯鲁厄及其周边地区录制，涵盖了城市、乡村和高速公路驾驶场景，提供了7,481张带有校准相机参数和3D边界框注释的图像。按照常见的划分方式，3,712帧用于训练，3,769帧用于评估。在KITTI中，我们考虑了汽车和行人类别，并遵循三个标准难度等级

局限性和未来工作

我们观察到在具有挑战性的远距离和严重遮挡场景中存在特征性的失败情况，如图13所示。当物体非常远时，深度线索变得微弱，几何形状变得模糊，因此模型可能会产生不准确的深度估计或完全漏检，而在严重遮挡的情况下这个问题更加明显。此外，即使对于附近的车辆，如果严重遮挡隐藏了大部分物体结构，2D检测器也可能无法定位到该物体

结论

我们提出了MonoSTR，这是一种用于专家辅助智能交通的结构感知单目3D模块，它通过语义骨架关键点明确建模物体几何形状，并通过全局深度线索进行补充。语义骨架关键点作为可解释的结构线索，编码了关于物体几何形状的专家知识。通过结合抗遮挡的关键点路径和提供全局3D上下文的深度路径，MonoSTR形成了一个连贯的

CRediT作者贡献声明

Yeon Woo Cho：概念化、方法论、软件、形式分析、调查、写作——原始草稿。 Jung Woo Cheon：概念化、方法论、软件、形式分析、调查、写作——原始草稿。 Seok Bong Yoo：监督、项目管理、资金获取、写作——审阅和编辑。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Jung Woo Cheon的报告由全南国立大学提供。Jung Woo Cheon的报告得到了信息通信技术规划与评估研究所的财务支持。