《Sensors》:Physics-Guided Learning for Monocular Visual Object Localization in Indoor Environments
编辑推荐:
精确的物体定位对于实现室内机器人系统的自主运行至关重要。作为一种低成本、紧凑且灵活部署的解决方案,单目视觉物体定位(MVOL)高度适用于轻量级嵌入式机器人平台。然而,传统的数据驱动MVOL方法受限于二维到三维(2D-to-3D)病态映射的固有缺陷,该缺陷源于无
精确的物体定位对于实现室内机器人系统的自主运行至关重要。作为一种低成本、紧凑且灵活部署的解决方案,单目视觉物体定位(MVOL)高度适用于轻量级嵌入式机器人平台。然而,传统的数据驱动MVOL方法受限于二维到三维(2D-to-3D)病态映射的固有缺陷,该缺陷源于无法约束真实场景的空间物理逻辑,导致严重的深度模糊、不准确的尺度估计以及物理上不合理的预测。为解决这些问题,研究人员提出了一种新颖的物理引导单目视觉定位框架,称为PC-IMVL,用于室内场景。PC-IMVL将深度视觉感知与嵌入式物理建模相结合,明确将空间物理约束引入网络优化过程,并构建了一个物理一致性感知损失函数,以正则化三维位置和姿态估计。结合轻量级定制架构,该框架实现了高效且可靠的嵌入式部署。离线实验和真实世界在线测试验证了所提方法的有效性。PC-IMVL的平均绝对误差(AE)为0.095–0.333 m,将早期融合方法的定位误差降低了50%以上。在3–4 m的工作距离内,其相对误差(RE)达到2.4%,水平视角误差(VAE)低于2°,优于现有最先进的MVOL方法。物理引导机制的有效性得到了验证。这项工作为嵌入式室内机器人系统提供了一种实用的高精度定位解决方案。
**研究背景与问题:**
室内机器人系统在家庭服务、工业维护和高风险操作场景中日益普及,可靠的三维物体定位是实现自主导航和操作的基本前提。尽管深度学习显著提升了二维物体检测和特征表示技术,但在非结构化、杂乱且低照度的室内环境中,精确且物理一致的三维定位仍然是轻量级嵌入式机器人的关键瓶颈。与昂贵的激光雷达(LiDAR)设备、笨重的多相机系统和复杂的多传感器融合模块相比,单目视觉物体定位(MVOL)提供了一种低成本、紧凑且高度可部署的感知方案,最适用于资源受限的室内机器人平台。然而,传统数据驱动MVOL方法存在固有的二维到三维病态映射问题,由于缺乏对真实场景空间物理逻辑的约束,导致严重的深度模糊、尺度估计不准确及物理不合理预测。现有方法多依赖类别级尺寸先验、预建立三维模型或多视图三角测量,但在无先验、单视图、近距离的室内场景中难以适用。为此,研究人员开展了这项研究,旨在提出一种无需物体先验、单次推理即可实现度量三维坐标估计的物理引导定位框架。
**研究内容与结论:**
研究人员提出了一种物理约束的室内单目视觉定位框架(PC-IMVL),该框架将显式的针孔相机几何约束嵌入端到端网络优化中,通过可解释的物理中间表示和协同多分量损失函数,实现了无物体先验的单次度量坐标估计,不依赖物体类别统计、三维模板或多视图视差。离线实验、仿真实验和真实世界在线测试表明,PC-IMVL在绝对误差(AE)、相对误差(RE)和水平视角误差(VAE)上均优于早期融合方法(EFM)和纯深度学习方法(DL),平均绝对误差为0.095–0.333 m,在3–4 m工作距离内相对误差为2.4%,视角误差低于2°,定位误差较早期融合方法降低50%以上。消融实验验证了空间损失、物理约束损失和交叉耦合损失的互补作用,有效缓解了位置与角度优化之间的权衡。该论文发表在《Sensors》上,为嵌入式室内机器人系统提供了高精度定位解决方案。
**主要关键技术方法:**
研究人员采用的主要方法包括:预感知模块(基于YOLOv11进行物体检测,基于DepthAnything-V2进行相对深度估计)和空间坐标预测网络(由多层感知机-残差网络(MLP-ResNet)、物理层与多层感知机(MLP)组成)。核心创新在于物理约束损失函数,该函数包含三个分量:空间损失(结合三维欧几里得距离和单轴分量误差,并采用偏差自适应放大函数)、物理约束损失(基于针孔相机模型,引入距离d、水平角θ
h和垂直角θ
v作为中间变量,使用分段角度惩罚函数)以及交叉耦合损失(协同优化空间误差与角度偏差)。样本队列来源为研究人员在12 m × 7 m × 3 m的室内实验室环境(光照50–200 lux)中采集的17,651个RGB图像样本,涵盖人、无人地面车辆(UGV)和储物箱三类目标,距离范围1–6 m,并使用光学跟踪系统标注厘米级三维坐标。
**研究结果:**
**4.2 离线实验(Offline Experiment)结果:** 通过在不同距离区间(1–2 m、2–3 m、3–4 m、4–5 m)测试各类目标,PC-IMVL在所有距离和类别上均优于EFM和DL方法。在1–2 m时,PC-IMVL对Person、UGV和Box的绝对误差(AE)分别为0.568 m、0.330 m和0.360 m,显著低于EFM的0.859 m(Person)。在3–4 m时,PC-IMVL达到最小AE(UGV为0.120 m)。相对误差(RE)方面,PC-IMVL在1–5 m范围内保持14.05–29.11%,而EFM和DL的RE随距离增大(Person达48.15–48.34%),表明PC-IMVL有效抑制了误差累积。
**4.3 仿真实验(Simulated Experiment)结果:** 在动态定位场景中,PC-IMVL的绝对误差(AE)和水平视角误差(VAE)均最低。平均AE约0.2 m,较DL基线(约0.4 m)提升50%,较EFM基线(约1.0 m)降低80%。VAE稳定在约1°,优于DL(约2.5°)和EFM(约3.0°)。预测散点分布图显示PC-IMVL的预测点紧密聚集在真值附近,而DL和EFM存在严重空间偏差。
**4.4 消融实验(Ablation Experiment)结果:** 通过对比不同损失分量组合,单独空间损失L
spa的AE为0.265 m;单独物理约束损失L
phy的AE达21.992 m但角度误差为5.71°;L
spa与L
phy组合的AE降至0.252 m但角度误差升至9.00°;完整损失(L
spa+L
phy+L
cou)实现了最低角度误差4.71°和接近最优的AE 0.261 m,验证了多分量互补优化的有效性。
**4.5 真实世界实验(Real-World Experiment)结果:** 在NVIDIA Jetson AGX Orin嵌入式平台上部署后,PC-IMVL在绝对误差(AE)、样本方差(SV)和平均执行时间(AET)方面均优于EFM和DL,实现了精度、鲁棒性和计算效率的良好平衡。
**总结与结论:**
讨论部分指出,PC-IMVL通过嵌入物理几何约束,有效解决了室内短距离单目视觉物体定位中的误差累积和物理不一致问题,无需物体先验或额外传感硬件。但当前方法在室外泛化方面存在限制,如强动态光照、远距离目标角度敏感度降低以及非结构化环境杂波干扰。未来工作将构建混合室内外数据集、设计距离自适应损失权重、采用强化学习自适应调参、知识蒸馏轻量化集成架构,并引入双目相机系统以进一步提升定位精度。**研究结论(翻译):** 本文提出了PC-IMVL,一种物理约束的单目视觉定位框架,解决了现有单视图度量定位方法的关键局限,包括先验依赖、几何不一致性和低可解释性。与传统的多视图三角测量、基于深度的早期融合和纯数据驱动回归方案不同,PC-IMVL将显式的针孔几何约束嵌入端到端网络优化中。通过利用可解释的物理中间表示和协同多分量损失函数,该方法实现了无需物体类别统计、三维模板或多视图视差的物体先验无关单次度量坐标估计,从而确保物理一致的定位预测。充分的消融研究验证了空间损失、物理损失和耦合损失的互补作用,有效缓解了位置与角度优化之间的权衡。对比测试和真实世界动态实验进一步证明,PC-IMVL在保持嵌入式部署可行计算效率的同时,在精度、角度稳定性和鲁棒性方面均优于基线方法。