PGBins：基于偏振数据的物理几何先验模型，用于形状特征的提取

《Optics & Laser Technology》：PGBins: Physical-geometric prior bins for shape from polarization

　　

摘要

极化测形（SfP）是一种强大的三维成像技术，能够实现高精度和细粒度的几何重建。然而，现有的基于深度学习的SfP方法仅依赖于偏振线索，未能有效地建立内在物理属性与几何约束之间的关联，导致在复杂场景中的性能严重下降。为了提高重建精度，我们利用从物理模型估计出的不确定表面法线、偏振线索和度量传感器深度作为物理-几何先验，以提供补充特征。具体来说，我们设计了一个两阶段表面法线估计基线（RDPNet），该基线包括一个初始表面法线估计阶段和一个基于物理-几何先验 bins（PGBins）的细化阶段。在初始估计阶段，采用了四分支编码器和提出的自适应加权特征融合（AWFF）模块，有效捕获多模态特征并建模跨模态关系，从而在复杂场景中实现更稳健的重建。在第二阶段，引入了受 PGBins 想法的分类-回归机制，从多维候选者中选择最佳法线，从而减轻了 SfP 的固有不确定性。广泛的实验结果表明，所提出的方法可以显著提高 SfP 方法的精度和稳健性，特别是在具有挑战性的场景中。

引言

估计几何信息（如表面法线）是各种下游计算机视觉应用中的基础任务，包括机器人抓取[1]、3D 重建[2]、同时定位与地图构建（SLAM）和自动驾驶。作为理解 3D 场景的重要几何特征，表面法线有助于感知建模的理解，并提高深度预测的精度[3]。此外，结合位置信息，它们可以用于构建网格数据[4]，实现在 3D 重建和虚拟现实技术中的渲染和交互。

从单目图像估计表面法线的主要方法通常根据输入数据类型分为两类：基于 RGB 的方法和基于偏振的方法（SfP）。

深度学习的最新进展在几何估计任务中取得了显著进展。大多数现有方法[5][6][7][8][9][10]利用来自单目 RGB 图像的上下文信息来预测表面方向，并在光照良好和纹理丰富的区域实现了令人印象深刻的性能。然而，RGB 观测在无纹理区域（透明物体、镜面表面）或在极端光照条件下无法提供可靠的视觉线索，这阻碍了模型提取区分性特征表示。考虑到深度和表面法线之间的内在几何相关性，许多方法专注于深度和法线估计的联合学习[11][12]。具体来说，表面法线由 3D 表面的局部切平面定义，该切平面本质上编码了包括深度导数的细粒度几何上下文。联合学习策略实现了双向信息传播和两个任务之间的相互几何约束规范化，从而有效提升了整体性能。尽管如此，仍然存在关键挑战。当前的深度规范化策略无法建立可靠的局部一致深度-法线几何约束，在结构边界和噪声区域内产生不准确的估计，如图 1 所示。此外，基于 RGB-D 的方法在特征不足的区域仍面临困难，尤其是在 RGB 和深度传感器都不可靠的透明和反射表面上。

由于其即使在缺乏纹理的具有挑战性的场景中也能重建细粒度几何结构的能力，极化测形（SfP）在过去几十年中吸引了大量研究兴趣[13][14][15]。传统的 SfP 方法主要依赖于菲涅耳方程和偏振反射物理模型，通过计算偏振图像的方位角和天顶角来估计表面法线。然而，SfP 本质上的$\pi$不确定性问题导致某些区域估计的表面法线出现较大误差，从而严重降低了相应区域重建的 3D 形状的性能。近年来，许多研究集中在解决这一不确定性问题上，可以分为两类：利用光信息的 SfP（SfP-LI）和利用深度传感器的 SfP（SfP-D）。SfP-LI 方法单独或联合利用照明和阴影线索作为约束来解决$\pi$不确定性问题。然而，这些方法通常需要复杂的照明设置，这不适合大多数实际应用。相比之下，通过利用来自深度传感器的额外几何信息，SfP-D 方法可以有效地纠正方位角的$\pi$不确定性，从而获得高质量的 3D 重建结果。尽管性能很有前景，但 SfP-D 方法面临一个关键瓶颈：在不同传感器的图像之间进行准确注册对于 SfP-D 方法来说是极困难的，尤其是在特征点不足的成像场景中。

为了解决上述挑战，我们引入了一种新的物理-几何先验 bins（PGBins）用于 SfP，将不完整的物理模型和度量传感器深度作为物理-几何先验来补充补充特征。首先，为了处理传感器缺陷并加强物理-几何先验的跨模态互补性，我们在初始估计阶段设计了一个自适应加权特征融合（AWFF）模块来生成初始表面法线。随后，为了减轻$\pi$不确定性和深度网络引入的估计误差，开发了一种受 PGBins 想法启发的新型分类-回归机制，从预测的表面法线候选者和来自物理模型的其他不确定法线中选择最佳法线。

总之，本研究的贡献可以总结如下：

• •
  提出了一种基于物理-几何先验 bins（PGBins）的两阶段表面法线估计网络（RDPNet），用于高质量 SfP 重建。该框架将度量传感器深度和物理偏振模型整合为统一的物理-几何先验，显著提高了法线估计精度，特别是在包括透明物体、镜面表面和极端光照条件在内的具有挑战性的场景中。
• •
  对于初始估计阶段，设计了一个配备了跨模态注意力机制的自适应加权特征融合（AWFF）模块。该模块自适应地加权来自不同模态的特征，以利用互补信息，在特征融合阶段抑制模态特定的噪声，同时增强有效的物理和几何约束。
• •
  在消除不确定性阶段，我们开发了一种 PGBins 策略，将来自物理偏振模型的不确定法线与网络预测相结合，并通过分类-回归机制从候选解中选择最佳法线。这种设计显著减轻了基于偏振的重建的固有不确定性。

章节摘录

相关工作

现有的单目表面法线估计流程可以根据输入模态大致分为两个主流分支：基于 RGB 的方法和基于偏振的方法（SfP）。

整体架构

所提出方法的概述如图 3 所示。RDPNet 主要包含两个阶段。(1) 在初始表面法线估计阶段，从彩色图像（RGB）中提取物理-几何先验，以及来自物理模型和度量传感器深度的不确定法线。然后，通过新设计的 AWFF 模块（见第 3.3 节）有效地融合多模态特征，该模块嵌入了跨模态注意力机制，从而得到初步结果

实验设置

实现细节：我们的模型使用 PyTorch [39] 实现。网络在单个 NVIDIA RTX 4090D GPU 上进行了 6 个 epoch 的训练，批量大小为 2，梯度每 4 个批量累积一次。我们使用 AdamW 优化器[40]，并使用单周期策略[41]调度学习率，最大学习率设置为（其他超参数保持默认值）。

数据集：为了验证所提出方法在具有挑战性的任务上的性能，如

结论

在本文中，我们提出了一种称为 RDPNet 的两阶段表面法线估计网络。为了解决主流深度学习驱动的 SfP 方法中存在的固有不确定性和复杂场景性能瓶颈，引入了一种新的物理-几何先验，该先验利用从物理模型和度量传感器深度估计出的不确定表面法线来补充补充特征。此外，设计了一个 AWFF 模块来充分挖掘跨模态的互补性

CRediT 作者贡献声明

米泽天：写作 – 审稿与编辑，写作 – 原始草稿，监督，项目管理，方法论，资金获取，形式分析，概念化。蔡泽峰：可视化，验证，方法论，形式分析，数据整理。郭贵猛：写作 – 原始草稿，可视化，验证。杜凤明：监督，资金获取。张继清：监督，资金获取。王慧冰：监督，项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（项目编号 52671419）和辽宁省自然科学基金（项目编号 2026-BS-0223）的博士研究启动基金的支持。

Zetian Mi|Zefeng Cai|Guimeng Guo|Fengming Du|Jiqing Zhang|Huibing Wang|Xianping Fu