PolarRTNormals：一种物理先验引导的偏振法线超分辨率实时网络

《Pattern Recognition》：PolarRTNormals: A physical prior-guided real-time network for polarimetric normals super-resolution

　　

• •
  提出一种面向低分辨率偏振输入的物理先验扩展方法，将其扩展为九通道表示。
• •
  设计一种轻量级法线超分辨率网络，包含RPDConv、CDRB和TAMF模块。
• •
  利用Mitsuba 3渲染构建物理一致的高分辨率法线标签。
• •
  验证该模型在高性能GPU和低功耗边缘设备上的实时部署能力。

引言

表面法线恢复是计算机视觉和模式识别领域中的一个基本密集预测问题，因为它需要从视觉观测中推断局部几何朝向、边界变化和表面结构[1]。在实时3D感知场景中，如机器人操作、在线工业检测和动态场景分析，该任务还要求同时实现高时间分辨率和高空间分辨率[2]、[3]。二者的联合实现在复杂开放环境中运行的智能感知系统中至关重要，仍然是3D视觉识别中的核心挑战[4]。高时间分辨率支持低延迟感知，减少快速运动或快速形变引起的延迟，而高空间分辨率则保留几何细节，以供下游识别和决策使用。

现有高速3D成像方法主要包括结构光[5]、ToF/LiDAR[6]、多视图重建[7]和偏振测量形貌（SfP）[8]、[9]。结构光和ToF/LiDAR依赖于主动发射或高带宽传感硬件，在微型化、强环境光照或高速采集条件下会增加硬件复杂度和功耗需求[5]。多视图重建依赖于帧间或视图间的匹配，难以应用于快速移动物体[7]。相比之下，SfP是被动的、单视图的且结构简单[10]、[11]、[12]。它在较低的前端采样负担下可以直接保留与表面朝向相关的偏振物理线索。这一特性在通过降低采集分辨率来提高吞吐量时尤为重要，因为它使得低分辨率偏振采集后进行高分辨率法线恢复在物理上具有意义。

现有的SfP方法仍不能满足实时推理和超分辨率的联合需求[13]。大多数现有SfP流程假设同分辨率的偏振输入和同分辨率的法线输出[14]，因此未解决本文研究的场景——即有意降低采集分辨率以提高吞吐量，而缺失的高频几何信息必须在重建过程中恢复，而非在传感器层面恢复。传统SfP方法通常需要额外的物理约束，且对场景和光照敏感[15]、[16]、[17]。基于学习的SfP方法提高了重建精度并扩展了适用场景范围[13]、[18]，但它们主要针对离线高精度重建。在本文所研究的场景中，空间降采样后偏振信息仍然具有价值，但缺失的几何细节必须通过面向任务的低到高建模来恢复。因此，传统图像超分辨率不够充分，因为它恢复的是像素域的外观而非偏振调制与表面法线几何之间的物理关系[19]。

为解决上述差距，本文提出了PolarRTNormals，一种物理先验引导的实时偏振法线超分辨率网络，明确针对低分辨率偏振采集下的高分辨率法线恢复。其目的不仅仅是放大输入或输出分辨率，而是利用具有物理信息的低分辨率偏振测量值，通过几何感知的超分辨率建模来重建缺失的高频几何信息。图1展示了代表性方法在速度、精度和模型大小方面的比较，其中AB30表示角度误差小于30°的有效像素百分比，数值越高表示性能越好。PolarRTNormals以低延迟和紧凑的参数数量实现了具有竞争力的重建精度，展现出优异的精度-效率权衡。我们进一步在三个NVIDIA GPU平台（RTX 2080Ti、RTX 3090和A800）以及两个边缘设备（NVIDIA ${\mathrm{Jetson}}^{\mathrm{?}}$ AGX Orin开发者套件（275 TOPS，15W至60W）和树莓派5配AI HAT+（26 TOPS，25W）上评估了该模型。标准模型在GPU平台上达到177–261 FPS，在边缘设备上达到45–75 FPS。

在公开数据集和自建数据集上的实验表明，所提方法在重建精度、细节保留和跨平台部署之间取得了良好平衡。它在保持物理可解释性的同时，为动态场景中的实时SfP提供了一种实用框架。主要贡献总结如下。

(1) 我们引入了一种物理先验扩展策略，将原始四通道偏振观测转换为九通道表示，包含原始强度、偏振度、方位角的三角函数嵌入及相关物理量。这使网络处理前低分辨率输入具有物理可解释的表示。

(2) 我们设计了一种轻量级特征提取与融合框架，集成了RPDConv、CDRB和TAMF。该框架仅使用3.09M参数即可联合建模局部几何细节和全局结构。

(3) 我们基于Mitsuba 3物理渲染、MeshLab亚像素配准和结构光3D扫描构建了高精度标注流程。该流程生成物理一致的高分辨率法线标签，避免了插值标签带来的几何伪影。

(4) 我们进一步在高性能GPU和低功耗边缘设备上进行了多平台部署评估，验证了该模型在不同硬件和精度设置下的实时推理潜力。

章节摘要

相关工作

动态场景的高速3D成像通常通过结构光、ToF/LiDAR、被动多视图重建和偏振成像来实现[5]、[7]。结构光和ToF/LiDAR可以提供精确的深度测量，但它们依赖于主动投影或测距硬件，并且需要在照明功率、采集速度、空间分辨率和处理成本之间取得平衡[5]。基于SfM的重建是被动的且可扩展的。然而，特征匹配和捆绑调整

面向低分辨率偏振成像的物理先验扩展

光是电磁波，其振荡方向垂直于传播方向。偏振描述的是光矢量在垂直于传播方向的平面上的振动状态[10]、[12]。为了超越直接反演线偏振角（AoLP）和线偏振度（DoLP）的传统SfP方法，我们将该任务建模为由低分辨率偏振观测驱动的高分辨率法线重建。本文

数据集。

我们在三个数据集上评估所提方法。PolarRTNormals是一个自建的实时法线超分辨率SfP数据集。使用LUCID TRI050S-QC偏振相机在0°、45°、90°和135°处采集四张偏振图像，分辨率为256×256，这些图像通过MeshLab与0.05mm结构光扫描进行配准，然后在Mitsuba 3中渲染为三倍分辨率的法线标签。该数据集包含21个物体和421个样本，涵盖陶瓷、雕塑类材料等

讨论

PolarRTNormals展示了一种物理上合理的方法，将低分辨率偏振采集与直接高分辨率表面法线重建相结合。它不遵循传统的同分辨率SfP方法，也不将该任务视为通用超分辨率问题，而是将其建模为由偏振物理引导的低到高法线恢复。通过九通道物理先验扩展和基于Mitsuba 3的高分辨率监督，PolarRTNormals保留了

结论

本文提出了PolarRTNormals，一种物理先验引导的实时框架，用于从低分辨率偏振观测中恢复高分辨率表面法线。通过结合九通道偏振先验扩展、基于Mitsuba 3的高分辨率法线监督和轻量级超分辨率网络，所提方法将减少前端采集与直接高分辨率法线恢复统一在一个框架内。在自建的PolarRTNormals数据集上的实验

CRediT作者贡献声明

王保林：撰写——审阅与编辑，撰写——初稿，可视化，验证，调查，数据管理。高宇：数据管理。黄继鹏：撰写——审阅与编辑，资金获取，形式分析。周程：撰写——审阅与编辑，资金获取，形式分析。

生成式AI与AI辅助技术声明

作者感谢使用OpenAI ChatGPT来提高本文稿的可读性并检查语法错误。作者已审阅并编辑了相关内容，并对出版物内容承担全部责任。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报道的工作。

致谢

本工作得到了国家自然科学基金（批准号62301140）和中央高校基本科研业务费（批准号2412024QD005）的支持。

王保林|高宇|黄继鹏|周程