UD-SfPNet：用于三维法线重建的水下去散射偏振光度网络

《Pattern Recognition》：UD-SfPNet: An underwater descattering shape-from-polarization network for 3D normal reconstruction

　　UD-SfPNet 联合训练水下偏振去散射与偏振法线估计（SfP）。端到端训练避免了级联流水线中的误差累积。颜色嵌入迁移通过 RGB 编码法线强制几何一致性。细节增强卷积在两个阶段均提升了高频几何细节。在 MuS-Polar3D 数据集上平均角度误差为 15.12°，优于强基线方法。引言水下机器人与载人潜水器依赖于高性能的水下成像与 3D 感知来进行海洋探索。空气中的光学 3D 成像已具有很高的成熟度[1]。近年来的进展进一步展示了结构化特征交互在表面法线估计中的价值[2]，以及强效复原先验在底层视觉中的价值[3]，其中全局注意力机制促进了偏振测形（shape-from-polarization）精度的提升[4]。然而，在具有散射特性的水下环境中，由于水中的米氏散射[5]，光学 3D 成像性能显著下降。这种退化表现为纹理细节模糊、有效作用距离大幅缩短以及严重噪声。近年来，计算机视觉、图像处理与模式识别领域的研究解决了多种视觉任务，例如甲状腺超声分类[6]、医学视频压缩[7]、图像压缩[8]、室内目标检测[9]以及非接触手势识别[10]。这些进展促使人们探索针对水下偏振 3D 成像的任务特定视觉建模。受计算成像[11]启发，本文从成像流水线的视角重新审视水下 3D 成像。完整的水下 3D 成像流水线被分解为两个顺序阶段：初始去散射过程，以及随后的 3D 重建。在多种可用的光学先验中，光偏振在两个阶段均展现出独特优势。基于这一观察，本文提出一种全链路优化策略：信息在去散射与重建阶段之间进行编码，以突破传统光电成像的局限，所得结果超越并改进了原始观测。大多数先前研究，例如 Wu 等人[12]和 Li 等人[13]，直接使用深度学习模型处理水下数据。Wang 等人[14]明确地将水下 3D 成像表述为包含去散射及随后 3D 重建的两阶段流水线。然而，两个模型是独立训练的，且下游视觉任务在去散射结果上执行，这可能导致级联处理流水线中的误差累积。为了解决这一问题，本文提出一种基于偏振的水下 3D 重建方法，将偏振物理集成进去散射过程与 3D 重建过程的统一建模框架中。该方法并非分别优化两个阶段，而是实现了上游复原与下游几何估计之间的端到端信息共享与全局梯度传播，为水下机器人 3D 视觉感知提供了新的视角。主要贡献如下：1. 本文提出 UD-SfPNet，一个面向水下偏振 3D 成像的统一全链路框架，联合优化去散射与偏振测形（SfP）。与独立训练两阶段的级联流水线不同，UD-SfPNet 通过端到端梯度传播使上游复原误差能够被下游几何监督所纠正。2. 本文设计了一种物理感知的协同架构，将偏振参数网络、去散射网络与法线估计网络耦联在一起。该设计在保留偏振线索的同时，显式地将底层可见性恢复与高层几何推理相联系。3. 本文引入两个面向任务的模块，用于鲁棒的水下法线恢复：一个颜色嵌入模块，通过跨通道结构一致性来正则化 RGB 编码的法线预测；以及一种细节增强卷积，在去散射与法线估计两个环节强化方向性和高频几何细节的恢复。4. 在 MuS-Polar3D 数据集[14]上进行了大量实验，证明 UD-SfPNet 的有效性，取得了 15.12° 的平均角度误差，并优于强基线方法。章节摘要偏振去散射偏振去散射的核心思想是利用散射光与物体反射光在偏振状态上的差异，通过偏振计算分离这些分量，以恢复被散射所掩盖的目标信息。在水下场景中，光子的散射和吸收比大气中更强烈。因此，结合衰减补偿的偏振分离已成为主流研究方向。经典的……偏振成像原理在偏振计算成像中，斯托克斯向量（Stokes vector）被广泛用于表示和编码偏振特性[33]。焦平面分割型（DoFP）偏振相机[34]可以同时捕获在四个不同偏振角度下的强度图像，分别记为 I?°、I??°、I??° 和 I???°。基于这四张偏振图像，可以计算出斯托克斯参数 S = [S?; S?; S?] = [I?° + I??°; I?° ? I??°; I??° ? I???°]。其中，S? 为总强度，S? 为……（差值）训练设置将公开 MuS-Polar3D 数据集[14]中的 726 个散射样本按 8:1:1 比例划分为训练集/验证集/测试集。所提出的 3D 成像框架在 PyTorch[43]平台上使用 4 块 NVIDIA A100 GPU 进行 1000 个 epoch 的训练，学习率为 0.001。训练过程中，随机裁剪 256 × 256 大小的图像块，其中超过一半的像素为有效像素，并采用基于图像块的训练作为数据增强。推理阶段同样在 256 × 256 的图像块上进行；a……结论严重的散射仍然是水下光学 3D 成像的核心障碍，尤其是当去散射与偏振测形被视为两个相互孤立的阶段时。本文通过提出 UD-SfPNet 来应对这一局限，它是一个联合优化偏振引导去散射与法线估计的统一框架。通过将底层复原与下游几何监督耦联，该方法减少了级联处理中的误差累积，并取得了整体最佳的……CRediT 作者贡献声明王普运（Puyun Wang）：撰写—初稿、验证、软件、数据整理。俞凯民（Kaimin Yu）：撰写—审阅与编辑、方法论。何华杨（Huayang He）：撰写—审阅与编辑、概念构思。黄峰（Feng Huang）：撰写—审阅与编辑。吴贤宇（Xianyu Wu）：方法论、概念构思、项目管理、资源、监督指导。陈雅婷（Yating Chen）：撰写—审阅与编辑、监督指导。关于稿件准备过程中使用生成式 AI 与 AI 辅助技术的声明在撰写本文期间，作者使用了 ChatGPT（OpenAI）以改进稿件的可读性和语言表达。使用该工具/服务后，作者对内容进行了审阅和必要的编辑，并对所发表文章的内容承担全部责任。利益冲突声明作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。致谢本研究得到福建省自然科学基金（2023J01057）和福州大学（XRC-24107）的资助。王普运 | 俞凯民 | 何华杨 | 黄峰 | 吴贤宇 | 陈雅婷