SfP-underwater：基于注意力的极化形状识别方法，适用于水下散射环境

《Optics & Laser Technology》：SfP-underwater: Attention-based shape from polarization for underwater scattering environments

水下极化成像三维重建技术面临散射效应导致图像质量下降的挑战。本文提出基于注意力机制的SfP-Underwater方法，通过双池Swin Transformer编码器提取特征，并采用并行空间和通道注意力融合模块实现深度特征融合。构建首个水下散射环境极化三维重建数据集，实验表明该方法在纹理细节重建和表面法线估计精度上显著优于现有方法，且具有跨散射介质环境的强鲁棒性。

　　在水下光学三维重建技术的发展过程中，水体散射效应对图像质量的破坏一直是影响该领域进步的重要挑战。这种散射现象会导致光线在传播过程中发生随机偏转，从而使得目标反射的光信号受到干扰，降低图像的清晰度和对比度。为了解决这一问题，研究者们提出了多种解决方案，其中极化成像技术因其在抑制水体散射和估计表面法线方面的潜力而备受关注。本文提出了一种基于注意力机制的水下散射环境下的形状从极化（Shape from Polarization in Underwater Scattering, SfP-Underwater）方法，旨在提升水下三维重建的准确性和鲁棒性。

水下光学三维重建技术在海洋生物学、地质学、考古学等众多领域具有重要应用价值。然而，水下环境的复杂性，尤其是光的散射和吸收效应，对图像质量造成了严重影响。在浑浊水体中，目标反射的光信号会因散射而大幅衰减，导致图像模糊和细节损失，这给三维重建带来了巨大挑战。近年来，极化成像技术因其独特的物理特性和强大的信息提取能力，成为解决水下光学三维重建问题的有力工具。该技术利用目标反射光的极化信息，有效抑制水体散射，增强目标与背景之间的对比度，从而显著改善水下成像效果。

极化成像技术（Underwater Polarization Imaging, UPI）通过捕捉目标反射光的极化信息，来实现对水下环境的适应性成像。它不仅能够减少散射对图像质量的干扰，还能够提高目标在复杂背景中的识别能力。例如，Li等人[11]利用线性偏振光来抑制大部分后向散射光，并结合平均滤波技术快速估计透射率，从而实现清晰的水下成像。Hu等人[12]则提出了一种基于学习的UPI方法（PDN），该方法通过残差密集网络学习目标反射光与极化信息之间的关系，实验结果表明，引入极化信息可以显著提升水下成像质量。随后，Hu等人[13]进一步开发了PUM2-Net方法，该方法结合了被动UPI模型与PDN框架，通过融合极化物理模型的可解释性与神经网络的特征提取能力，为UPI提供了新的视角。Gao等人[14]提出了一种基于Mueller变换矩阵神经网络的UPI方法（MTM-Net），该方法利用Mueller变换矩阵的物理特性，进一步提升了UPI的质量。Lin等人[15]则开发了基于Transformer的UPI方法（TIU-Net），该方法结合了卷积神经网络（CNN）和Transformer模块，分别提取短距离和长距离特征，并引入多维极化信息以增强网络性能。

形状从极化（Shape from Polarization, SfP）技术通过分析目标反射光的极化信息，来恢复物体表面的细节纹理。然而，仅依赖单张图像的极化信息来确定表面法线时，存在固有的模糊问题。为了解决这一问题，众多学者进行了广泛研究，提出了多种解决方案。传统SfP方法通常采用“极化+X”的模式，例如结合阴影信息[16]、多视角信息[17]或数据融合技术[19]等。Mahmoud等人[16]通过融合极化信息与阴影信息来恢复物体的形状，但在处理具有复杂表面结构或混合反射特性（如镜面反射与漫反射）的物体时，可能会遇到困难。Miyazaki等人[17]则通过结合多视角与极化信息来估计表面法线，但由于相互反射和未知折射率的影响，其重建精度受到了限制。Smith等人[18]提出了一种直接从单张未校准的极化图像中估算物体表面高度的方法，该方法通过求解大规模稀疏线性系统实现，但其依赖于极化图像的质量和模型的准确性，且在未校准光照条件下可能不够鲁棒。Achuta等人[19]则利用Kinect传感器获取的粗糙深度图来校正物体表面的模糊法线，这些“SfP+X”方法通常假设物体表面仅表现出纯镜面反射或纯漫反射特性，但此类方法在解决法线模糊问题时往往增加了实验的复杂性，并需要额外的数据处理才能有效恢复物体表面形状。

近年来，基于深度学习的SfP方法取得了显著进展。Ba等人[20]首次提出了一种基于学习的SfP方法（DeepSfP），该方法通过U-Net架构，以四张极化图像和法线先验作为输入，实现对表面法线的估计。Lei等人[21]在场景级SfP中引入了视角编码、多头自注意力机制和新的极化表示方法，显著提升了SfP的性能。Zou等人[22]提出了一种两阶段的基于学习的SfP方法，用于从单张极化图像中估算三维人体形状，利用物理先验法线图来提高准确性。然而，该方法在处理复杂姿态和细节时仍存在局限。Lyu等人[23]提出了一种两阶段的学习框架，用于估算未知远距离光源的光照情况，该方法有效解决了SfP中的法线模糊问题，并提高了重建表面法线的准确性和细节。但该方法的计算复杂度较高。Chen等人[24]则将极化图像与神经隐式表面重建技术相结合，用于纹理缺失和镜面反射物体的三维重建，并采用哈希网格加速处理过程。然而，该方法在存在大量噪声的极化角度（AoP）图像上表现不佳，且需要大量的输入视角。

尽管极化成像和形状从极化技术已经得到了广泛研究，但在水下散射环境中实现高质量的SfP仍然是一项重大挑战。本文提出了一种新的基于学习的SfP方法（SfP-Underwater），该方法在水下散射环境中实现了对目标表面法线的准确重建。该方法结合了双池化Swin Transformer编码器（DPSFormer）和并行空间与通道注意力融合模块（PSCAF），从而提升特征提取的效率和质量。此外，本文还构建了首个SfP-Underwater数据集，该数据集包含了水下散射环境中的目标极化图像、对应的地面真实法线图以及基于相机内参计算的视角编码信息。通过在不同浑浊度条件下对多种目标进行水下成像实验，该数据集能够代表水下环境的多样性，为后续研究提供了重要的基础。

为了验证所提出方法的有效性，本文与当前最先进的SfP方法进行了比较实验，实验结果表明，所提出的方法在水下散射环境中取得了显著的性能优势。同时，该方法在三种不同的散射环境中表现出较强的鲁棒性，为水下三维重建提供了一种新颖且高效的解决方案。此外，本文所构建的SfP-Underwater数据集填补了水下重建任务中数据资源不足的空白，为相关研究提供了重要支持。

在SfP-Underwater方法的设计过程中，首先采用双池化Swin Transformer编码器（DPSFormer）来高效提取特征。Swin Transformer是一种基于视觉变换器（Vision Transformer, ViT）的模型，它通过引入滑动窗口机制和局部注意力机制，能够在保持高效计算的同时，捕捉图像中的局部和全局特征。DPSFormer在此基础上进行了改进，通过双池化机制进一步提升特征提取的效率。在编码器的输出阶段，所提取的特征将被送入并行空间与通道注意力融合模块（PSCAF）。该模块通过空间注意力和通道注意力机制，分别对图像的空间特征和通道特征进行融合，从而实现更深层次的特征融合。这种融合机制不仅能够增强网络对关键区域的感知能力，还能够提升对复杂水下环境的适应性。

在解码阶段，PSCAF模块将融合后的特征输入到解码器中，解码器通过注意力机制进一步优化对高频率区域的重建能力。通过这种机制，网络能够更精准地恢复物体表面的细节纹理，同时提高法线估计的准确性。实验结果表明，SfP-Underwater方法在水下散射环境下的表面法线预测精度和纹理细节保持方面均优于现有方法。此外，该方法在不同散射环境中表现出较强的鲁棒性，能够适应多种水下条件，为水下三维重建提供了一种稳定且高效的解决方案。

为了确保所提出方法的有效性，本文构建了SfP-Underwater数据集。该数据集包含了多种目标在不同水下散射环境中的极化图像，以及对应的地面真实法线图和视角编码信息。视角编码信息是基于相机内参计算的，它能够帮助网络更好地理解图像的视角信息，从而提升法线估计的准确性。该数据集的建立不仅为SfP-Underwater方法的训练和测试提供了基础，也为后续水下极化成像和形状从极化研究提供了重要的数据支持。通过在不同浑浊度条件下对目标进行水下成像实验，该数据集能够覆盖水下环境的多样性，为不同散射条件下的研究提供可靠的数据基础。

在实验过程中，本文采用了一系列评估指标来衡量所提出方法的性能。这些指标包括表面法线估计的准确性、纹理细节的保持能力以及在不同散射环境下的鲁棒性。实验结果表明，SfP-Underwater方法在水下散射环境下表现出卓越的性能，其表面法线预测精度和纹理细节保持能力均优于现有方法。此外，该方法在三种不同的散射环境中均能够保持较高的鲁棒性，说明其在不同水下条件下的适应性较强。这些结果不仅验证了所提出方法的有效性，也为水下三维重建技术的发展提供了新的思路。

在实际应用中，SfP-Underwater方法能够有效提升水下光学成像的清晰度和对比度，为水下三维重建提供更准确的表面法线信息。这对于水下目标的识别、定位和分类具有重要意义。例如，在水下考古学中，研究人员可以通过该方法更准确地重建水下文物的表面结构，从而辅助考古研究。在水下地质学中，该方法可以用于重建海底地形的表面特征，提高地质分析的准确性。在海洋生物学中，该方法可以用于研究水下生物的表面形态，为生物特征分析提供支持。此外，该方法在水下机器人导航、水下目标识别和水下环境建模等方面也具有广阔的应用前景。

综上所述，本文提出的SfP-Underwater方法在水下散射环境下的形状从极化任务中表现出显著优势。该方法通过双池化Swin Transformer编码器和并行空间与通道注意力融合模块，实现了对水下目标表面法线的高效准确重建。同时，本文构建的SfP-Underwater数据集为相关研究提供了重要的数据支持，填补了水下重建任务中数据资源不足的空白。实验结果表明，该方法在不同散射环境中均能够保持较高的鲁棒性，为水下三维重建提供了一种稳定且高效的解决方案。本文的主要贡献包括：（1）提出了一种基于注意力机制的SfP-Underwater方法，通过设计的DPSFormer编码器实现局部与全局特征的融合，并利用PSCAF模块进行多层级信息融合；（2）构建了首个SfP-Underwater数据集，该数据集包含水下散射环境中的目标极化图像、对应的地面真实法线图以及基于相机内参计算的视角编码信息；（3）所提出的SfP方法是首个在水下散射数据上训练的模型，在浑浊环境中表现优于现有方法，同时在多种目标和浑浊度条件下保持较强的鲁棒性。这些成果为水下光学三维重建技术的发展提供了新的方向，并有望在实际应用中发挥重要作用。