高效焦平面偏振成像设备结构的设计及信息重建方法

《Optics & Laser Technology》：Design of a high-efficiency focal-plane polarization imaging device structure and information reconstruction method

　　高美玲|赵光宇|何学东|金晓宇|段瑾|陈广秋|姜慧琳
长春科技大学电子信息工程学院，中国吉林省长春市130022

**摘要**
传统的彩色偏振焦平面成像设备使用垂直堆叠的彩色滤光片和偏振滤光片来实现像素级别的两种模态采集。然而，双滤光片的吸收会显著减弱入射光强度。为了解决这个问题，我们提出了一种新型的Bayer传感器阵列，该阵列基于4×4的超像素单元设计。彩色滤光层在四个角上分别设置了L形的R、G、G、B子像素，中心是一个白色像素。偏振滤光层在中心集成了一个2×2的偏振敏感子单元（0°、45°、90°、135°），周围环绕着白色像素。这种设计每次曝光可以捕获12个彩色像素和4个偏振像素，使得光利用效率提高了大约2.4倍，并增强了图像亮度。然而，偏振像素的稀疏空间分布给传统的插值方法带来了挑战，导致偏振信息重建不完整。因此，我们引入了一个结合校正网络（CEN）和偏振完成网络（PCN）的重建框架，从而提高了细节保留和偏振精度。实验结果表明，S1,2的PSNR和SSIM分别提高了4.102%和2.500%，而RMSE降低了23.108%。此外，我们还构建了首个涵盖七种照明水平的可控照明彩色偏振图像数据集，以验证所提出的架构和方法。

**引言**
彩色偏振成像通过分析光的偏振状态来获取传统基于强度的成像无法捕捉的物理信息，如散射特性和表面法线。随着焦平面偏振传感器的发展，焦平面分割（DoFP）彩色偏振相机在光电二极管上方集成了彩色滤光片和偏振滤光片，从而能够在单次曝光中同时获取RGB图像和偏振信息（如图1(a)所示）。这种像素级别的集成已在商业偏振成像系统中得到广泛应用。然而，由于传感器阵列布局和滤光片与光电探测器之间的对准限制，传统的Bayer基设计有一个显著缺点：每个像素只能传输特定波长和偏振角度的光。结果，大部分入射光被损失，导致光能利用率低、图像亮度有限，并且在低照明条件下的性能严重下降。

为了克服传统2×2微偏振器阵列（MPA）布局的固有局限性，许多研究人员探索了MPA的结构优化。例如，LeMaster等人提出了一种2×4 MPA配置，扩大了超像素周期以获得更丰富的偏振方向采样，从而提高了偏振图像的重建质量[1]。在此基础上，Alenin等人开发了一个2×N MPA设计框架，系统地研究了不同阵列布局对重建性能的影响，提供了更大的MPA优化灵活性[2]。Li等人引入了一种称为AO-MPA的自动化MPA设计方法，基于多个设计原则制定了一个三目标优化方案，生成了一个仅使用标准偏振角度的3×3阵列，其重建性能优于传统的2×2布局[3]。Hao等人对包括2×2、3×3和2×2×2模式在内的各种MPA配置进行了系统研究，证明了对称的3×3阵列可以有效减少瞬时视场（IFoV）误差，并提高单探测器快照偏振成像系统的偏振重建质量，而2×2×2配置虽然在多通道系统中性能更好，但需要额外的光学组件，因此不适用于传统快照实现[4]。尽管在空间分辨率和偏振精度方面取得了这些进展，现有的MPA设计仍面临两个关键挑战：一些设计引入了与基于四个标准角度（0°、45°、90°、135°）的传统解码和插值算法兼容性较差的非标准偏振角度组合，大多数设计仍受到微偏振器固有光学透射率的限制，导致系统光子效率低，难以同时实现高偏振保真度和高光通量。

鉴于前端结构优化的固有局限性，另一条研究路线专注于后端图像处理[5]、[6]、[7]、[8]，通过算法补偿来提高图像亮度和偏振重建质量。例如，Xu等人提出了一个包含偏振分支和强度分支的多任务卷积网络，以在低光照条件下提高彩色偏振图像质量[6]。Zhou等人使用偏振感知策略在Stokes域有效增强了低光照条件下的彩色偏振图像，其PSNR和SSIM性能优于竞争方法[8]。为了提高偏振重建精度，研究人员采用了数学模型[9]、[10]、[11]、[12]或深度学习方法[14]、[15]、[16]、[17]来插值缺失的偏振信息。Bicubic插值通过基于空间相似性的相邻已知像素的加权平均来估计缺失的像素值[9]。Qiu等人通过在交替方向乘子法（ADMM）框架内解决逆问题来重建偏振信息[11]。Wen等人引入了CPDNet，它结合了残差块和多任务学习，以在每个像素处联合恢复完整的彩色和偏振信息[16]。尽管这些方法在亮度增强和偏振重建方面取得了显著改进，但它们都完全依赖于后端处理。在奈奎斯特采样约束下，它们需要完整的输入测量数据来恢复强度和偏振数据。值得注意的是，现有工作大多忽略了传感器阵列布局对整体成像性能的根本影响。实际上，仅依靠算法优化而不对前端光学进行重新设计无法同时最大化图像亮度和偏振保真度，这突显了共同优化前端传感器架构和后端重建算法的必要性。

为了解决彩色偏振成像中的光损失和偏振重建不完整问题，本研究解决了两个核心问题：在这些约束下最小化光能损失和最大化偏振保真度。我们提出了一种新型的焦平面传感器架构和互补的重建方法。所设计的Bayer阵列（图1(b)）扩展了传统的和Quad Bayer布局，增加了4×4的超像素。中心的2×2偏振子单元捕获0°、45°、90°和135°的线性偏振状态。L形的彩色子单元（R、G、G、B）占据彩色滤光层的四个角，同时添加了白色像素以提高光通量。这种布局保留了完整的彩色信息，并显著提高了光子效率。由于偏振样本的稀疏性，我们采用了受深度完成[18]、[19]、[20]、[21]、[22]启发的深度学习框架，包括校正网络（CEN）和偏振完成网络（PCN）。该模型以模拟的原始数据为输入，并利用校正后的RGB图像、稀疏的Stokes图像和二进制掩码M作为指导来恢复高分辨率的偏振信息。实验表明，在各种比较、消融研究和不同照明水平下，亮度和重建精度都得到了持续的提高。通过共同设计前端传感器结构和后端算法，我们的方法实现了图像亮度和偏振质量的联合优化，为实际彩色偏振成像提供了一条实用路径。

**本研究的主要贡献如下：**
1) 我们提出了一种新型的Bayer传感器阵列结构，该结构在传统的垂直堆叠滤光片配置基础上引入了中心偏振和外围彩色的4×4超像素布局。通过将白色像素纳入设计，所提出的结构显著提高了光利用效率和图像亮度。
2) 我们为所提出的Bayer阵列设计了一种信息重建方法，集成了校正网络（CEN）和偏振完成网络（PCN），实现了偏振信息的准确和高质量恢复。
3) 我们在各种照明条件下进行了全面的性能评估，并进一步提供了一个包含七个定量控制照明水平的公开可用彩色偏振图像数据集。该数据集可在线访问：https://pan.baidu.com/s/1jNCsgNNnjOkGRN9Luen2Lw?pwd=37sw。

**阵列配置和光利用优化的理论可行性**
为了解决传统焦平面偏振成像系统中光利用效率低的问题（如第1节所讨论的），本节重点关注像素阵列配置与偏振成像性能之间的内在关系，并建立了相应的理论框架以支持分析。这项研究为后续章节（见第3节）提出的Bayer型传感器阵列的优化提供了基础。

**设计概念**
为了解决传统彩色偏振焦平面成像中光子利用效率低的问题（如图2(a)所示和第1节所述），本研究改进了传统的Bayer阵列结构（见图2(b)）。受到索尼的Quad Bayer架构[25]、[26]、[27]和稀疏像素排列策略[28]、[29]、[30]的启发，该设计保留了彩色滤光片阵列（CFA）和微偏振器阵列（MPA）的垂直堆叠，并采用了4×4的超像素布局。

**信息重建方法**
为了解决第3节中提出的Bayer阵列中的偏振精度损失问题，我们提出了一种基于深度完成的深度学习重建方法（见图10）。目标是在不改变图像亮度的情况下准确恢复Stokes向量、DoLP和AoP。由于DoLP和AoP依赖于强度比，并且在从原始偏振强度计算时容易受到噪声的影响，我们改用Stokes向量作为输入，并将其与高分辨率RGB图像融合。

**限制和讨论**
本文侧重于提高彩色偏振成像的光能利用效率和重建质量，强调传感器采样架构和信息重建算法的共同设计。为此，实验在固定入射角度的均匀照明下进行，没有考虑实际场景中动态变化的照明角度对偏振测量的影响。仿真模型假设了……

**结论**
本文解决了传统彩色偏振图像传感器中光子利用效率低和焦平面有效光强度有限的挑战。为了克服这些限制，我们提出了一种新型的Bayer传感器阵列结构以及相关的信息重建方法。所提出的Bayer阵列在4×4超像素单元内实现了颜色、偏振和白色像素的优化分布。这种设计不仅保留了完整的彩色信息……

**出版同意**
所有作者均批准了最终手稿和向本期刊的提交。

**作者贡献声明**
高美玲：撰写——原始草稿、验证、数据管理。
赵光宇：调查、数据管理。
何学东：调查。
金晓宇：撰写——审阅与编辑、软件。
段瑾：监督、概念化。
陈广秋：概念化。
姜慧琳：监督、资金获取。

**伦理批准和参与同意**
不适用。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了国家自然科学基金[资助编号62127813]和吉林省科技发展计划项目[资助编号20250203087SF]的支持。