《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Learned Off-Aperture Encoding for Wide Field-of-View RGBD Imaging
编辑推荐：
端到端（End-to-end，E2E）设计的成像系统将编码光学设计与解码算法相结合，以提升多种视觉任务的成像保真度。然而，现有的E2E设计在保持宽视场（Field of View，FoV）下的高图像保真度方面面临重大挑战，原因在于计算复杂度高，以及在考虑离轴像
端到端（End-to-end，E2E）设计的成像系统将编码光学设计与解码算法相结合，以提升多种视觉任务的成像保真度。然而，现有的E2E设计在保持宽视场（Field of View，FoV）下的高图像保真度方面面临重大挑战，原因在于计算复杂度高，以及在考虑离轴像差的同时对离轴波传播进行建模存在困难。特别地，将编码元件置于孔径或光瞳平面的常用方法仅能实现对波前的全局控制。为克服这些限制，本研究探索了一种额外的设计选择，即将衍射光学元件（diffractive optical element，DOE）置于离孔径位置，从而实现自由度的空间解混，并在像平面上提供对波前的局部控制。该方法进一步通过连接可微分的射线与波光学建模，利用混合折射-衍射光学系统，从而优化深度成像质量并展示系统的多功能性。实验结果表明，当与简单薄透镜配合时，离孔径DOE在约45°视场下将成像质量提升了超过5 dB的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），优于传统的孔径上系统。此外，利用具有复合成像光学元件的离孔径DOE配置，研究人员在接近28°视场下成功恢复了颜色和深度信息。两种应用的物理样机验证了所提出方法的有效性和通用性。
研究背景与问题：传统光学系统设计常将光学和算法分开优化，限制了系统潜力。近年来深度光学（Deep Optics）通过端到端（E2E）联合设计编码光学与解码算法，已在摄影、三维视觉、计算成像等领域取得进展。然而，现有E2E设计在宽视场（FoV）成像时面临困难：一方面计算复杂度高，另一方面需要同时建模离轴波传播与离轴像差。常用方法将衍射光学元件（DOE）置于孔径或光瞳平面，只能全局调制波前，无法针对不同视场区域进行局部像差校正。为此，研究人员探索将DOE放置在离孔径的额外设计维度，以增加局部波前控制能力，同时保持对光线的重定向能力。这项研究发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence》上。
研究内容与结论：研究人员提出了离孔径编码框架，结合可微分的射线追踪与波光学建模，实现了混合折射-衍射系统的联合优化。通过将DOE置于孔径平面与传感器平面之间的最佳位置，系统能够在45°视场下将成像PSNR提升超过5 dB（相比于孔径上系统），并在28°视场下同时恢复颜色和深度信息。两个物理样机验证了该方法的有效性和通用性，为紧凑型宽视场计算成像系统提供了新设计思路。
主要关键技术方法：研究人员首先利用可微射线追踪引擎dO模拟折射透镜（包括简单透镜和Cooke三片式透镜）的光线传播，获得过渡面上的复振幅响应。随后采用最小采样角谱法（Least-sampling Angular Spectrum Method，LS-ASM）模拟从过渡面经离孔径DOE到传感器的大角度离轴波传播，通过对输入场引入补偿相位实现准近轴化，降低采样需求。针对多深度场景，使用遮挡感知模型和局部移位不变卷积合成传感器测量。重建网络采用共享的预训练ResNet18特征提取器，并分设两个解码头分别输出全聚焦图像和深度图；损失函数包括均方误差（MSE）、VGG16感知损失、L1损失以及PSF聚焦损失，并用动态权重平均（Dynamic Weight Averaging，DWA）调节任务权重。训练数据来自三个数据集：模拟的SceneFlow FlyingThings3D（SF）、真实世界的Dualpixels（DP）和Instereo2K（IS），共26,281张图像。
研究结果：
1. 宽视场简单透镜成像：该部分通过仿真分析不同DOE位置对成像质量的影响，发现最佳位置约为孔径到传感器距离的0.24倍。在三个数据集上，离孔径DOE系统取得35.49 dB、35.44 dB和31.74 dB的PSNR，分别比孔径上系统高5.35 dB、4.41 dB和4.13 dB。在4K分辨率真实场景仿真中，离孔径DOE在中心和边缘区域均产生更清晰的图像。
2. 宽视场复合透镜RGBD成像：研究人员设计了由Cooke三片式透镜和离孔径DOE组成的系统，在约28°视场范围内实现全聚焦成像与深度估计。通过比较DOE位于近孔径（约0.11倍有效焦距）和离孔径（约0.24倍有效焦距）的配置，离孔径系统在颜色图像PSNR上提高约1 dB，深度平均绝对误差（Mean Absolute Error，MAE）降低最多24%。与简单的U-Net相比，多任务解码网络在图像和深度恢复上均更优。
3. 物理样机实验：两个样机分别采用现成的双凸透镜和定制的计算机数控（Computer Numerical Control，CNC）加工非球面透镜组，DOE由24相位级联光刻工艺制作。实际室内外场景采集表明，重建图像和深度图显著清晰，可与无编码的商用复合透镜相比。与0.5 mm针孔设置相比，所提系统在保持真实色调和边缘清晰度的同时，避免了针孔的低信噪比问题。
总结讨论部分：讨论指出，离孔径位置为系统性能提供了新的设计自由度，并通过实验确定了性能较优且对装配误差具有鲁棒性的区域（约0.2-0.3倍有效焦距）。研究也承认当前系统受计算资源限制，将折射透镜和DOE分步优化；DOE可能引入光晕等伪影；深度真值依赖语义模型，未来可使用飞行时间（Time-of-Flight，ToF）相机作为更可靠的真值。
研究结论翻译：综上所述，研究人员提出了一种面向宽视场成像应用的离孔径协同优化成像系统。通过将DOE置于与孔径或光瞳平面不同的位置，利用额外的设计参数实现了增强的角度相关编码。通过解耦不同角度的光线，该系统在PSNR上实现了超过5 dB的离轴像差校正提升。重要的是，研究人员用两个定制组装相机样机验证了该系统，分别在RGB和RGBD成像应用中达到45°和28°的视场，证明了所提出的离孔径编码范式在紧凑宽视场相机（如AR/VR、自动驾驶和边缘设备）中的潜力。
