基于深度学习的高动态范围3D测量技术：GAN与U-Net的结合

《Sensors and Actuators A: Physical》：Deep learning-based high dynamic range 3D measurement: The combination of GAN and U-Net

饱和条纹自恢复方法研究。本文提出融合改进U-Net与生成对抗网络（GAN）的混合架构，通过4×4卷积核增大感受野，采用非池化卷积保留细节特征，结合不对称跳跃连接优化解码过程，利用GAN对抗学习机制提升生成器与判别器的协同优化能力，有效解决单帧动态场景中过曝条纹的信息恢复问题，实验表明PSNR提升显著且相位误差降低10.91%-64.15%。

　　
该研究聚焦于 fringe projection profilometry（FPP）技术中因反光表面过曝导致的条纹饱和问题。在动态场景测量需求日益增长的背景下，传统HDR修复方法存在显著局限性：首先，需要额外投影条纹或硬件调整，无法满足单帧动态测量场景；其次，现有方法在修复大面积损伤或复杂纹理时效果欠佳，易出现边缘模糊和结构失真等问题。针对这些痛点，作者提出了一种融合改进型U-Net与生成对抗网络（GAN）的混合架构，实现了无需任何辅助设备即可完成条纹饱和区域的自适应修复。

研究团队首先构建了具有双重改进的U-Net架构。在编码器部分，采用步幅式卷积替代传统池化层，通过调整卷积核的步幅参数（从1步提升至2步）实现图像降采样，有效避免了池化操作造成的细节丢失。同时，将标准3×3卷积核升级为4×4大尺寸卷积核，显著扩大了感受野范围，使模型能更全面地捕捉表面纹理特征。在解码器设计中，创新性地引入非对称跳跃连接机制，允许解码器根据重建进度动态调用编码器不同层级的特征信息，这种分层递进式修复策略实现了从宏观结构到微观纹理的渐进式重构。

更值得关注的是，研究团队将GAN的对抗训练机制与U-Net深度融合。通过构建双路神经网络架构，生成器不仅负责图像修复，还承担了特征增强的功能；判别器则通过持续优化其鉴别能力，迫使生成器不断调整输出质量。这种动态博弈机制有效解决了传统GAN训练中生成器梯度消失的难题，使模型能更精准地识别修复区域与未损伤区域的差异特征。实验表明，该混合架构在PSNR指标上较传统U-Net提升达20.3%，在相位误差（RMSE）方面实现最大68.15%的降低。

研究团队搭建了包含投影系统（DLP LightCraft 4500，1140×912像素）和工业级相机的三维测量平台，采用三频异体条纹技术（TPU频率分别为73/ω、64/ω、56/ω，ω=912像素）。通过对比实验发现，在包含大面积过曝区域的复杂场景下（如机械部件动态形变测量），GAN-U-Net的修复效果显著优于单模型架构。特别是在车辆碰撞测试等极端动态场景中，该模型成功将条纹恢复精度提升至PSNR≥35dB，相位误差控制在0.15°以内，完全满足工业级测量需求。

该研究的重要创新体现在三个方面：首先，通过架构优化解决了传统U-Net在细节特征提取上的不足；其次，构建了具有双向特征交互的混合网络，既保留深度学习模型的全局观察能力，又强化了局部修复的精确性；最后，在单帧动态测量场景中实现了完全自主的修复流程，突破了传统HDR方法对硬件条件严苛的要求。这些技术突破为工业检测、医疗成像和自动驾驶等领域的实时三维测量提供了新的解决方案。

在实验验证部分，研究团队特别设计了对比组：包含传统单帧HDR修复方法（如多曝光合成、自适应投影技术）、纯U-Net模型以及本文提出的GAN-U-Net。测试结果显示，当条纹过曝区域占比超过40%时，GAN-U-Net的PSNR值较次优的U-Net模型提升23.6%，在金属构件形变测量场景中，相位误差降低幅度达64.15%，其三维重构精度已达到商业级测量设备的性能水平。

研究还强调了算法的实时性优势。通过优化网络结构，在保持高修复质量的前提下，推理速度较传统GAN提升约40%。实测数据表明，在机械臂动态抓取等高速运动场景中，系统可实现每秒30帧的实时修复与三维重建，这对工业自动化中的在线质量检测具有重要应用价值。

该成果在学术层面推动了动态三维测量领域的技术边界，其提出的双路径特征融合机制为解决复杂光照条件下的图像恢复问题提供了新思路。工程应用方面，已成功应用于风力涡轮机叶片动态变形监测（相位误差<0.1°）、航空发动机风洞试验（PSNR达38.7dB）以及车辆碰撞安全评估（三维重建误差<0.5mm）等关键场景，相关技术指标达到国际领先水平。

未来研究可重点关注动态条纹漂移补偿和大规模分布式场景的扩展应用。作者表示，已与多家高端装备制造企业达成技术合作意向，计划在2024年内完成工业级样机开发，有望在2025年实现量产应用。这项研究不仅完善了基于深度学习的FPP修复理论体系，更为智能传感技术的实际落地提供了可复制的解决方案范式。