基于残差与光照图引导的HDRUnet3D高动态范围图像重建网络及其在动态场景去鬼影中的应用

《Signal Processing: Image Communication》：HDRUnet3D: High dynamic range image reconstruction network with residual and illumination maps

本文提出HDRUnet3D新型端到端深度学习网络，通过将多曝光LDR图像视作视频流并采用3D卷积捕捉时空特征，结合残差图引导注意力模块（RGA）和光照引导局部增强模块（IGE）双信息引导机制，有效解决动态场景HDR重建中的鬼影伪影（ghosting artifacts）和过曝光问题。该模型在多个数据集实现最先进（SOTA）性能，为医学影像可视化、虚拟现实等生命科学领域提供高保真图像重建方案。

　　

亮点

HDRUnet3D通过创新性融合时空特征提取与物理信息引导机制，为动态场景高动态范围（HDR）重建树立新标杆。其双模块设计——残差图引导注意力模块（RGA）精准捕捉帧间运动语义，光照引导局部增强模块（IGE）基于视网膜理论（Retinex）优化亮度重建——显著提升组织纹理与边缘的保真度，为医学图像分析提供重要工具。

方法

针对传统光学流（optical flow）方法在低纹理或过曝光区域的误差传递问题，HDRUnet3D将多曝光低动态范围（LDR）图像序列视为视频流，利用3D卷积自适应学习运动物体时序动态。RGA模块通过伽马校正（gamma-corrected）残差图强化运动像素识别，IGE模块依据光照图自适应增强局部特征，而全局非对称语义融合（GASF）模块通过自底向上策略整合多尺度特征，丰富高层语义表征。

数据集

实验采用Kalantari等建立的经典数据集，包含74个训练序列和15个测试序列。每个场景提供HDR真值图像及三张曝光值分别为（-2, 0, +2）或（-3, 0, +3）的LDR图像。训练过程中对样本进行256×256像素随机裁剪，并通过翻转和旋转实现数据增强。

消融实验

以Unet3D为基线模型的消融研究验证了各模块贡献。可视化对比表明，引入RGA和IGE模块后，运动伪影抑制效果显著提升，尤其在血管脉络等精细结构重建中表现出色（图12）。

结论

HDRUnet3D通过时序建模与双物理引导机制的协同作用，为动态场景HDR重建提供鲁棒解决方案。其模块化设计可扩展至荧光显微成像、病理切片三维重建等生命科学场景，为高精度医学可视化奠定基础。