《Electronics》：Efficient HDR Image Reconstruction: A ResNet Approach with Enhanced Data Augmentation
编辑推荐：
高动态范围（HDR）图像从单张低动态范围（LDR）输入重建仍然是计算摄影中的重要问题，特别是在消费级硬件上的实际部署方面。随着支持HDR的硬件日益普及，公众对捕获和观看HDR图像的需求显著增长。近期研究探索了基于深度学习的方法，通过提取区域像素特征或利用相机响
高动态范围（HDR）图像从单张低动态范围（LDR）输入重建仍然是计算摄影中的重要问题，特别是在消费级硬件上的实际部署方面。随着支持HDR的硬件日益普及，公众对捕获和观看HDR图像的需求显著增长。近期研究探索了基于深度学习的方法，通过提取区域像素特征或利用相机响应函数（CRF）进行模型训练来从LDR输入重建HDR图像。许多这些方法采用卷积神经网络（CNN）架构并利用跳跃连接来保留学习到的信息。然而，数据增强在HDR重建中的配置级影响仍讨论不足。现有的基于CNN的方法，如HDRCNN、HDRUNet和ExpandNet，已展示出 promising 的重建能力，但它们可能涉及繁重的骨干架构、较长的训练时间，或对预处理配置如何影响重建性能讨论有限。本研究提出一种面向工程的HDR重建框架，基于HDRCNN改进，注重实际效率、结构保真度和训练可行性。所提出的框架引入三项改进：(1) 复合数据增强设置的配置级比较，包括非锐化掩膜、去噪、高斯模糊以及亮度-对比度调整；(2) 将原始VGG16骨干替换为基于ResNet50的编码器，增强注意力块和压缩激励（SE）块以改进多尺度特征提取和通道级重校准；(3) 将混合精度训练与余弦退火学习率调度相结合以降低计算成本。SI-HDR数据集上的实验结果表明，最优复合增强配置将PSNR从19.05 dB提升至22.10 dB，SSIM从0.6444提升至0.7714，且未增加训练时间。与基于VGG16的HDRCNN设置相比，基于ResNet50的模型缩短了训练时间，同时将SSIM从0.2705提升至0.8512。在所采用的比较协议下，所提出的模型实现了最短的训练时间，且PSNR略高于HDRUNet，而HDRUNet保留了更高的SSIM。这表明像素级保真度、结构相似性和计算效率之间存在权衡。当前评估受限于较小的测试设置、复合而非操作级增强分析，以及仅使用PSNR和SSIM；因此，未来工作应包括完整基准评估、额外的感知/HDR特定指标，以及受控的组件级消融研究。
HDR成像技术近年来因其相较于标准动态范围（SDR）成像能够呈现更具真实感的图像而获得广泛关注。HDR能够实现更大的亮度动态范围，准确表现从最强烈高光到最暗阴影的亮度变化。显示技术的日益成熟和消费者对高质量视觉内容的需求进一步推动了HDR在各种配备相机的设备中的应用。然而，许多消费级相机仍缺乏原生HDR支持，导致LDR图像的广泛捕获。LDR图像通常具有8位色深，而HDR格式一般超过10位以更好地保存亮度信息。为解决这一局限，研究人员提出了多种将LDR图像转换为HDR表示的方法，主要包括变换法（应用线性缩放或非线性函数增强动态范围）和重建法（试图恢复饱和区域中丢失的信息）。尽管这些方法产生了视觉上合理的结果，但大多采用固定算法，难以适应变化的场景条件，导致过曝区域可能出现视觉不自然的伪影。
近年来，人工智能快速发展并广泛应用于计算成像任务。2017年，Eilertsen等人提出了HDRCNN网络用于HDR图像重建，设计了一种混合动态范围自编码器架构。Marnerides等人随后提出了ExpandNet，基于CNN架构构建全自动、端到端、无参数的模型。FHDR的核心思想是采用反馈机制，每次迭代后通过重建块重建HDR图像。Ronneberger等人提出的HDRUNet在NTIRE 2021比赛中取得了显著成果，其架构包含基于U-Net的基网络和集成空间特征变换（SFT）Layers的条件网络。随着移动设备的快速普及，Liu等人提出了Mobile-HDR，构建了使用三部手机相机收集成对LDR-HDR图像的数据集，并引入基于Transformer的模型进行联合HDR去噪和融合。此外，SingleHDR针对动态场景从单张LDR图像生成HDR图像，HDR-GAN则基于生成对抗网络架构专门解决动态场景中的鬼影问题。近期关于高效视觉表示学习的研究还表明，多尺度特征提取和自适应融合对于平衡准确性和计算效率至关重要。
基于上述背景，本研究针对单张图像HDR重建中的三个实际挑战展开工作。第一，尽管基于深度学习的HDR重建取得了 promising 的结果，但许多消费级拍摄图像仍是在复杂光照条件下获得的LDR图像，过曝、欠曝、噪声、模糊和局部对比度变化等因素直接影响饱和区域和结构细节的重建。然而，组合预处理和增强操作（如非锐化掩膜、去噪、高斯模糊和亮度-对比度调整）的配置级效果在HDR重建中讨论不足。第二，实际的HDR重建不仅应追求图像质量，还需考虑模型复杂度、训练时间和硬件可及性。现有CNN模型如HDRCNN、ExpandNet和HDRUNet虽展示了HDR重建的可行性，但其训练需求或骨干复杂度可能限制在消费级硬件上的部署。第三，特征提取骨干在平衡表示能力和计算效率方面起重要作用。过重的骨干可能改善特征表示但增加参数数量和训练成本，而过轻的骨干则可能削弱多尺度结构表示。因此，本研究旨在考察一种实用的HDRCNN衍生框架，结合复合增强配置分析、基于ResNet50的骨干（含注意力和SE块）以及硬件感知训练优化，以在有限但可重复的实验设置下改善结构相似性并降低训练成本。
本研究采用HDRCNN作为基线框架，首先比较了多种复合预处理和增强配置以考察训练数据组成对重建质量的影响；然后集成了混合精度训练和余弦退火学习率调度以提高训练效率；最后将原始VGG16骨干替换为增强注意力块和SE块的基于ResNet50的编码器，旨在htm降低计算成本同时保持结构重建质量。
研究所用的主要关键技术方法包括以下三个方面。**数据集预处理方面**，基于SI-HDR数据集构建复合增强配置进行比较实验，该数据集包含183幅使用Canon 5D Mark III相机拍摄的HDR图像，涵盖自然景观、城市场景和昼夜变化。**训练优化方面**，采用混合精度训练（FP16前向计算与FP32梯度累积和权重更新相结合）以及余弦退火学习率调度（初始学习率0.01，当验证损失连续10个epoch不改善时降至当前值的10%）。**模型架构方面**，以ResNet50替代VGG16作为编码器骨干，增强注意力块（用于解码器-编码器融合阶段的空间特征强调）和SE块（用于解码器卷积块后的通道响应重校准），输入输出分辨率固定为256×256像素，批量大小为16，训练200个epoch。
**数据集预处理与数据增强实验结果**。该实验比较了三种复合预处理配置：数据集1（100%原始图像）、数据集2（20%原始、20%非锐化掩膜、30%去噪、30%模糊）和数据集3（15%原始、15%非锐化掩膜、20%去噪、20%模糊、30%亮度-对比度调整）。数据集3在三种测试配置中取得最佳PSNR和SSIM，且训练损失和验证损失最低。与数据集1相比，数据集3将PSNR从19.05 dB提升至22.10 dB，SSIM从0.6444提升至0.7714，训练时间保持在7小时41分钟不变。数据集3相对于基线将训练损失降低79.5%，验证损失降低90.7%。然而，由于多种增强操作和比例同时改变，该实验为配置级比较而非完整的操作级消融研究，各增强技术的独立贡献无法从现有结果中分离。
**训练优化的实验评估**。采用数据集3作为基准训练数据集，保持批量大小16、200个训练epoch和初始学习率0.01的超参数设置不变。通过动态学习率调度（余弦退火结合验证损失触发的学习率降低）和混合精度训练两种优化策略，训练时间从11小时14分钟缩短至7小时56分钟，计算效率提升29.5%。优化实现取得略好的最终训练损失（0.0159 vs 0.0162），同时显著改善验证损失（0.0196 vs 0.0408），泛化能力提升52%。损失曲线显示优化版本实现了更快的初始收敛并消除了未优化版本中存在的验证损失波动。但由于混合精度训练、余弦退火和验证损失驱动的学习率降低同时应用，该实验未隔离各优化组件的独立贡献。
**模型架构更改的实验结果**。使用数据集3作为训练数据集并保持相同超参数，基于ResNet50的模型与基于VGG16的模型相比，参数数量从约138 M减少至约25 M（减少83%），训练时间从7小时56分钟缩短至4小时51分钟（减少43%）。在单裁剪比较中，ResNet50模型将PSNR从13.01 dB提升至16.08 dB，SSIM从0.2705大幅提升至0.8512。然而，ResNet50模型的最终训练和验证损失分别高于VGG16模型，这种差异表明训练损失与评估指标捕捉了重建质量的不同方面。ResNet50架构配合注意力引导特征融合和SE通道重校准，可能在最终损失值较高时仍能更有效地保留结构模式。该实验还观察到训练-验证损失差距更窄（0.0446/0.0437 vs 0.0159/0.0196），表明更好的泛化性能。
**与其他模型架构的比较**。使用数据集3训练HDRUNet和ExpandNet作为参考模型，但遵循其文献记录的模型特定设置而非完全统一的训练协议。HDRUNet使用批量大小4、200 epoch和学习率0.01；ExpandNet使用批量大小12、10,000 epoch和学习率0.00007。在所采用的比较协议下，HDRUNet需要超过三天的训练时间，而所提出的模型在不到五小时内收敛。所提出的模型实现最短训练时间和略高于HDRUNet的PSNR（21.72 dB vs 21.25 dB），而HDRUNet获得最高SSIM（0.661 vs 0.5856）。这表明所提出的模型提供了面向效率的替代方案，但在所有评估指标上并非普遍优于HDRUNet。ExpandNet因极小的学习率和独特架构需要显著更多的迭代次数才能达到报告性能。这种指标分歧（较低SSIM但较高PSNR）反映了所提出架构的固有权衡：通过多尺度特征融合、注意力机制和通道级重增强调结构保留而非严格像素级保真度。SSIM更强烈地关联人类视觉感知，评估结构相似性、对比度和亮度模式。
**实验评估的局限性**。研究结果应在以下限制条件下解读：测试设置限于从SI-HDR数据集中随机选择的五幅图像，不代表完整基准评估；与HDRUNet和ExpandNet的比较遵循模型特定训练配置而非完全统一协议；评估仅使用PSNR和SSIM，未能完全捕捉感知HDR质量；增强实验比较复合配置而非隔离各操作的独立效果；ResNet50骨干、注意力块、SE块、混合精度训练和学习率调度作为集成管道评估，其独立贡献需未来组件级消融研究。
**研究结论**。本研究提出了一个面向工程的HDR重建框架，基于HDRCNN改进以提高训练效率和结构重建质量。该框架结合复合数据增强配置、混合精度训练与余弦退火学习率调度，以及将原始VGG16骨干替换为增强注意力块和SE块的基于ResNet50的编码器。实验结果表明，最优复合增强配置在所采用的HDRCNN设置下改善了PSNR和SSIM；优化训练管道减少了训练时间；ResNet50模型进一步减少了参数数量并缩短了与基于VGG16的HDRCNN相比的训练时间。在所采用的比较协议下，所提出的模型实现了最短的训练时间和略高于HDRUNet的PSNR，而HDRUNet保留了更高的SSIM。这表明像素级保真度、结构相似性和计算效率之间存在权衡。然而，本研究应被解读为实际初步评估而非确定性基准比较。若干限制仍然存在：评估在SI-HDR数据集上进行，测试设置有限；与HDRUNet和ExpandNet的比较遵循模型特定训练设置而非完全统一协议；当前评估仅使用PSNR和SSIM，未能完全捕捉感知HDR质量；增强实验比较复合配置而非隔离各操作的独立效果；ResNet50骨干、注意力块、SE块、混合精度训练和学习率调度作为集成管道评估。未来工作应使用完整测试分割和额外标准HDR基准，采用相同数据分割、分辨率、epoch设置和评估程序进行更公平的比较，纳入HDR-VDP-2、TMQI、LPIPS等感知或HDR特定指标，进行操作级消融研究以澄清非锐化掩膜、去噪、高斯模糊和亮度-对比度调整的独立作用，以及开展组件级消融研究并比较ResNet18和MobileNet等额外轻量级骨干。当前模型还限于固定的256×256输出分辨率，未来研究应支持可变和更高分辨率重建。总体而言，所提出的框架为HDRCNN衍生架构能够在消费级硬件上改善训练效率和结构相似性提供了实际证据，但更广泛的基准验证和更完整的消融研究仍然必要。
