EIN：基于曝光诱导的网络的单图像高动态范围（HDR）重建技术

《ACM Transactions on Multimedia Computing, Communications, and Applications》：EIN: Exposure-Induced Network for Single-Image HDR Reconstruction

本文提出了一种基于曝光诱导的单图像HDR重建方法EIN，通过动态范围扩展分支（DB）和两个曝光门控细节恢复分支（UB、OB）协同工作，利用逐步学习的信心图指导局部细节恢复，同时保持全局动态范围一致性。实验表明，EIN在多个合成和真实数据集上显著优于现有方法，尤其在处理极端曝光区域时表现出色。

　　近年来，高动态范围（HDR）图像从标准动态范围（SDR）图像的重建任务受到越来越多的关注。这一任务的主要挑战在于欠曝和过曝区域缺乏纹理和结构信息。本文提出了一种高效且稳定的单图像HDR重建方法，即曝光诱导网络（EIN）。具体而言，设计了一个动态范围扩展分支（DB），用于扩展输入SDR图像的全局动态范围。此外，还提出了两个曝光门控细节恢复分支，分别用于局部过曝（OB）和欠曝（UB）区域的细节恢复，并与DB进行交互，逐步利用学习到的置信度图来推断欠曝和过曝区域的纹理和结构细节，以解决这些区域中的挑战性歧义。三个交互分支的特征在联合全局-局部解码器中被自适应融合，以重建最终的HDR图像。该网络基于一个大规模的多样化内容数据集进行训练。实验结果表明，该模型在输入不同曝光的SDR图像时，相较于现有方法实现了更一致的视觉质量提升。源代码可在https://github.com/Yliu724/EIN获取。

与HDR图像相比，SDR图像由于在SDR图像生成过程中受到量化和最大亮度限制的影响，常常表现出欠曝或过曝的区域。为了从单个SDR图像生成逼真的HDR图像，关键在于扩展动态范围并恢复对人类视觉感知至关重要的潜藏细节。最简单的方法是应用伽马校正，将图像映射到线性域。传统方法通常属于此类，通过调整图像的亮度来实现动态范围的扩展。尽管这些方法易于实现且支持快速推理，但其主要限制在于缺乏内容意识，这常常导致结构不一致和纹理细节的丢失，尤其是在欠曝和过曝区域。为了应对这些挑战，人们开始采用卷积神经网络（CNN）进行HDR重建，因为它们在非线性拟合方面表现出色。这些方法要么使用一个网络处理整个图像，要么专注于恢复饱和区域。尽管已有显著成果，但重建的HDR图像仍显示出不令人满意的感知可见性伪影，如光晕、棋盘格和颜色偏移。

受到HDR内容特别容易出现视觉质量下降的观察启发，尤其是欠曝和过曝区域，我们提出了曝光诱导网络（EIN），旨在从单个SDR图像扩展动态范围，并同时推断欠曝和过曝区域的纹理和结构细节。其中的关键创新在于使用推断出的置信度图来指示欠曝和过曝区域需要进一步优化的置信水平。具体而言，输入SDR图像的过曝和欠曝区域被用于指导置信度图的学习，这在曝光引导置信度图学习模块（ECM）中实现。在网络的浅层，过曝或欠曝区域倾向于获得更高的置信度评分。随着网络的深入，已经重建到正常曝光的区域的置信度降低，而极端过曝或欠曝区域则继续被赋予更高的置信度值。两个曝光门控细节恢复分支通过一系列ECM来逐步利用学习到的置信度图重建细节。另一个动态范围扩展分支（DB）则用于扩展整个图像的动态范围，并通过共享权重与UB和OB进行关联。DB中学习到的动态范围特征和UB、OB中生成的细节结构与纹理特征被融合以重建最终的HDR图像。此外，我们还构建了一个大型的SDR-HDR数据集，用于训练和评估。该模型不仅扩展了图像的全局动态范围，还在欠曝和过曝区域产生了富有纹理和结构细节的优质视觉效果。本文的主要贡献可以总结如下：

1. 我们提出了一种新颖的EIN，能够从单个SDR图像重建HDR图像。该模型由三个交互分支组成，能够保持图像局部和全局特征的一致性，从而通过扩展全局动态范围和恢复局部细节的纹理和结构细节，实现HDR图像的高质量重建。
2. 我们提出了一种专门用于欠曝和过曝区域重建的ECM。该模块通过逐步学习置信度图，使提出的OB和UB在极端欠曝和过曝区域的细节恢复和伪影去除方面表现出色。
3. 我们生成了一个内容丰富的大型SDR-HDR数据集用于训练和评估。大量实验表明，基于大规模训练数据的模型在客观和主观评估中均优于现有方法。

本文的其余部分组织如下：第2节提供了相关工作的综述，涵盖了与本文研究相关的现有研究和方法。第3节详细描述了我们提出的方法，包括其理论基础和实际实现。第4节展示了实验结果，包括定性和定量评估，以评估我们方法的性能。第5节深入分析了消融研究和局限性。最后，我们的贡献在第6节中进行了总结。

在过去的几十年里，许多研究探讨了逆色调映射，旨在扩展SDR图像的亮度动态范围。这些方法通常分为全局和局部方法。对于全局方法，Akyüz等人提出线性变换可以为HDR显示提供更令人满意的图像结果，而不是专门为图像内容设计的非线性函数。基于这一观察，他们提出了一种线性扩展动态范围的方法，并表明这种方法在HDR显示器上可以优于原生HDR内容。

由于在恢复此类区域时的困难，一些局部注意力算法被提出用于饱和区域。Meylan等人应用分段线性函数，为过曝区域提供更高的斜率。Banterle等人采用中位切割算法来寻找光源，生成扩展图。为了在高亮度区域保留更多纹理，使用边缘停止函数和高斯平滑滤波器进行亮度增强。Kovaleski和Oliveira提出了一种更节省时间的方法，使用双边滤波器获取锐利的边缘，并通过引入交叉双边滤波器来改善更广泛的曝光范围。Kuo等人进一步提出了一种内容自适应模型，将输入场景的亮度分为三类进行亮度扩展。然而，这些方法通常包含大量手动设置的参数，需要调整以生成更好的视觉质量。此外，简单地扩展亮度图可能无法重建高亮区域中的有限纹理。与这些传统方法不同，我们的学习模型能够适应不同的场景，并预测欠曝和过曝区域的丰富纹理。

CNN在各种计算机视觉任务中取得了显著突破。基于学习的单图像HDR重建方法大致可分为多曝光融合的间接方法和端到端网络的直接方法。对于前者类别，Endo等人首先提出CNN架构来生成不同曝光的SDR图像。Lee等人提出链式架构，并进一步改进，采用曝光控制网络。最近，Chen等人提出生成具有密集曝光值的SDR堆栈，以增强重建HDR图像的质量。随后，这些SDR图像被用于合成最终的HDR图像。

与间接方法相比，端到端网络可以训练用于直接的SDR到HDR图像推理。例如，Marnerides等人从输入SDR图像中提取多级特征以进行HDR图像恢复。使用引导滤波器，Kim等人将输入SDR图像分为基层和细节层，分别学习颜色和纹理细节。Zhang等人提出从两个估计的曝光图像重建HDR图像。还有一些无监督模型应用生成对抗网络（GAN）或零样本学习策略进行单HDR图像重建。这些方法应用相同的卷积核到整个图像，可能会在欠曝和过曝区域与其他区域之间产生不利影响，导致不自然的伪影。

最近，一些内容驱动的注意力模型被提出，以恢复饱和区域中的缺失对比和纹理。Eilertsen等人生成一个掩码来定位过曝区域，该掩码随后被输入U-net进行预测，其余区域则通过伽马函数进行映射。Santos等人进一步改进了该模型，生成可学习的掩码。Zhang和Ayd?n提出的模型生成过曝区域的掩码，该掩码用于细节层的组件重建。最近，Cao等人引入了一种创新方法，利用软掩码有效重建过曝区域。此外，它还引入了特征共享机制，将过曝区域的部分特征与主干网络集成，增强了模型准确理解和重建高亮度区域的能力。Kinoshita等人提出的逆色调映射模型使用两个独立的分支，旨在从原始输入SDR图像中学习局部特征，并从下采样的SDR图像中学习全局特征。Liu等人提出了一种新思路，通过逆转SDR成像的相机管道来重建HDR图像。同样，Chen等人提出了一个全局映射、局部增强，随后是高光生成的框架。尽管这些算法取得了最先进的结果，尤其是在过曝区域，但欠曝区域的缺失信息尚未被充分考虑。此外，现有方法中的掩码仅用于提取SDR图像的过曝区域。在我们提出的ECM中，学习到的置信度图旨在逐步引导网络，专注于最困难的重建区域。

EIN的概述如图1所示，包括三个交互分支，它们接受不同的输入以完成各自的任务。特别是，UB和OB负责欠曝和过曝区域的细节恢复，而DB则专注于扩展整个图像的动态范围。更具体地说，给定一个输入SDR图像，UB和OB分别将输入的SDR图像中的欠曝和过曝区域作为输入，并通过ECM逐步学习置信度图以重建欠曝和过曝区域的缺失细节。生成的置信度图能够推断每个区域和相应层的适当置信度，以交付稳定的重建结果。DB接受整个SDR图像作为输入，以扩展图像的动态范围。在解码器中，三个交互分支提取的特征被自适应融合以重建最终的HDR图像。上述提出的EIN将被详细描述。

为了恢复SDR图像中过曝区域的结构信息，一些局部注意力算法被提出。Meylan等人应用分段线性函数，为过曝区域提供更高的斜率。Banterle等人采用中位切割算法来寻找光源，生成扩展图。为了在高亮度区域保留更多纹理，使用边缘停止函数和高斯平滑滤波器进行亮度增强。Kovaleski和Oliveira提出了一种更节省时间的方法，使用双边滤波器获取锐利的边缘，并通过引入交叉双边滤波器来改善更广泛的曝光范围。Kuo等人进一步提出了一种内容自适应模型，将输入场景的亮度分为三类进行亮度扩展。然而，这些方法通常包含大量手动设置的参数，需要调整以生成更好的视觉质量。此外，简单地扩展亮度图可能无法重建高亮区域中的有限纹理。与这些传统方法不同，我们的学习模型能够适应不同的场景，并预测欠曝和过曝区域的丰富纹理。

本文提出了一种新的EIN，用于从单个SDR图像重建HDR图像。具体来说，该模型由三个交互分支组成，分别负责欠曝和过曝区域的细节恢复，并通过动态范围扩展分支（DB）进行交互，以逐步学习置信度图，从而在欠曝和过曝区域恢复缺失的细节。DB通过共享权重与UB和OB进行交互，以保持动态范围的一致性。UB和OB通过一系列ECM逐步学习置信度图，以利用学习到的置信度图重建细节。DB则扩展整个图像的动态范围，并与UB和OB进行交互。DB中学习到的动态范围特征和UB、OB中生成的细节结构和纹理特征被融合以重建最终的HDR图像。此外，我们还构建了一个大规模的SDR-HDR数据集，用于训练和评估。本文的主要贡献可以总结如下：

1. 我们提出了一种新颖的EIN，能够从单个SDR图像重建HDR图像。该模型由三个交互分支组成，能够保持图像局部和全局特征的一致性，从而通过扩展全局动态范围和恢复局部细节的纹理和结构细节，实现HDR图像的高质量重建。
2. 我们提出了一种专门用于欠曝和过曝区域重建的ECM。该模块通过逐步学习置信度图，使提出的OB和UB在极端欠曝和过曝区域的细节恢复和伪影去除方面表现出色。
3. 我们生成了一个内容丰富的大型SDR-HDR数据集用于训练和评估。大量实验表明，基于大规模训练数据的模型在客观和主观评估中均优于现有方法。

本文的其余部分组织如下：第2节提供了相关工作的综述，涵盖了与本文研究相关的现有研究和方法。第3节详细描述了我们提出的方法，包括其理论基础和实际实现。第4节展示了实验结果，包括定性和定量评估，以评估我们方法的性能。第5节深入分析了消融研究和局限性。最后，我们的贡献在第6节中进行了总结。

本文提出了一种基于深度学习的HDR图像重建方法，该方法旨在从单个SDR图像中恢复HDR图像。与传统的HDR图像相比，SDR图像由于量化和最大亮度限制，常常表现出欠曝或过曝的区域。为了解决这一问题，我们设计了三个交互分支：动态范围扩展分支（DB）、欠曝细节恢复分支（UB）和过曝细节恢复分支（OB）。这些分支分别接受不同的输入，并通过ECM逐步学习置信度图以重建细节。DB通过扩展整个图像的动态范围来提升HDR图像的质量，而UB和OB则专注于恢复局部细节。此外，DB和UB、OB共享权重，以保持动态范围的一致性。三个分支提取的特征被自适应融合以生成最终的HDR图像。我们还构建了一个大规模的SDR-HDR数据集，用于训练和评估。本文的主要贡献可以总结如下：

1. 我们提出了一种新颖的EIN，能够从单个SDR图像重建HDR图像。该模型由三个交互分支组成，能够保持图像局部和全局特征的一致性，从而通过扩展全局动态范围和恢复局部细节的纹理和结构细节，实现HDR图像的高质量重建。
2. 我们提出了一种专门用于欠曝和过曝区域重建的ECM。该模块通过逐步学习置信度图，使提出的OB和UB在极端欠曝和过曝区域的细节恢复和伪影去除方面表现出色。
3. 我们生成了一个内容丰富的大型SDR-HDR数据集用于训练和评估。大量实验表明，基于大规模训练数据的模型在客观和主观评估中均优于现有方法。

本文的其余部分组织如下：第2节提供了相关工作的综述，涵盖了与本文研究相关的现有研究和方法。第3节详细描述了我们提出的方法，包括其理论基础和实际实现。第4节展示了实验结果，包括定性和定量评估，以评估我们方法的性能。第5节深入分析了消融研究和局限性。最后，我们的贡献在第6节中进行了总结。

在第3节中，我们详细描述了EIN的结构。EIN的总体架构如图1所示，包括三个交互分支，它们接受不同的输入以完成各自的任务。特别是，UB和OB负责欠曝和过曝区域的细节恢复，而DB则专注于扩展整个图像的动态范围。DB使用SDR图像的全局信息来扩展动态范围。在解码器中，三个交互分支提取的特征被自适应融合以重建最终的HDR图像。该模型的各个组件被详细描述。

DB是类似UNet的编码器，用于提取整个SDR图像的多尺度特征。具体而言，设计了通道-空间注意力（CSA）模块和残差扩张密集块（RDDB）以改进DB的特征表示。CSA模块用于调整特征的权重，而RDDB模块用于提取上下文特征。

在第3.1节中，我们详细描述了DB的结构。DB是类似UNet的编码器，用于提取整个SDR图像的多尺度特征。具体而言，设计了通道-空间注意力（CSA）模块和残差扩张密集块（RDDB）以改进DB的特征表示。这些模块能够调整特征的权重，并增强局部结构细节的表达能力。因此，在每个卷积层之后，我们引入了CSA模块，以进一步调整特征的空间和通道维度的权重。给定一个输入特征图，首先应用通道注意力（CA）模块，通过在通道维度上应用全局平均池化函数来重新分配每个通道的权重。重新校准后的CA特征可以表示为。随后，应用空间注意力（SA）模块来进一步集中于空间域的有效特征。SA模块采用全局平均池化和全局最大池化来处理空间维度。SA模块提取的特征可以计算为。这种结构允许网络逐步关注判别性特征，提高特征提取的效率。为了计算最终的CSA特征，采用了残差策略：

在第3.1.1节中，我们描述了CSA模块。该模块通过在每个卷积层之后引入，以进一步调整特征的空间和通道维度的权重。给定一个输入特征图，首先应用通道注意力（CA）模块，通过在通道维度上应用全局平均池化函数来重新分配每个通道的权重。重新校准后的CA特征可以表示为。随后，应用空间注意力（SA）模块来进一步集中于空间域的有效特征。SA模块采用全局平均池化和全局最大池化来处理空间维度。SA模块提取的特征可以计算为。这种结构允许网络逐步关注判别性特征，提高特征提取的效率。为了计算最终的CSA特征，采用了残差策略：

在第3.1.2节中，我们描述了RDDB模块。残差密集块在图像超分辨率任务中因其强大的特征集成能力而被认为是一个有价值的结构。在这里，RDDB被提出，用于在网络瓶颈中联合使用密集连接和扩张卷积机制，以提取上下文特征。与常用的3×3卷积核相比，扩张卷积层使网络能够学习更广的接收域，从而更好地提取局部特征。更具体地说，输入为RDDB，第一密集层的结构可以表示为。随后的三个密集模块共享与第一个密集模块相同的结构，以提取上下文特征，但这四个密集模块的扩张比率分别设置为1、2、4和8。这些多尺度上下文特征通过1×1卷积层进行融合，以将通道数缩减回与输入相同。CA和SA随后被应用于这些融合后的特征，以进一步重新校准特征。最终的DB输出可以表示为：

DB总共有四个尺度。对于前三个尺度，CSA的输出被用于后续的ECM中。第四个CSA的输出将在RDDB中进一步优化。在第3.2节中，我们描述了ECM。ECM旨在学习置信度图，以逐步推断每个区域和相应层的适当置信度，以交付稳定的重建结果。为了实现这一点，UB和OB采用ECM，通过一系列ECM逐步学习置信度图，以重建欠曝和过曝区域的细节。生成的置信度图能够推断每个区域和相应层的适当置信度，以交付稳定的重建结果。DB接受整个SDR图像作为输入，以扩展图像的动态范围。在解码器中，三个交互分支提取的特征被自适应融合以生成最终的HDR图像。此外，我们还构建了一个大规模的SDR-HDR数据集，用于训练和评估。本文的主要贡献可以总结如下：

1. 我们提出了一种新颖的EIN，能够从单个SDR图像重建HDR图像。该模型由三个交互分支组成，能够保持图像局部和全局特征的一致性，从而通过扩展全局动态范围和恢复局部细节的纹理和结构细节，实现HDR图像的高质量重建。
2. 我们提出了一种专门用于欠曝和过曝区域重建的ECM。该模块通过逐步学习置信度图，使提出的OB和UB在极端欠曝和过曝区域的细节恢复和伪影去除方面表现出色。
3. 我们生成了一个内容丰富的大型SDR-HDR数据集用于训练和评估。大量实验表明，基于大规模训练数据的模型在客观和主观评估中均优于现有方法。

本文的其余部分组织如下：第2节提供了相关工作的综述，涵盖了与本文研究相关的现有研究和方法。第3节详细描述了我们提出的方法，包括其理论基础和实际实现。第4节展示了实验结果，包括定性和定量评估，以评估我们方法的性能。第5节深入分析了消融研究和局限性。最后，我们的贡献在第6节中进行了总结。

为了恢复SDR图像中过曝区域的结构信息，一些局部注意力算法被提出。Meylan等人应用分段线性函数，为过曝区域提供更高的斜率。Banterle等人采用中位切割算法来寻找光源，生成扩展图。为了在高亮度区域保留更多纹理，使用边缘停止函数和高斯平滑滤波器进行亮度增强。Kovaleski和Oliveira提出了一种更节省时间的方法，使用双边滤波器获取锐利的边缘，并通过引入交叉双边滤波器来改善更广泛的曝光范围。Kuo等人进一步提出了一种内容自适应模型，将输入场景的亮度分为三类进行亮度扩展。然而，这些方法通常包含大量手动设置的参数，需要调整以生成更好的视觉质量。此外，简单地扩展亮度图可能无法重建高亮区域中的有限纹理。与这些传统方法不同，我们的学习模型能够适应不同的场景，并预测欠曝和过曝区域的丰富纹理。

在第3.2节中，我们描述了ECM。ECM旨在学习置信度图，以逐步推断每个区域和相应层的适当置信度，以交付稳定的重建结果。ECM的结构如图2（c）所示。该部分以欠曝区域的分支为例，说明其结构细节，这与过曝区域的分支一致。具体而言，在第i个尺度中，下采样的置信度图与上一个尺度的输出结合，以生成当前尺度的置信度图。生成的置信度图能够推断每个区域和相应层的适当置信度，以交付稳定的重建结果。DB接受整个SDR图像作为输入，以扩展图像的动态范围。在解码器中，三个交互分支提取的特征被自适应融合以生成最终的HDR图像。此外，我们还构建了一个大规模的SDR-HDR数据集，用于训练和评估。本文的主要贡献可以总结如下：

1. 我们提出了一种新颖的EIN，能够从单个SDR图像重建HDR图像。该模型由三个交互分支组成，能够保持图像局部和全局特征的一致性，从而通过扩展全局动态范围和恢复局部细节的纹理和结构细节，实现HDR图像的高质量重建。
2. 我们提出了一种专门用于欠曝和过曝区域重建的ECM。该模块通过逐步学习置信度图，使提出的OB和UB在极端欠曝和过曝区域的细节恢复和伪影去除方面表现出色。
3. 我们生成了一个内容丰富的大型SDR-HDR数据集用于训练和评估。大量实验表明，基于大规模训练数据的模型在客观和主观评估中均优于现有方法。

本文的其余部分组织如下：第2节提供了相关工作的综述，涵盖了与本文研究相关的现有研究和方法。第3节详细描述了我们提出的方法，包括其理论基础和实际实现。第4节展示了实验结果，包括定性和定量评估，以评估我们方法的性能。第5节深入分析了消融研究和局限性。最后，我们的贡献在第6节中进行了总结。

在第3.3节中，我们描述了JGL解码器。解码器在我们提出的EIN中起着至关重要的作用，因为它负责处理DB的全局特征和UB、OB的局部特征，以生成高质量的HDR图像。为了保持整个图像和局部欠曝/过曝区域的一致性，我们设计了一个JGL解码器，如图2（d）所示。UB和OB的局部特征通过DB的特征进行指导，并通过卷积层进行融合。此外，DB的特征被单独处理以保持全局一致性。全局和局部特征在解码器中被融合以生成最终的HDR图像。提出的EIN如上所述将被详细描述。

在第3.4节中，我们描述了损失函数。由于HDR图像的宽动态范围和亮度值分布不均，直接基于HDR图像优化损失函数可能难以使网络收敛。受之前工作的启发，我们采用μ律对线性图像进行可微分的重缩放：

在第4节中，我们展示了实验结果。在本文中，我们展示了广泛的实验结果和讨论。接下来，我们将描述数据集、实现细节和评估指标，然后比较我们提出的EIN和其他最先进的方法在定量和定性方面的性能。更多结果可在补充材料中找到。

在第4.1节中，我们描述了数据集。我们构建了一个大规模的合成数据集，用于训练和评估。此外，我们在公开的真实数据集上将我们的模型与最先进的模型进行了比较，以进一步证明EIN的有效性和鲁棒性。我们使用了两个基准数据集，其中没有用于训练。重要的是，这些基准数据集中的HDR图像与我们的合成数据集中的HDR图像没有重叠。此外，HDREYE数据集中的SDR图像对应HDR图像的0级曝光图像。在SIHDR中，曝光值被选择以确保生成的SDR图像具有3%或5%的饱和像素。因此，训练数据和测试数据在构造SDR图像的方法上存在显著差异，这可以公平且合理地反映每种方法的性能和鲁棒性。

在第4.2节中，我们描述了实现细节。我们的模型是使用PyTorch实现的，采用Adam优化器进行优化，其中参数被设置为β1=0.9和β2=0.999。学习率和批量大小被设置为5e-5和8。网络在配备GeForce RTX 3090 Ti GPU的服务器上训练了150个epoch，耗时120小时。在我们的实现中，方程（12）中的权重参数λ1和λ2被经验性地设置为10和180/π，分别。

在第4.3节中，我们描述了评估指标。为了评估恢复HDR图像的质量，采用了常用的HDR-VDP-3、HDR-VDP-2、HDR-VQM、峰值信噪比（PSNR）、亮度级PSNR（PSNRY）和视觉显著性诱导（VSI）指标，以及基于感知的图像质量评估器（PIQE）来比较每种模型在HDR和SDR领域中的性能。HDR-VDP-3、HDR-VDP-2和HDR-VQM是专门设计用于HDR图像的，而其他四种方法旨在评估对应HDR图像的SDR图像的质量。为了获得可靠的比较结果，在应用基于SDR的指标前，采用PU21编码进行CRF校正。在训练和测试阶段，HDR和SDR图像被线性映射到[0,1]范围，如[52]中所述。在测试阶段，我们采用显示参考方法进行图像归一化和动态范围一致性映射，如[52]中所述，并使用相同的参数设置。

在第4.4节中，我们进行了定量和定性评估。定量评估中，我们首先将我们提出的方法与最先进的方法ExpandNet、DrTMO、HDRCNN、HDRRec、HDRUnet、SingleHDR、HDRTVNet、CEVR、GlowGAN和DeepRec进行比较。如表1所示，我们的方法在HDR-VDP-3、HDR-VDP-2、HDR-VQM、PSNR、PSNRY和VSI指标上均优于其他方法，并在合成数据集上获得了第二高的PIQE分数。HDRCNN和SingleHDR的性能也被证明是高度有效的。这两个模型均包含专门用于HDR图像高亮度区域重建的模块，这进一步证明了我们基于曝光的方法在HDR重建中的可信度。SIHDR和HDREYE的评估结果如表2所示。根据结果，我们的方法在九次评估中始终处于领先地位，并在一次评估中处于第二位。值得注意的是，没有其他算法在第一和第二名排名上超过我们的方法。这种一致的高排名模式表明，我们的算法在各种评估标准和数据集上都具有有效性和鲁棒性。更多统计分析可在补充材料中找到。

在HDR图像重建中，恢复过曝和欠曝区域是其中最具有挑战性的任务之一。因此，在表3中，我们提供了过曝和欠曝区域恢复的评估结果。实验在SIHDR数据集上进行，其中过曝和欠曝区域分别由输入SDR图像的前5%最大值和后5%最小值生成。结果表明，尽管我们的算法没有专门设计用于过曝和欠曝区域的损失函数，但它仍然优于现有算法，尤其是在恢复欠曝区域方面具有显著优势。此外，可以明显看出HDRCNN在处理过曝区域方面表现良好，而DrTMO在恢复欠曝区域方面表现出色。这些结果与它们的设计原则一致：HDRCNN结合了专门的网络和损失函数来恢复过曝区域，而DrTMO生成一系列具有不同曝光值的SDR图像。这种曝光括号化使DrTMO能够捕捉并保留在欠曝区域中否则会丢失的细节，从而增强其在最终HDR输出中重建这些区域的能力。

从表1至表3的结果中，我们可以得出以下分析和结论，这些结论也可以从后续的定性评估中得出。首先，我们提出的方法EIN的有效性。我们的EIN在最先进的单图像HDR重建方法中表现优异，并在各种评估指标和数据集上始终交付稳定的结果。其次，HDR重建中过曝区域的影响。尽管过曝和欠曝区域的重建对HDR图像质量至关重要，但表3显示，重建过曝区域比处理欠曝区域更具挑战性。因此，采用专门方法重建过曝区域的算法，如HDRCNN、HDRRec、HDRUnet和SingleHDR，仍然表现出色，这从表1和表2的结果中可以得到证明。这进一步强调了在HDR图像重建过程中准确重建过曝区域的重要性。第三，欠曝区域和非饱和区域在HDR重建中的影响。尽管过曝区域在HDR图像重建中起着关键作用，但欠曝区域往往包含显著的噪声和色调偏移，这可能导致HDR重建过程中重要细节的丢失，而非饱和区域主要面临色调位移的问题。因此，重建需求的不匹配可能导致模型忽略欠曝区域中的噪声影响，或未能充分解决色调位移问题。DrTMO和DeepRec通过生成一系列具有不同曝光值的SDR图像来提高HDR重建质量。这种策略使得在不同曝光下纹理和颜色的恢复更为有效，从而在欠曝区域的性能优于其他方法，如表3所示。我们的方法EIN通过共享欠曝和非饱和区域的参数来处理欠曝区域，同时引入了专门用于欠曝区域重建的ECM。该模块有效地校正了欠曝区域的色调偏移和噪声，提高了细节恢复的精度和质量，从而在全局保持一致性并在局部恢复细小细节。

定性评估方面，我们的EIN不仅在定量评估中取得了最先进的结果，而且在各种内容和曝光值的SDR图像中提供了令人满意的重建结果，这源于重建内容的丰富性和鲁棒性。请注意，本文中所有的HDR图像都是通过CRF校正和伽马映射生成的，其中曝光值被调整以适应欠曝（EV-）和过曝（EV+）区域的重建结果。在此，我们提供了EIN和最先进的方法在合成数据集和SIHDR数据集上的重建HDR图像的视觉质量比较，如图4和图5所示。输入的SDR图像来自合成数据集和SIHDR数据集。我们可以观察到，这两个SDR图像包含我们在现实世界中可能遇到的具有挑战性的区域，而我们的方法EIN在处理欠曝和过曝区域时表现出色，优于其他算法。

在图4中，挑战性区域包括欠曝区域，如灌木丛和栏杆，以及过曝区域，主要是天空，许多方法在准确重建颜色和结构细节方面存在困难。在欠曝区域（用蓝色框标出），像ExpandNet、HDRRec、DrTMO、GlowGAN和HDRUnet等模型能够有效恢复灌木丛的颜色信息，而HDRCNN、HDRRec、DrTMO、DeepRec和CEVR则能提供更清晰的灌木丛、栏杆和墙壁的结构细节。此外，HDRRec和DeepRec在灌木丛和栏杆周围的区域中表现出减少噪声的能力。在过曝区域，像HDRCNN、HDRRec、DrTMO、HDRUnet和SingleHDR等模型成功重建了输入图像中过曝的天空区域。值得注意的是，对于极端过曝区域（用红色框标出），HDRUnet和SingleHDR在云结构恢复方面表现更好。总体而言，我们的EIN模型在欠曝区域中实现了现实的灌木丛、栏杆和墙壁的结构和颜色细节重建，同时在极端过曝区域中保留了天空的自然颜色和云结构。

图5突出了两个主要问题：兔子背部的过曝区域（蓝色框）和头部及背景的欠曝区域（红色框）。对于过曝区域，我们区分了“过曝区域”（其中部分颜色信息被保留）和“极端过曝区域”（其中颜色和结构信息几乎完全丢失）。在前者中，大多数方法能够充分恢复结构和纹理。然而，在后者中，某些方法（如HDRCNN和SingleHDR）倾向于生成纹理，尽管这些纹理看起来不太现实，但与邻近区域的纹理较为一致，而某些方法（如ExpandNet、CEVR和GlowGAN）可能生成高度不自然的纹理。相比之下，我们的方法不仅在过曝区域的重建方面更有效，还能在极端过曝区域中生成真实的纹理。对于图5中的欠曝区域，其中噪声是一个关键问题，我们的方法能够有效减少噪声，同时保留关键的纹理细节，如窗帘的图案。总体而言，我们的方法通过在不同曝光水平下实现现实的重建，提供了一致的改进。更多可视化结果可在补充材料中找到。

在第4.5节中，我们进行了用户研究，以评估重建HDR图像的主观质量。进行了配对比较实验，其中受试者被要求在两个重建的HDR结果之间选择更喜欢的图像。具体而言，从测试数据集中选择了15个SDR图像。在此次实验中，有10名男性和5名女性受试者参与，年龄在22-30岁之间。我们使用Dell UltraSharp 27 4K HDR显示器进行展示，该显示器的高对比度比为20,000:1，观看距离设定为80厘米，如[18]中所述。为了适应显示器的最大亮度，HDR图像的最大亮度被线性调整为1,000尼特。

在第4.5.1节中，我们进行了共识统计分析。对于每个单独的场景，我们按照[5]和[41]的方法进行了详细统计分析，以评估用户偏好的一致性和观察到的差异的重要性。具体而言，我们计算了三个关键的心理物理度量：共识系数（u），这量化了受试者之间的共识程度。共识系数u=1表示所有受试者之间存在完全的共识；一致性系数（ζ），这反映了成对比较的传递性。一致性系数ζ=1意味着不存在循环三元组，表示数据可以一致排序；以及相应的显著性值（χ2），这测试了观察到的共识的可靠性。这些每场景的结果总结在表4中。如表所示，大多数受试者的选择表现出高度的一致性，支持用户研究作为感知评估的参考。

在第4.5.2节中，我们描述了结果。结果基于Thurstone模型V的假设进行缩放，使用公开软件。质量差异通过刚可察觉差异进行评估。结果如图6所示，表明我们的EIN方法获得了最高认可，并且更符合人类视觉感知的规律。此外，11种方法的总体感知排名和相应的总体相似性图如图7所示。在这个全局图中，每个方法下方的数字表示它在成对主观评估中被判定为更优选择的次数。根据[5]和[41]中描述的统计分析方法，用相同水平线连接的方法被视为感知上不可区分。更多关于主观实验数据显著性的分析可在补充材料中找到。

在第5节中，我们进行了分析和讨论。在第5.1节中，我们进行了消融研究。我们进行了八种EIN变体，如以下所示：（1）EIN无ECM：用前一个尺度的下采样置信度图直接用于下一个尺度，而不是通过ECM学习每个尺度的置信度图进行细节重建；（2）EIN无OB：移除过曝区域的分支；（3）EIN无UB：移除欠曝区域的分支；（4）EIN无UB和OB：移除UB和OB，仅使用DB进行HDR图像重建；（5）EIN无CSA：移除EIN中的CSA模块；（6）EIN无RDDB：移除EIN中的RDDB模块；（7）EIN无JGL：用三个分支的特征图直接连接来替换JGL解码器；（8）EIN无SW：为UB和OB学习独立的权重，而不是与DB共享权重。定量和定性评估结果如表5和图8所示。

在第5.1.1节中，我们描述了网络架构。为了展示第3节中提出的结构的有效性，我们进行了八种EIN变体的实验。这些实验包括：（1）EIN无ECM：用前一个尺度的下采样置信度图直接用于下一个尺度，而不是通过ECM学习每个尺度的置信度图进行细节重建；（