通过可逆神经网络实现比特深度增强

《Image and Vision Computing》：Bit-depth enhancement via invertible neural network

　　摘要
比特深度增强在通过高比特深度图像重建将传统的低比特深度图像与高动态范围显示器连接起来方面起着关键作用。尽管现有方法已经取得了相当大的性能提升，但它们仍然受到任务本身不适定性这一根本限制的制约。在本文中，我们提出了一种新颖的可逆比特深度增强网络（IBEN），该网络通过可逆神经建模明确建立了比特深度降级与比特深度增强之间的双向映射。我们的方法引入了两个关键创新：（1）可逆比特深度分割块和仿射耦合块，它们在保持严格可逆性的同时，将比特平面信息分解为可学习的潜变量；（2）双向受限学习范式，结合了降级一致性损失、潜变量分布对齐和增强重建损失，以确保循环一致的优化。广泛的实验表明，与现有方法相比，我们的方法在定性和定量上都表现更为优越。

引言
比特深度是数字图像处理中的一个基本概念，指的是用于编码每个像素颜色信息的比特数。更高的比特深度能够表示更细微的颜色渐变和更细致的纹理细节，从而提高视觉质量。随着高动态范围（HDR）显示器的兴起[1]（通常支持10位或更高比特深度的编码），与比特深度相关的问题变得越来越明显。尽管硬件有了进步，但大量现有的数字图像仍然存储在8位的传统格式中。直接在HDR显示器上显示这些低比特深度（LBD）图像往往会导致视觉伪像，包括错误的轮廓、颜色偏移和模糊[2]。比特深度增强（BDE）旨在从LBD图像重建高比特深度（HBD）图像，是使LBD图像适应HDR显示器的关键技术。然而，这一增强任务本质上是不适定的，因为单个LBD图像可能对应于多个可能的HBD版本，这是由于量化模糊所致。

传统的BDE方法依赖于假设的先验知识，通过手工设计的技术（如像素级映射[3]、[4]和空间上下文建模[5]、[6]、[7]、[8]、[9]、[10]）来推断缺失的低阶比特。然而，这些方法经常引入伪像，特别是在平滑区域，同时缺乏高频细节的恢复。为了解决这些限制，引入了卷积神经网络（CNNs）来模拟空间依赖性并提高视觉保真度，因为它们的数据驱动特性比简单的手工规则更能适应HBD图像的复杂分布。早期的基于学习的方法采用单尺度设计[11]、[12]、[13]、[14]，以保持全分辨率特征来保存空间细节。然而，它们的性能受到有限感受野和浅层网络深度的限制。随后，基于编码器-解码器架构（如U-Net[19]）的多尺度框架[13]、[15]、[16]、[17]、[18]成为BDE的主流，因为它们能够捕获多层次的上下文信息。其他变体也已经被探索，包括双分支网络[20]、[21]（分别处理平滑区域和纹理区域）和迭代框架[22]、[23]、[24]（从粗到细逐步重建比特平面）。尽管这些方法在一定程度上减轻了错误轮廓和颜色偏移等问题，但它们都是基于同一个范式设计的，即利用神经网络来近似LBD图像到HBD图像的直接映射。这种范式依赖于越来越复杂的模型来补偿信息丢失和BDE任务不适定性带来的挑战，通常导致大量的计算成本，而这些成本与性能提升相比不成比例。

另一种更新颖的视角是直接建模从HBD图像到LBD图像的退化过程中丢失的信息，以促进逆向BDE任务（图1(b)）。类似的想法在各种不适定图像增强任务中被证明是有效的，例如图像超分辨率[25]、[26]和图像隐写[27]，其中建模正向退化过程可以提高逆向恢复的质量。可逆神经网络（INNs）[28]、[29]、[30]、[31]是实现这一想法的核心技术，能够用潜变量建模高维数据和低维数据之间的双射映射，从而同时实现正向退化和反向重建。通过引入可逆神经网络（INNs）来建模正向退化和反向重建的双射映射，这些任务在性能上取得了显著提升。尽管将INNs融入BDE任务具有巨大潜力，但由于其固有的性质，BDE任务仍面临两个关键挑战：（1）如何开发与BDE兼容的可逆架构，其中信息丢失不遵循传统的空间或通道模式；（2）如何在比特平面的二进制值域内有效优化网络。为了解决上述挑战，我们提出了可逆比特深度增强网络（IBEN）。具体来说，为了便于在INN框架内建模比特深度降级，我们开发了一个可逆比特深度分割块（BSB），该块将信息从比特深度维度重新投影到通道维度。然后，一系列仿射耦合块（ACB）被用来逐步将丢失的比特深度信息编码为与情况无关的潜变量。为了优化这个可逆网络，我们设计了一个双向受限学习范式，其中包含了基于二进制交叉熵的LBD引导损失，以在二进制值域内稳定训练过程。总体而言，在正向训练过程中，所提出的IBEN将丢失的低比特信息建模为假设遵循特定分布的潜变量。在逆向推理阶段，这个潜变量从分布中被重新采样，并与LBD图像结合以重建HBD图像。

总的来说，我们的贡献总结如下：
•我们提出了一个新颖的框架，通过INNs明确地将比特深度降级和增强建模为相互可逆的任务。通过将BDE重新定义为双射映射，所提出的框架有效地缓解了任务本身的不适定性。
•我们提出了可逆比特深度增强网络（IBEN），它由一个比特深度分割块和一系列仿射耦合块组成，并结合了相应的双向受限学习范式，以解决与比特深度维度信息丢失和二进制域优化相关的问题。
•在多个基准测试中的广泛实验表明，IBEN在4位到8位和8位到16位的增强任务上始终优于现有的比特深度增强方法。

实验片段
早期的手工方法通过像素级映射来填充缺失的低比特，例如零填充（ZP）、理想增益倍乘（MIG）、比特复制（BR）[3]和基于最小风险的分类（MRC）[4]。然而，这些方法忽略了空间依赖性和上下文线索，经常导致可见的伪像和色彩失真。后续方法在BDE任务中引入了上下文和结构先验，包括基于滤波器的[5]、[32]、基于优化的[7]等方法。

问题公式化
设IH为N比特深度的HBD图像，IL为相应n比特深度的LBD图像，其中n
数据集
我们在四个公共数据集上训练和评估了所提出的方法，包括一个16位图像数据集mit-adobe 5k[55]和三个8位图像数据集div2k[56]、kodak[57]、testimages[58]。mit-adobe 5k包含5000张由专业摄影师拍摄的天然图像，分辨率约为2000 × 3000，涵盖了室内/室外场景、不同的光照条件和主题。div2k是一个广泛用于图像恢复任务的数据集，包含1000张高质量图像。

限制和未来工作
虽然iben在标准基准测试上取得了优异的结果，但在更复杂的数据集（例如testimages）以及扩展到更高比特深度任务（例如8位到16位）时，其性能提升减弱了。这主要是由于当前可逆架构的表示能力有限，其中双射性约束限制了特征的表达能力，与无约束模型相比。在未来的工作中，我们计划开发更具表现力的可逆模块，例如耦合模块。

结论
在本文中，我们提出了一种可逆比特深度增强网络（iben）用于比特深度增强任务。通过明确建模从hbd图像到lbd图像的退化过程，显著缓解了任务的不适定性。所提出的方法将低比特信息映射为遵循特定分布的情况无关的潜变量，使得逆向重建可以随机采样。我们设计了一个特定的可逆架构，由比特深度组件组成。

作者贡献声明
张震：撰写——原始草稿、方法论。杨杰：验证、数据整理。廖亮：撰写——审阅与编辑。肖静：监督。杨燕：验证、监督、资金获取、数据整理。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

张震 | 杨杰 | 廖亮 | 肖静 | 杨燕
中国武汉大学计算机科学学院 数据集 我们在四个公共数据集上训练和评估了所提出的方法，包括一个16位图像数据集mit-adobe 5k[55]和三个8位图像数据集div2k[56]、kodak[57]、testimages[58]。mit-adobe 5k包含5000张由专业摄影师拍摄的天然图像，分辨率约为2000 × 3000，涵盖了室内 室外场景、不同的光照条件和主题。div2k是一个广泛用于图像恢复任务的数据集，包含1000张高质量图像。 限制和未来工作 虽然iben在标准基准测试上取得了优异的结果，但在更复杂的数据集（例如testimages）以及扩展到更高比特深度任务（例如8位到16位）时，其性能提升减弱了。这主要是由于当前可逆架构的表示能力有限，其中双射性约束限制了特征的表达能力，与无约束模型相比。在未来的工作中，我们计划开发更具表现力的可逆模块，例如耦合模块。 结论 在本文中，我们提出了一种可逆比特深度增强网络（iben）用于比特深度增强任务。通过明确建模从hbd图像到lbd图像的退化过程，显著缓解了任务的不适定性。所提出的方法将低比特信息映射为遵循特定分布的情况无关的潜变量，使得逆向重建可以随机采样。我们设计了一个特定的可逆架构，由比特深度组件组成。 作者贡献声明 张震：撰写——原始草稿、方法论。杨杰：验证、数据整理。廖亮：撰写——审阅与编辑。肖静：监督。杨燕：验证、监督、资金获取、数据整理。 利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。 张震 | 杨杰 | 廖亮 | 肖静 | 杨燕>
数据集
我们在四个公共数据集上训练和评估了所提出的方法，包括一个16位图像数据集mit-adobe 5k[55]和三个8位图像数据集div2k[56]、kodak[57]、testimages[58]。mit-adobe 5k包含5000张由专业摄影师拍摄的天然图像，分辨率约为2000 × 3000，涵盖了室内/室外场景、不同的光照条件和主题。div2k是一个广泛用于图像恢复任务的数据集，包含1000张高质量图像。

限制和未来工作
虽然iben在标准基准测试上取得了优异的结果，但在更复杂的数据集（例如testimages）以及扩展到更高比特深度任务（例如8位到16位）时，其性能提升减弱了。这主要是由于当前可逆架构的表示能力有限，其中双射性约束限制了特征的表达能力，与无约束模型相比。在未来的工作中，我们计划开发更具表现力的可逆模块，例如耦合模块。

结论
在本文中，我们提出了一种可逆比特深度增强网络（iben）用于比特深度增强任务。通过明确建模从hbd图像到lbd图像的退化过程，显著缓解了任务的不适定性。所提出的方法将低比特信息映射为遵循特定分布的情况无关的潜变量，使得逆向重建可以随机采样。我们设计了一个特定的可逆架构，由比特深度组件组成。

作者贡献声明
张震：撰写——原始草稿、方法论。杨杰：验证、数据整理。廖亮：撰写——审阅与编辑。肖静：监督。杨燕：验证、监督、资金获取、数据整理。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

张震 | 杨杰 | 廖亮 | 肖静 | 杨燕
中国武汉大学计算机科学学院>