基于RGB-NIR图像对的曝光不均人脸校正网络FICNet研究

本文提出了一种名为FICNet的创新性人脸图像校正网络，旨在解决复杂室内光照下肖像摄影中常见的曝光不均问题。该研究首次利用RGB-NIR（近红外）图像对的互补信息，通过初始曝光校正（IEC）模块和级联可变形融合（CDF）模块，有效增强欠曝光区域并恢复过曝光区域丢失的纹理细节。所提出的三种异常曝光模拟方法（线性/高斯模型及S形映射）显著提升了模型鲁棒性。实验证明，FICNet在图像质量、人脸解析（face parsing）和识别（face recognition）等下游任务上均优于现有先进方法。

　　

Highlight

我们的工作受到以下观察的启发：在复杂室内光照条件下，肖像摄影和面部自拍中的人脸图像可能会遭受曝光不均的问题。先前的工作依赖于单张图像来处理这种异常曝光问题，但它们在恢复丢失的纹理方面遇到了困难。相比之下，考虑到室内光源的光谱辐照度，本研究引入了额外的近红外（NIR）图像，并利用RGB-NIR对的互补特性来校正曝光不均的人脸图像。

Motivation

曝光不均人脸图像的校正面临两个挑战：1）单张图像内亮度分布的极端变化，以及 2）过曝光区域结构和颜色信息的丢失。为了应对第一个挑战，我们校正并补偿异常曝光区域。对于第二个挑战，我们引入了额外的光谱信息，即近红外（NIR）图像，它提供了结构细节。此外，由于人脸皮肤表现出空间相似性，这有助于从相邻区域传播信息。

Abnormal Exposure Simulation and Data Generation

为了训练我们的FICNet，我们需要多样化的异常曝光RGB人脸图像及其对应的真实值（ground-truths）用于监督。重新光照（Relighting）方法已被设计用于模拟不同的肖像光照。然而，这些方法必须估计复杂的3D几何模型并需要额外的光照图，这增加了真实感图像重建的难度并限制了模拟的多样性。在这项工作中，我们引入了两种曝光模型和一种S形映射来模拟三种类型的异常曝光：欠曝光、高动态范围曝光和过曝光。

Datasets and Experimental Setup

数据集（Datasets）。 我们在实验中使用两个数据集。第一个是自行收集的数据集，名为FaceIVL。由于公共人脸数据集仅包含RGB单模态图像，而非RGB-NIR双模态图像对，我们使用JAI FS-3200D-10GE（一种2-CMOS多光谱棱镜相机）捕获了270对RGB-NIR人脸图像。我们使用200对RGB-NIR图像进行训练，70对进行测试。测试对被拆分并扩展为两组：曝光不均测试集和极端曝光测试集。

Conclusions

在这项工作中，我们提出了FICNet，一种利用RGB-NIR对进行人脸曝光不均校正的新型网络。通过引入额外的近红外（NIR）图像，FICNet可以恢复因过曝光而损坏的可靠纹理。我们的FICNet采用初始曝光校正（IEC）模块进行初始RGB特征调整，并采用级联可变形融合（CDF）模块进行RGB-NIR特征聚合。这两个模块显著提高了图像校正性能。此外，我们设计了三种异常曝光模拟技术来生成多样化的训练数据。