FaceGAN：基于多尺度判别与频域约束的热成像到可见光人脸转换

《Infrared Physics & Technology》：FaceGAN: thermal-to-visible face translation based on multi-scale discrimination and frequency-domain constraints

　　

# 摘要

红外相机在低光、夜间或复杂光照条件下能够保持可靠的成像。然而，热红外图像缺乏可见光图像中丰富的纹理和颜色信息，这限制了其在人脸识别中的直接可用性。因此，从热输入生成清晰的可见人脸图像是跨模态合成中的一个关键挑战。为此，我们提出了一个框架，将基于ViT的多尺度人脸判别器与频域监督机制相结合。该判别器采用多尺度聚合策略，结合ViT的全局感受野，从粗到细强制结构一致性。同时，频域损失对低频分量施加单独的约束以控制全局几何形状，对高频分量施加自适应加权以处理精细纹理，而人脸感知损失则进一步增强身份保持。在ComplexFace和Tufts上的实验表明，我们的方法优于现有方法。在ComplexFace上，它在PSNR上超过第二好方法7.79%，在SSIM上超过9.39%，在LPIPS上超过12.28%，在FaceLoss上超过6.06%。在Tufts上，它在所比较的传统方法中取得了最佳PSNR、SSIM和FaceLoss。

# 引言

热成像检测人体皮肤发射的热辐射，使得在可见光失效的黑暗、烟雾或强逆光条件下能够稳定地获取人脸[1]。相比之下，可见光成像捕获可见光谱中的皮肤反射，保留丰富的纹理、肤色调和精细结构细节。然而，由于大气传输效应、光学衍射限制和探测器噪声，热图像通常表现出较低的空间分辨率和信噪比，缺乏可见图像中存在的高频细节[2]，[3]，[4]，[5]。这种模态差距使得热人脸难以直接应用于在可见数据上训练的识别模型，如ArcFace[6]。尽管现有研究在热到可见跨模态人脸匹配[7]，[8]和多模态融合[9]，[10]方面取得了可喜进展，但在低分辨率、姿态变化或遮挡条件下性能仍然下降。

与上述方法不同，图像翻译方法直接将热人脸图像重建为可见光风格的人脸图像，从而能够兼容在可见光数据上训练的现有大规模人脸识别系统。条件GAN已成为该任务的主导范式[11]，在草图到照片[12]、季节转换[13]和图像去雾[14]等应用中取得了合理的效果。然而，这些方法在热到可见人脸翻译中往往表现不佳。人脸温度分布相对均匀，因此不同面部区域在热图像中呈现为同质的灰度级别，强度变化很小，缺乏可见图像中清晰界定面部特征的对比度。这使得从热输入中恢复视觉上合理的面部结构变得固有地困难，通常导致生成输出中面部特征扭曲或面部部件对齐错误。

在这种信号退化的条件下，基于CNN的判别器的结构限制变得明显。它们的感受野本质上是局部的，这使得它们善于捕获局部纹理差异，但不足以在面部关键点之间强制全局结构一致性[15]。热图像中缺乏高频信息使得这种全局约束比传统图像翻译任务更为关键，因为仅靠局部纹理线索就无法支持可靠的判别。相比之下，视觉Transformer（ViT）通过其自注意力机制，可以直接建模图像补丁之间的长程依赖关系，并天生具备全局建模能力[16]。然而，全局建模主要解决感受野问题，而面部结构的判别还需要考虑不同尺度上的特征变化——整体面部布局需要粗粒度感知，而眼睛和嘴巴等局部细节则需要更细粒度的判别。

此外，仅依赖空间域逐像素损失并不能充分解决高频信息缺失的问题。这类损失对每个像素施加相同的处理，难以鼓励模型恢复丢失的高频细节或抑制热图像中的潜在噪声。不同的频率分量对图像重建的贡献不同：低频信息决定整体结构，而高频信息影响纹理和精细细节。这两类信息不应以相同的方式约束。频域监督自然允许对不同频率分量进行差异化约束。尽管几项研究探索了图像生成中的频域约束，但没有专门针对热红外图像生成的特点，其中高频分量不仅弱而且分布不均匀。

基于上述分析，我们设计了一个热到可见人脸生成框架，具有两个核心组件。第一个是基于预训练ViT的多尺度人脸判别器，它利用ViT的全局感受野和自注意力机制捕获面部特征之间的长程依赖关系，同时多尺度聚合策略进一步捕获整体布局和局部细节。第二个是基于Haar小波分解的频域监督机制，它对低频和高频分量施加单独的约束。我们在ComplexFace[17]和Tufts人脸数据库[18]上与代表性的图像翻译基线进行对比评估。实验结果表明，所提出的框架在图像质量和人脸验证性能方面均取得了显著改善。

# 片段

## 图像翻译

图像翻译旨在在保留语义内容的同时，将输入图像从源域转换到目标域。GAN采用对抗训练框架，其中生成器和判别器相互竞争，使生成器能够学习底层数据分布并产生高质量样本[11]。开创性工作Pix2Pix[12]首次将条件生成对抗网络引入配对的图像翻译任务，通过训练模型来...

## 方法

为了实现从热到可见图像的高保真重建，图1展示了所提出的联合优化框架的整体架构。给定配对的热人脸图像$x$和可见图像$y$，生成器$G$负责将热图像转换为可见人脸图像风格的生成图像$\hat{y}$。多尺度人脸判别器$D$通过捕获多尺度面部特征差异来区分真实和生成样本...

## 实验

为了评估所提出方法在将热图像转换为可见人脸图像任务中的性能，本节进行了全面的实验分析，包括所使用的数据集、实现细节、评估指标、对比研究和消融实验。

## 结论

现有的热到可见人脸生成方法通常难以平衡纹理丰富度与结构准确性，导致细节模糊或面部特征扭曲。为了解决这一挑战，本文提出了一种结合多尺度判别与频域分治监督的新方法。具体来说，我们采用多尺度ViT判别器来掌控人脸的全局布局与局部语义一致性。此外，我们利用...

# CRediT作者贡献声明

- **Tan Zixuan**：原稿撰写、验证、软件、形式分析、数据整理
- **Yang Gelan**：指导、方法论、形式分析
- **Zhu Mengjun**：软件、资源、概念化
- **Gu Xinling**：指导、资源、调查
- **He Biao**：方法论、资金获取、概念化
- **Shao Zhengzheng**：审稿与编辑、指导、资源、方法论、概念化

# 利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本文所报道的工作。

Tan Zixuan | Yang Gelan | Zhu Mengjun | Gu Xinling | He Biao | Shao Zhengzheng
中南大学物理学院，中国长沙 410083