基于多级引导隐空间扩散模型的面部素描合成技术及其在异质人脸识别中的应用研究

本文提出一种创新的多级引导隐空间扩散模型（MLGLDM），通过引入条件信息增强模块（CIE）和区域自适应损失函数，解决了面部素描合成（FSS）中多风格生成与内容保真度的难题。该模型在有限样本下实现高精度素描生成，为刑事侦查（如嫌疑人画像重建）和异质人脸识别（HFR）提供了技术支撑。

　　

Highlight

我们总结贡献如下：

• 提出多级引导隐空间扩散模型（MLGLDM），包含条件信息增强模块（CIE），首次将素描风格作为类别信息嵌入模型以实现多风格FSS。这是首个基于隐空间扩散模型（LDM）的FSS研究。

• 设计区域自适应损失函数，合成更精细生动的素描。仅用单一网络即可实现甚至超越多局部网络方法的合成质量。

• 采用FSGAN生成伪素描进行数据增强，并基于此设计三阶段训练策略以提升模型泛化能力。

• 在FS2K数据集上的大量实验表明，本方法在定性和定量上均达到或超越现有最优性能。

Method

本节首先介绍用于FSS的隐空间扩散模型（LDM），涵盖扩散模型（DM）和LDM的基础理论。随后详细阐述所提出的CIE模块，最后介绍训练中的损失函数，重点描述区域自适应损失函数。

Dataset

我们在挑战性数据集FS2K上进行实验，该数据集是当前最大的公开FSS数据集，包含2,104对照片-素描样本。其多样性（背景、头部角度、肤色、发型、年龄、素描风格和光照条件）为FSS带来更大挑战。FS2K独特地提供三种素描风格，支持多风格FSS模型训练。

Conclusion

本文提出用于多风格面部素描合成的多级引导隐空间扩散模型。通过将素描风格类别信息嵌入U-Net的每个残差块，实现精确风格控制。条件信息增强模块（CIE）使合成素描更忠实于照片内容，区域自适应损失函数提升了模型处理复杂细节的能力。