GenR：用于盲人脸修复的生成式潜在反演技术

《Pattern Recognition Letters》：GenR: Generative Latent Inversion for Blind Face Restoration

　　阿克巴尔·阿里（Akbar Ali）| 英德拉·迪普·马斯坦（Indra Deep Mastan）| 沙纳穆加纳坦·拉曼（Shanmuganathan Raman）
印度理工学院（Indian Institute of Technology），甘地纳加尔（Gandhinagar），帕拉杰（Palaj），甘地纳加尔，382355，古吉拉特邦（Gujarat），印度

**摘要**
盲面恢复旨在从受到噪声、压缩伪影、缺失内容和低分辨率影响的输入中恢复高质量图像。成对监督数据通常不可用，在这种复合退化情况下，使用无监督方法进行高质量恢复具有挑战性。我们提出了GenR，这是一个无监督框架，它利用预训练的StyleGAN3先验，并优化潜在代码，以使合成图像的退化渲染与观察结果相匹配。我们的设计结合了：
（i）无混叠的SG3合成技术，以实现稳定的、几何一致的逆变换；
（ii）分阶段的潜在扩展W→W+→W++，以及考虑频率的正则化，以平衡容量和过拟合问题；
（iii）一种遮罩式多尺度感知-结构损失函数，该函数汇总了金字塔层级、L1范数、梯度范数和SSIM的损失。我们使用标准的非参考指标评估了去噪、超分辨率、修复、去伪影以及在不同严重程度（XS–XL）下的复合退化处理效果。GenR的性能与相关方法相当或更优，并且能够为单一和复合退化情况提供高质量的恢复结果。

**引言**
图像恢复[1]旨在从受到噪声、模糊、压缩、内容缺失或分辨率损失影响的观测数据中恢复干净信号，同时保持语义和感知质量[2]、[3]、[4]。面部恢复尤其具有挑战性：身份特征（眼睛、鼻子、嘴巴、发际线）在严重退化情况下必须保持稳定，以便于识别和法医分析[5]。高保真恢复还对电影修复、交互式媒体和创意工作流程有益。监督方法虽然有效，但需要大规模的成对数据集，而这在不同的领域和退化类型中往往不切实际。这促使人们使用自监督技术[6]，这些技术直接从测试观测数据中学习。深度图像先验[7]（DIP）表明，生成器架构可以作为强大的隐式先验，而无需外部数据；后续研究通过噪声模型和内部统计量形式化了无数据集的学习[8]。Neighbor2Neighbor和Zero-Shot Noise2Noise方法从单张噪声图像中构建伪对，并在测试时进行优化[9]、[10]。然而，主要基于局部自相似性或简单噪声假设的方法难以在复合退化情况下保持全局结构和真实性。
生成式先验[3]、[11]提供了一种补充方法。预训练的StyleGAN提供了表达能力强的潜在流形，能够捕捉多尺度规律性，从而通过将观测结果投影到生成器流形上来实现恢复。然而，逆变换过程是不适定的，并且对正则化非常敏感，导致在不同退化类型和严重程度下性能不稳定[12]、[13]。贝叶斯处理、保守的调度和渐进式潜在扩展有所帮助，但要实现最小调整下的稳定性能仍是一个未解决的问题[3]、[14]、[15]。
本文介绍了GenR，这是一个与任务无关的无监督框架，它通过可微分的退化链近似实现基于StyleGAN3[16]的逆变换，并受多尺度感知-结构目标的驱动。我们优化StyleGAN3的潜在代码，使合成图像的退化渲染与观察结果相匹配，从而避免了对成对数据的依赖，并适应未知或混合类型的退化。

**基于SG3的设计**
我们基于SG3的无混叠设计，在生成器中保持带限特征，从而在小平移和旋转下稳定逆变换过程，并消除逐像素的噪声注入。这减少了纹理粘连现象，在通过正向退化链进行优化时产生了更清晰、更符合几何结构的梯度，提高了不同任务的收敛性和感知保真度[16]。优化过程从单个潜在向量（W）逐步发展为每层潜在向量（W+），最终达到每通道潜在向量（W++）。在W阶段，模型捕捉全局结构，关注身份和姿态等宏观特征；W+阶段引入每层潜在变量，实现对眼睛、鼻子和面部边界等中等特征更精确的控制；最后，W++阶段引入每通道潜在变量，允许对纹理进行精细控制，同时最小化过拟合风险。这种多阶段方法确保模型以可控的层次化方式从粗略结构逐步构建到细节。分层加权正则化策略优先考虑低频一致性，并逐渐放宽高频惩罚，从而抑制过拟合，同时保持语义身份和可编辑性。为了使外观和结构对齐，我们在图像金字塔中汇总了对称的LPIPS损失（包括1?SSIM[17]、梯度范数[18]和小的L1项）。通过对LPIPS的两个参数在遮罩区域内注入相同噪声来强制对称性，从而消除未观测像素的偏差。多尺度构建首先锁定粗略布局，然后细化高频细节，从而在单一和复合退化情况下都能获得稳健的性能。

**GenR的特点**
GenR在推理过程中无需数据集：单一配置即可处理去噪、修复、去伪影、超分辨率和复合退化任务。通过使用可微分的退化算子替代品优化函数minw?(f^(G(w)),y)，我们的流程提供了稳定的梯度和广泛的适用性，包括多阶段处理。GenR在XS–XL的不同严重程度下，以及在两种、三种和四种退化组合情况下，始终优于或达到相关无监督方法的性能。我们的主要贡献包括：
- 一种基于StyleGAN3的无监督逆变换框架，具有分阶段的潜在扩展和考虑频率的正则化，无需成对数据即可实现稳定且语义准确的恢复（见图3）；
- 一种遮罩式多尺度感知-结构损失函数（对称LPIPS、1?SSIM、梯度范数和小的L1项），通过正向退化链进行优化，以实现与任务无关的性能（见图6）；
- 在单一和复合退化情况下的广泛实证验证，显示出与相关方法相当或更优的性能（见表1、2及图1、2、4、5、7）。

**相关工作**
无监督恢复：这种无需数据集的去噪技术不需要对噪声分布有先验知识。Ulyanov等人[7]展示了生成器架构可以作为无需外部训练数据的隐式先验。Mansour等人提出了Zero-Shot Noise2Noise（ZS-N2N）[10]方法，该方法从单张噪声图像中构建伪对。这些方法证明了隐式假设和自监督学习在问题表述中的有效性。

**图像恢复的目标**
在图像恢复中，目标是从给定的退化观测结果y（由未知的退化函数f产生，表示为y=f(yclean)）中重建一个未知的干净图像yclean。由于f的本质上是非单射且不可微的，直接逆变换存在重大挑战。受RUSIR[3]的启发，我们采用了可微分的近似f^≈f，将恢复过程重新定义为对生成器G的参数w的优化问题：w=argLatent

**潜在空间表示**
我们采用了StyleGAN3映射网络M和合成网络S，其中中间潜在维度d（通常为512），以及L个风格调制层。该映射将潜在代码z∈Rdz和可选条件c∈Rdc转换为中间潜在向量w=M(z,c)∈Rd，然后使用逐渐丰富的表示将其注入S中。在原始的W空间中，单个向量W=[w,…,w]∈RL×d被广播到所有层，可以通过向运行均值wavg∈Rd截断来控制变异性。

**实验结果**
我们将模型与一系列基于扩散、基于Transformer和经典的基线方法进行了比较。具体来说，我们使用RUSIR[3]作为主要基线，并与IR[29]、BIRD[26]、DiffBIR[22]、HINT[27]、Restormer[28]、BMAP/VARIN[15]和TransferCLIP[14]进行了对比。我们使用NIQE、MUSIQ和TOPIQ来评估结果，因为这些NR指标在无真实参考的情况下能更好地捕捉感知质量。我们还评估了FFHQ、CelebHQ和真实世界数据集。

**消融研究**
为了了解我们框架中每个损失项的相对重要性，我们在保持架构、数据和优化超参数不变的情况下，通过切换目标中的各项来评估每个损失组分的贡献。具体来说，我们分别单独和累积地评估了{Lsym, Lgrad, LSSIM, L1}。表3展示了定量结果，相应的视觉比较见图8。总结如下：（i）Lsym提高了对遮罩区域和随机噪声的鲁棒性。

**结论**
我们提出了GenR恢复框架，它通过可微分的退化链实现基于StyleGAN3的逆变换。该设计实现了稳定的优化，保持了身份信息，并在去噪、修复、去伪影、超分辨率和不同严重程度的复合退化处理中减轻了纹理粘连和过拟合问题。广泛的实验表明，其在标准非参考指标上的性能与最近的无监督方法相当或更优。

**作者贡献声明**
阿克巴尔·阿里（Akbar Ali）：撰写——审稿与编辑、原始草稿撰写、可视化、验证、软件实现、方法论设计、概念化；
英德拉·迪普·马斯坦（Indra Deep Mastan）：监督工作；
沙纳穆加纳坦·拉曼（Shanmuganathan Raman）：监督工作。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
阿克巴尔·阿里报告称获得了Visvesvaraya博士计划的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。