HMA-GAN：基于混合多注意力与块加权优化的高保真面部修复技术

《Neurocomputing》：HMA-GAN: High-fidelity face inpainting via hybrid multi-attention and patch-weighted optimization

　　摘要：面部图像修复旨在从受损图像中恢复结构完整且纹理真实的面部内容。然而，其核心挑战在于同时保持全局结构一致性与局部纹理真实性。现有的最先进方法（AOT-GAN）主要采用基于方核的扩散卷积，无法有效捕捉头发和面部轮廓等各向异性几何特征。此外，其门控机制缺乏明确的通道区分能力，常常导致结构不连贯和纹理模糊。为解决这些问题，本文提出了一种混合多注意力生成对抗网络（HMA-GAN）。具体而言，我们首先将上下文推理单元重构为条带通道增强型AOT（SCA-AOT）模块。该模块通过整合条带注意力（STA）和通道校准门控（CCG），建立横向与纵向的长距离依赖关系，同时自适应调整特征响应以抑制背景噪声。其次，引入了纹理过滤协同跳接连接（TFS-Skip），该结构利用轻量级注意力模块选择性传输浅层的高频纹理细节，有效弥合编码器与解码器之间的语义差距。最后，设计了基于块级加权的优化策略，迫使模型聚焦于眼睛和嘴巴等具有挑战性的语义区域。在CelebA-HQ、FFHQ和LFW数据集上的大量实验表明，HMA-GAN在定量指标和视觉质量方面均优于现有方法。尤其是在遮盖面积超过41%-60%的大面积遮蔽场景下，该方法仍能生成结构连贯、纹理逼真的高质量面部图像。

引言：图像修复是计算机视觉和计算机图形学中的经典研究任务，其目标是从退化或受损的图像中恢复高质量、真实的图像。这项技术应用广泛，商业前景广阔，例如可用于古籍保护、老照片修复、影视制作以及视频通信等领域[1]。传统的图像修复方法主要分为两类：一类是基于偏微分方程的扩散方法[2]，这类方法通过从已知区域扩散信息来填充缺失区域；另一类则是基于纹理合成的补丁方法[3]，通过图像补丁匹配策略复制相似纹理。然而，在处理大面积缺失区域或复杂纹理时，这些传统方法往往会产生模糊且粗糙的结果，难以满足实际应用需求。

近年来，深度学习技术发展迅速，尤其是生成对抗网络（GANs）的出现，使得图像修复领域取得了显著进展。一个典型的例子就是兼具全局与局部一致性的图像完成方法[4]。深度学习方法能够从大规模数据中学习深层结构先验，因此可以生成在语义上合理且视觉上真实的图像。如今，深度学习已成为图像修复研究的主流范式。

面部图像修复是更广泛的图像修复领域中的一个重要分支，由于其特定的应用需求和独特的技术挑战而备受关注。在安全监控、身份识别以及社交娱乐等场景中，面部图像承载着重要的生物特征信息，因此高质量的面部图像对于提升识别系统的准确性和用户体验至关重要[1]。与自然场景图像不同，人脸具有高度的结构化特征，眼睛、鼻子和嘴巴等语义区域遵循特定的空间布局和拓扑关系。此外，在修复过程中，不同个体的面部特征必须保持一致。例如，CodeFormer[5]正是为明确建模这些特征而提出的。通用的图像修复方法往往难以满足这些严格要求，容易生成结构扭曲、语义不合理或身份信息丢失的面部图像。因此，研究人员开始针对人脸独特的结构特性设计专门的修复方案，使得面部图像修复成为低级计算机视觉领域中一项高度专业化的任务。

进入深度学习时代后，面部图像修复技术在多个方向上取得了发展。从方法论角度来看，现有研究大致可分为两类：基于先验的方法和无需先验的端到端方法[1]。基于先验的方法可进一步细分为三类：几何先验、参考先验和生成先验。几何先验方法主要利用MTCNN[6]和级联卷积网络[7]提取的面部关键点，结合面部解析图[8]、面部组件热图[9]或3D可变形模型[10][11]提供的结构信息，引导修复过程，确保生成面部的结构合理性。参考先验方法则通过神经纹理传递[12]、多示例图像[13]和示例引导[14]，引入同一身份的高质量参考图像；或者利用通用的人脸组件纹理字典[15]来传递真实的纹理细节。生成先验方法[16][17][18]则依靠预训练的GAN模型（如StyleGAN[19]）强大的生成能力，在潜在空间中搜索与低质量输入对应的真实面部图像。相比之下，无需先验的端到端方法，如BFRFormer[20]和渐进式盲面修复网络[21]，则通过设计复杂的网络架构和损失函数，直接学习从低质量到高质量面部的映射关系。

近年来，扩散模型在面部修复领域展现出巨大潜力，由于其强大的分布拟合能力和训练稳定性，性能优于传统的GAN架构。这种基于扩散的生成范式通常采用先恢复整体结构再强化局部纹理的级联策略，有效解决了基于GAN的方法在处理长尾面部特征时的过度平滑问题。同时，像CodeFormer[5]这样的研究将盲面修复视为代码预测任务，通过利用离散码本先验和Transformer架构来建模整体面部结构，从而在保留身份信息与提升视觉质量之间取得更好的平衡。尽管取得了这些进展，但现实场景中的面部图像退化往往十分复杂且未知，现有方法在处理大范围遮挡或极端遮挡情况时的修复效果仍有提升空间。如何在保持身份特征与实现纹理真实感之间取得平衡，仍是亟待解决的难题[1]。

近期在不完全多视图学习方面的研究表明，基于张量的高阶结构建模可以有效恢复缺失的视觉区域。结合自适应细粒度加权，这种方法还能在异构特征空间中更好地保留数据的固有结构[22][23][24]。

为解决上述问题，本文提出了一种基于混合多注意力生成对抗网络（HMA-GAN）的高精度面部图像修复方法。该方法通过重构上下文瓶颈层、设计纹理过滤跳接连接以及引入语义加权损失，协同提升整体结构和局部纹理的生成能力。本文的主要贡献如下：
• 本文提出了条带通道增强型上下文推理单元（SCA-AOT）。该模块通过整合条带注意力（STA），建立了长距离的各向异性结构依赖关系，并通过通道校准门控（CCG）自适应过滤背景噪声，显著提升了模型对复杂面部结构的推理能力。
• 设计了纹理过滤协同跳接连接（TFS-Skip）以增强特征传输能力。该结构在跳接连接中嵌入空间-通道协同注意力（SCSA）作为特征过滤器，能够精准传输来自浅层的高频、无噪声纹理细节，通过残差校正有效弥合编码器与解码器之间的语义差距。
• 本文提出了基于块级加权的优化策略，该策略无需依赖外部的语义分割先验。在前向传播过程中，它会根据内部重建误差分布动态生成掩码，对误差超过全局阈值的区域施加严格的梯度惩罚，从而为面部特征等复杂区域分配更高的重建权重，有效解决了传统L1损失常见的过度平滑问题，提升了图像的视觉真实感。

大量实验表明，相较于AOT-GAN等先进基线方法，我们的方法在CelebA-HQ数据集上的表现更为优异。尤其是在遮盖面积超过41%-60%的大面积遮挡场景下，HMA-GAN不仅在像素级指标上保持稳定，还在感知指标（如LPIPS和FID）以及结构连贯性方面展现出明显优势。

章节节选：
退化修复：退化修复方法假设输入图像是完整的，只是受到了模糊、噪声、下采样和压缩伪影等未知因素的影响，其主要目标是恢复丢失的高频细节。这类方法无法处理存在像素缺失的区域，因此不能直接应用于带有遮罩遮挡的面部修复任务。不过，它们的设计理念为遮挡区域的修复提供了宝贵启示。

早期研究主要依赖于整体结构……为在高清面部修复任务中同时实现全局结构一致性与局部纹理真实性，本文提出了一种混合多注意力生成对抗网络（HMA-GAN）。该网络基于经典的编码器-解码器架构，着重系统地重构上下文推理机制、特征传输路径以及优化策略。整个网络结构如图1所示，主要改进点如下：
• 数据集：在本文中，我们在三个公共面部数据集上进行了实验：CelebA-HQ[53]、FFHQ[19]和LFW[54]。为了全面评估不同遮挡程度下的修复效果，我们在训练阶段使用了不规则遮罩数据集[39]，该数据集包含12,000张随机生成的二值遮罩图像，根据遮罩与图像区域的比值被划分为六个区间：1%-10%、11%-20%、21%-30%、31%-40%、41%-50%以及51%-60%。每个区间……

结论：本文提出了混合多注意力生成对抗网络（HMA-GAN），用于解决复杂遮挡条件下面部修复中常见的结构断裂和纹理模糊问题。我们的方法突破了传统扩散卷积在捕捉各向异性几何特征方面的局限，围绕几个核心设计展开。首先，我们通过整合条带注意力（STA）和通道校准门控（CCG），构建了SCA-AOT推理单元……

CRediT作者贡献声明：
程鹏：写作——审稿与编辑、写作——初稿撰写、方法论、数据整理、概念构思。陈春梅：写作——审稿与编辑、方法论、形式分析。邱阳：可视化、数据整理。徐晨宇：验证工作。刘桂华：调研工作。徐峰：监督工作。

利益冲突声明：作者声明没有已知的财务利益或可能影响本文研究的个人关系。程鹏于2024年获得攀枝花大学工程学士学位，目前是西南科技大学的硕士生，主要研究方向为图像修复。邮箱：[e-mail]

程鹏|陈春梅|邱阳|徐晨宇|刘桂华|徐峰
中国四川省绵阳市621000，西南科技大学信息与控制工程学院