《ICT Express》:Edge-Aware Multi-Scale Generative Adversarial Network in high-fidelity image inpainting
编辑推荐:
提出边缘感知多尺度生成对抗网络(EAMS-GAN)。边缘感知模块能够有效保留图像中的细边缘细节。多尺度判别器(MSD)设计解决全局与局部权衡问题。EAMS-GAN 在图像修复任务中优于主流基于生成对抗网络(GAN)的方法。
提出边缘感知多尺度生成对抗网络(EAMS-GAN)。边缘感知模块能够有效保留图像中的细边缘细节。多尺度判别器(MSD)设计解决全局与局部权衡问题。EAMS-GAN 在图像修复任务中优于主流基于生成对抗网络(GAN)的方法。
研究背景与问题:图像修复旨在为掩膜或受损图像区域重建连贯视觉内容,广泛应用于文化遗产修复和视频编辑。自2014年生成对抗网络(Generative Adversarial Network, GAN)提出以来,基于GAN的方法成为该任务主流;现有GAN变体引入频域卷积、两阶段框架和掩膜注意力处理遮挡,但仍难以产生连续、锐利的边缘重建。将GAN与多尺度约束、残差分支和Transformer自注意力结合可捕获全局语义,变分自编码器(Variational Autoencoder, VAE)类模型通过潜分布建模保证全局结构合理性,Pyramid-VAE-GAN等混合架构以分层潜变量平衡全局语义与局部细节。然而,单尺度判别器常导致结构失真,潜表示模块忽视边缘特征,最终导致低保真输出;两阶段边缘引导模型引入额外边缘解码损失且易发生纹理错位,边缘约束仅作用于局部卷积,不能支持跨层级潜信息传递;现有多尺度GAN的判别器仅在独立单尺度运行,未能建立分层潜变量间稳定跨尺度连接。为此,研究人员提出边缘感知多尺度生成对抗网络(Edge-Aware Multi-Scale Generative Adversarial Network, EAMS-GAN),以实现高保真图像修复。
研究开展与结论意义:研究人员在Pyramid-VAE-GAN框架上构建EAMS-GAN,针对全局与局部修复不平衡、边缘与纹理解耦两个关键缺陷,引入边缘引导潜变量传递和分层对抗监督的双驱动修复机制;采用变分推断约束潜空间于合理统计分布,并利用对抗学习提高合成结果真实性,通过边缘感知潜变量传递(Edge-Aware Latent Variable Transfer, EALVT)与多尺度感知判别器(Multi-Scale Perceptual Discriminator, MSD)协同实现“结构—细节—边缘”维度的协作优化。研究结论表明,EAMS-GAN在CelebA-HQ与Places2上多数指标优于现有基线,尤其擅长恢复复杂边缘和细粒度细节,并在自由形式不规则掩膜及真实遮挡场景中表现良好;其意义在于以分层对抗监督和边缘先验嵌入缓解结构—细节权衡,并以较小计算增量实现高保真修复。
关键技术方法:研究人员在Pyramid-VAE-GAN框架上构建EAMS-GAN,引入EALVT与MSD。EALVT利用Sobel算子提取水平与垂直边缘,经连通域分析和最小二乘拟合离线补全缺失边缘,并以1×1卷积压缩后生成边缘注意力权重,结合边缘加权余弦相似度和边缘引导注意完成跨层级潜变量传播。MSD设置64×64、128×128、256×256三个判别器分支,以1:1:1权重实施分层对抗监督。训练采用对抗损失、边缘损失及由孔洞区域损失、有效区域损失和金字塔特征匹配损失构成的重建损失;在CelebA-HQ(11k训练/2k测试)与Places2(10k训练/2k测试)上评估,图像尺寸256×256,Adam(lr=1e-4,batch size=16),最终选取9e4迭代检查点。
研究结果:
4.1 Experimental settings:研究人员在CelebA-HQ和Places2上开展实验,图像统一缩放至256×256;固定单通道灰度方形掩膜边长为图像短边的1/6,采用下中位置(底部边距20像素)和完全中心位置,训练与测试设置一致;自由形式不规则掩膜由随机多笔画策略生成,遮挡比例为4.2%至8.35%。训练采用交替GAN优化、Xavier初始化和Adam优化器;边缘模块仅用边缘损失预训练,对抗训练中生成器与判别器交替更新,MSD分支权重固定;总训练10e4次迭代,每1e4次验证并保存检查点。综合比较后,9e4迭代检查点在所有指标上取得最佳平衡,10e4迭代出现轻度过拟合和整体性能下降;评估优先采用FID和MS-SSIM,PSNR和MAE作辅助参考,所有比较方法在相同数据划分、掩膜和训练超参数下训练,随机种子固定为2020,基于PyTorch 1.13.1和RTX 3090 GPU实现,输出图像不作后处理。该设置保证了比较公平性和结果可复现性,并确定最终评估检查点。
4.2 Comparison to other methods:研究人员将EAMS-GAN与PEN-Net、Pyramid-VAE-GAN、AOT-GAN和LAMA进行比较,并在定量与定性层面评估修复性能。
4.2.1 Quantitative assessment:采用平均绝对误差(Mean Absolute Error, MAE)、多尺度结构相似性(Multi-Scale Structural Similarity, MS-SSIM)、峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和FID四个指标,并对多个掩膜布局取平均以降低掩膜位置随机性;同时报告FLOPs以量化计算复杂度。在CelebA-HQ上,EAMS-GAN的MAE为0.019、PSNR为31.563、MS-SSIM为0.930、FID为10.151、FLOPs为4.6;在Places2上分别为0.017、33.694、0.928、9.843、4.6。表中结果显示,EAMS-GAN在多数指标上优于其他竞争方法,其FID和MS-SSIM表现突出,且FLOPs低于LAMA的7.2;这支持其高保真修复能力。
4.2.2 Qualitative assessment:在CelebA-HQ和Places2上的定性比较显示,PEN-Net、Pyramid-VAE-GAN和AOT-GAN常产生模糊输出和细粒度细节失真,如面部组件损坏和场景边界模糊;LAMA虽定量指标有竞争力,但在局部部分遮挡下倾向生成过度平滑纹理,且掩膜区域内偶尔丢失语义一致性。EAMS-GAN在EALVT边缘模块引导和MSD多尺度监督正则下,能够重建锐利轮廓、清晰结构边缘和真实细粒度纹理,获得高保真修复结果。自由形式不规则掩膜上的结果显示,EAMS-GAN对现实不规则遮挡具有良好泛化能力,相对固定方形掩膜仅出现边际性能下降。计算方面,模型为4.6 GFLOPs、推理延迟24.2 ms;相对AOT-GAN增加的0.7 GFLOPs中,0.42 GFLOPs来自EALVT的低分辨率边缘操作,0.28 GFLOPs来自MSD多尺度判别器;由于推理阶段丢弃MSD,仅EALVT增加推理计算,因此延迟仅小幅增加,MSD主要带来训练阶段额外内存开销,完整模型仍可在16 GB GPU上训练。MSD通过多尺度对抗约束降低指标振荡,EALVT利用边缘先验缓解边缘模糊退化,共同促进更稳定的模型收敛,实现修复质量与部署成本间的有利权衡。
4.3 Ablation experiment:研究人员计算不同掩膜位置下消融结果的平均值,并在CelebA-HQ和Places2上比较完整EAMS-GAN与移除各关键模块的变体。移除任一模块均使所有指标恶化(MAE/FID升高、PSNR/MS-SSIM降低),说明各组件均对整体性能有不可缺少的贡献。NO-MSD的FID升高表明多尺度监督可缓解细节模糊和结构失真;NO-EALVT的FID和MS-SSIM退化表明EALVT的边缘感知传递对维持清晰边缘和完整结构至关重要。进一步构建NO-Cos-Sim分支、NO-Edge-Attn分支、NO-Single-scale D以及MSD分支权重0.8:1.0:1.2等变体:禁用EALVT内部余弦相似度加权分支或边缘引导注意分支均导致明显性能下降,证实二者对准确边缘约束和语义对齐不可缺少;单尺度判别器变体缺乏充分多分辨率监督,导致细节恢复不完整和结构拟合不稳定;非均衡权重易引入冗余噪声和虚假纹理,1:1:1权重在全局语义一致性和局部细节恢复间取得更好平衡。定性消融显示,移除MSD带来模糊纹理和颜色失真,眼角和鼻部皮肤粗糙;无EALVT时出现严重结构变形及填充区域与有效区域语义不匹配;完整EAMS-GAN消除这些缺陷,能生成真实细粒度面部纹理和掩膜边界处平滑颜色过渡,并能准确恢复底部遮挡下微张嘴等细微语义特征。MSD提供多尺度对抗监督以细化局部纹理和边界连续性,EALVT利用边缘—语义注意保持全局结构合理性,二者共同使修复在任意掩膜布局下更稳定,并验证框架的泛化性与鲁棒性。
讨论与结论总结:结论与讨论部分指出,EAMS-GAN通过分层MSD监督解决结构—细节权衡,EALVT模块将边缘线索嵌入潜变量传播,多损失闭环优化平衡结构合理性与感知保真度;CelebA-HQ和Places2实验证实该方法优于现有基线,尤其在恢复复杂边缘和细粒度细节方面表现突出。研究人员在自由形式不规则掩膜上验证了模型泛化能力,并显示其在真实遮挡场景中表现良好。研究同时指出,不规则掩膜上的性能略逊于固定方形掩膜,因为不规则掩膜补全本身更具挑战性;此类场景常导致可观测边缘片段有限,离线几何驱动边缘外推在有效边缘片段充足时对中等曲率轮廓可产生可靠结果,但在可观测边缘片段稀缺的极端重度遮挡条件下性能退化。未来工作将整合边缘先验与语义分割,以改善复杂真实不规则遮挡下的性能,并增强复杂曲线轮廓的边缘补全质量。
研究结论翻译:研究人员提出EAMS-GAN,通过分层MSD监督解决结构—细节权衡。EALVT模块将边缘线索嵌入潜变量传播,多损失闭环优化平衡结构合理性与感知保真度。在CelebA-HQ和Places2上的实验证实,该方法优于现有基线,尤其是在恢复复杂边缘和细粒度细节方面。研究人员在自由形式不规则掩膜上验证了模型泛化能力,并显示其在真实遮挡场景中表现良好。然而,该方法在不规则掩膜上的性能略逊于固定方形掩膜,因为不规则掩膜补全本身是更具挑战性的任务。此类挑战场景常导致可观测边缘片段有限,而离线几何驱动边缘外推在有效边缘片段充足时对中等曲率轮廓可产生可靠结果,但在可观测边缘片段稀缺的极端重度遮挡条件下性能退化。未来工作将整合边缘先验与语义分割,以改善复杂真实不规则遮挡下的性能,并增强复杂曲线轮廓的边缘补全质量。