面向无缝文本引导图像修补的动态频谱融合学习

《IEEE Aerospace and Electronic Systems Magazine》：Learning Dynamic Spectral Blending for Seamless Text-Guided Image Inpainting

　　

摘要：

图像修复是计算机视觉和多媒体处理中的基础任务。随着去噪扩散模型的快速发展，基于文本引导的图像修复逐渐成为主流研究方向，能够实现灵活的内容创作和局部语义编辑。尽管现有的基于文本引导的扩散修复方法在生成质量和提示词对齐方面已有显著提升，但仍面临一个核心挑战：在有效保持未遮罩区域保真度的同时，确保遮罩区域内生成内容的语义一致性，尤其是抑制由不合理的频率控制所引起的频谱不连续和边界伪影问题。为解决这些问题，我们提出了自适应频率感知扩散（AFID），这是一个用于高质量基于文本引导图像修复的自适应框架。首先，我们设计了一个自适应频率阈值网络（AFTN），根据遮罩信息、去噪时间步和文本条件动态预测多频段频率截断，替代了手工设计的固定规则。其次，我们提出了一种两阶段平滑频谱混合策略，以缓解频谱突变并增强遮罩区域与未遮罩区域之间的自然连贯性。第三，我们引入了一个边界环形平滑模块，以在不过度模糊的前提下进一步消除遮罩边缘附近的拼接伪影。实验结果表明，我们的方法在标准公开基准测试中取得了领先性能。我们与主流的先进修复方法进行了全面对比，充分验证了我们在视觉保真度、完好区域保持和文本提示一致性方面的优越性。广泛的消融实验验证了三个核心模块的必要性，并进一步分析了频率阈值和混合配置对最终修复结果的影响。