Geniebrush：一个基于文本指导的多模态图像修复与编辑框架，适用于复杂场景

《ARTIFICIAL INTELLIGENCE REVIEW》：Geniebrush: a text-guided multimodal image restoration and editing framework for complex scenes

　　

摘要

我们提出了GenieBrush，这是一个基于文本引导的多模态框架，用于复杂场景中的图像恢复和编辑。与依赖通用扩散主干网络或静态注意力机制的现有模型不同，GenieBrush整合了语言条件推理、细粒度定位和动态细化技术，以实现忠实且可控的视觉编辑。具体来说，我们提出了三个新颖的模块：（1）对象条件对齐模块（OCAM），它将图像分解为基于插槽的对象表示，并根据文本指令执行门控对齐；（2）空间保留指令网络（SPIN），通过视觉-语言嵌入的向量量化对齐生成离散的编辑掩码，从而实现精确的目标定位；（3）噪声感知细化引擎（NARE），它根据结构反馈动态调整去噪计划，以保留细节纹理和语义完整性。GenieBrush基于Qwen2.5-VL和Stable Diffusion 1.5构建，并采用了LoRA进行调优，在MagicBrush和EMU Edit基准测试中取得了最先进的性能。它在CLIP-I测试中超越了最近的基线模型，L1/L2误差分别降低了11.2%和14.1%，并且具有更优越的DINO相似度。广泛的消融研究验证了每个提出模块的必要性。我们的框架为开放式的多模态图像编辑任务提供了一个通用且可扩展的解决方案。