《Neural Networks》：PiGIE: Proximal Policy Optimization Guided Diffusion for Fine-Grained Image Editing
编辑推荐：
Tiancheng Li|Jinxiu Liu|Weijian Luo|Huajun Chen|Qi Liu•我们提出了一种用于基于指令的细粒度图像编辑的强化学习框架，该框架利用注意力图之间的差异来构建用于策略优化的奖励信号。这样的设计使得扩散模型能够更好地将编辑过程与期望的编辑
Tiancheng Li|Jinxiu Liu|Weijian Luo|Huajun Chen|Qi Liu
- •
我们提出了一种用于基于指令的细粒度图像编辑的强化学习框架，该框架利用注意力图之间的差异来构建用于策略优化的奖励信号。这样的设计使得扩散模型能够更好地将编辑过程与期望的编辑目标对齐，从而提升其在细粒度编辑任务中的适应性，超越了基于提示方法的局限性。
- •
我们提出了一种新的注意力图奖励机制，用于衡量编辑后图像的注意力图与人类感知的编辑区域之间的相似性。为模拟人类反馈，我们利用MagicBrush数据集中提供的自由形式遮罩图像来模拟目标编辑区域。
- •
通过将注意力图奖励和Clip奖励作为奖励函数的组成部分，所提出的模型能够在复杂场景中准确定位编辑区域，实现细粒度且符合指令要求的修改。这一设计使模型既能支持风格化编辑，也能实现精确的局部编辑。
引言
基于指令的图像编辑是一项具有挑战性的任务，因为它需要根据复杂的人类语言指令来操控图像的视觉内容。由于具备极高的可控性以及生成真实图像的强大能力，扩散模型Ho等人（2020年）；Huang等人（2025年）；Sohl-Dickstein等人（2015年）；Song等人（2021年）；Zheng等人（2024年）；Zuo等人（2025年）已被广泛应用于图像编辑Huang等人（2024年）；Kim等人（2022年）；Preechakul等人（2022年）；Wang等人（2023年）等领域。
通常，基于指令的扩散模型会同时以输入图像和人类指令提示作为输入，从而根据输入指令生成编辑后的图像。然而，训练此类模型需要大量高质量的指令数据。为了解决这一限制，InstructPix2PixBrooks等人（2023年）提出了一种实用且有效的方法，用于生成大量用于指令微调图像编辑扩散模型的指令-图像配对数据。这些指令是通过GPT-3Brown等人（2020年）生成的，而输入的目标图像则是通过Prompt-to-PromptHertz等人（2022年）的图像编辑方法合成的。此外，扩散模型还会结合经过预训练的CLIP文本编码器Radford等人（2021年）生成的文本嵌入以及输入图像一起使用。尽管InstructPix2Pix取得了不错的成果，但由于GPT-3在生成指令和修改标题方面的能力有限，再加上Prompt-to-Prompt方法对生成图像的修改效果不佳，导致该数据集在处理包含复杂编辑场景的图像中的微小物体和小型区域时存在不足。
为了解决编辑微小物体的问题，我们在本研究中提出了近端策略优化引导图像编辑（PiGIE）。这种先进的基于指令的图像编辑扩散模型能够处理图像中具有复杂空间关系的微小物体。PiGIE通过结合强化学习以及合适的奖励函数来实现如此高的细粒度编辑能力，这些奖励函数注重编辑后图像的注意力图与人类感知的编辑区域之间的相似性。通过在指令微调过程中引入强化学习，PiGIE在编辑复杂图像中的微小物体时展现了出色的能力和精度。如图1所示，PiGIE在理解和定位需要编辑的精确区域方面具有显著优势，这使其区别于现有的处理复杂图像的编辑方法。
为了训练PiGIE，我们采用了MagicBrushZhang等人（2024a年）提供的开源数据集作为基础预训练数据集。为模拟人工标注，我们选用MagicBrush中的自由形式遮罩图像作为人类反馈。我们详细比较了InstructPix2PixBrooks等人（2023年）中的多种指令引导编辑方法、MGIE Fu等人（2023年）的方法，以及PASCAL VOCEveringham等人（2010年）、COCOLin等人（2014年）和VGKrishna等人（2017年）中的多个复杂图像数据集。通过大量实验，我们发现，在执行细粒度图像编辑任务时，PiGIE在质量和泛化能力方面都取得了显著提升，其在四项评估指标上的表现均优于InstructPix2Pix等现有方法。我们将本文的贡献总结为三点：
- •
我们提出了一种用于基于指令的细粒度图像编辑的强化学习框架，该框架利用注意力图之间的差异来构建用于策略优化的奖励信号。这样的设计使得扩散模型能够更好地将编辑过程与期望的编辑目标对齐，从而提升其在细粒度编辑任务中的适应性，超越了基于提示方法的局限性。
- •
我们提出了一种新的注意力图奖励机制，用于衡量编辑后图像的注意力图与人类感知的编辑区域之间的相似性。为模拟人类反馈，我们利用MagicBrush数据集中提供的自由形式遮罩图像来模拟目标编辑区域。
- •
通过将注意力图奖励和Clip奖励作为奖励函数的组成部分，所提出的模型能够在复杂场景中准确定位编辑区域，实现细粒度且符合指令要求的修改。这一设计使模型既能支持风格化编辑，也能实现精确的局部编辑。
章节节选
基于指令的图像编辑
文本引导的图像编辑能够根据自然语言指令显著提升图像视觉内容的灵活性和可访问性。以往的研究多采用GAN框架Goodfellow等人（2020年）；Reed等人（2016年）来编辑图像，但该方法只能编辑部分区域，且容易产生不真实的结果Fu等人（2022年）；Li等人（2020年）。随着扩散模型Ho等人（2020年）的出现，人们在可控图像编辑方面取得了重大进展
方法
在本节中，我们介绍了PiGIE，这是一种经过强化学习微调的基于指令的图像编辑扩散模型，它在处理复杂图像编辑任务时表现出显著的性能提升。PiGIE以原始图像和人类语言指令作为输入，输出目标图像的预测噪声值。
实验
在本节中，我们进行了系列全面的实验，以展示PiGIE的卓越性能，尤其重点考察了其编辑微小物体的能力。
结论
我们提出了PPO引导图像编辑（PiGIE），这是一种基于指令的模型，旨在精准识别编辑区域，尤其是在包含多个物体且物体间位置关系复杂的场景中。PiGIE的成功不仅为基于指令的图像编辑设立了新的基准，也为强化学习在图像编辑领域的应用开辟了全新的道路。
未引用参考文献
以下参考文献尚未被引用：Ho等人（2023年）、Nichol等人（2022年）、Schulman等人（2015年）、El-Nouby等人（2018年）、Gan等人（2023年）、Zeng等人（2022年）、Zhou等人（2021年）、Xie等人（2023a年）、Janner等人（2022年）、Chen等人（2023b年）、Ramesh等人（2021年）、Tan等人（2019年）、Saharia等人（2023年）、Mou等人（2023年）、Williams（1992年）、Mohamed等人（2019年）、Shi等人（2021b年）、Shi等人（2021a年）、Song等人（2020年）、Guo等人（2023年）、Fu等人（2020年）、Bianchi等人（2021年）、Ruiz等人（2022年）、Koh等人
CRediT作者贡献声明
Tiancheng Li：写作——审稿与编辑，写作——初稿撰写，可视化，验证，监督，软件开发，项目管理，方法论研究，调查分析，形式化分析，数据整理，概念构思。Jinxiu Liu：写作——审稿与编辑，方法论研究，调查分析，形式化分析。Weijian Luo：写作——审稿与编辑。Huajun Chen：调查分析，数据整理。Qi Liu：写作——审稿与编辑，方法论研究，调查分析，资金筹集。
利益冲突声明
作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：
Qi Liu表示其获得了广州的GJYC计划提供的资金支持，相关资助编号为2024D01J0081；同时还获得了广东省的ZJ计划提供的资金支持，资助编号为2023QN10X455；此外还得到了中央高校基本科研业务费的支持，资助编号为2025ZYGXZR053。如果有其他作者，他们
