利用大型语言模型（LLMs）评估图像编辑效果：一种全面的基准测试方法及中间层分析手段

《Displays》：Evaluating image editing with LLMs: A comprehensive benchmark and intermediate-layer probing approach

文本引导图像编辑评估基准TIEdit和中间层探测评估框架EditProbe，提出5120张编辑图像的基准数据集，包含15360个多维度MOS评分，分析自动评估指标与人类感知的弱相关性，并通过多模态大模型中间层表示学习实现人机对齐的编辑质量评估。

　　

石奇高|徐子同|康福|段慧宇|熊国民|贾旺

上海交通大学，中国上海东川路800号

摘要

评估文本引导的图像编辑（TIE）方法仍然是一个具有挑战性的问题，因为可靠的评估需要同时考虑感知质量、与文本指令的匹配程度以及原始图像内容的保留情况。尽管TIE模型取得了快速进展，但现有的评估基准在规模上仍然有限，并且往往与人类感知判断的相关性较弱。在这项工作中，我们引入了TIEdit，这是一个用于系统评估文本引导图像编辑方法的基准。TIEdit包含了512张带有编辑提示的源图像，涉及八个任务，由十个最先进的TIE模型生成了5120张编辑后的图像。20位专家提供了307,200个原始评分，从而得到了15,360个关于感知质量、编辑匹配度和内容保留度的平均意见得分（MOS）。除了基准本身，我们还提出了EditProbe，这是一个基于大型语言模型（LLM）的评估工具，它通过探测隐藏表示来估计编辑质量。EditProbe不仅仅依赖于模型的最终输出，还从多模态大型语言模型的中间层提取信息表示，以更好地捕捉源图像、编辑指令和编辑结果之间的语义和感知关系。实验结果表明，广泛使用的自动评估指标与人类对编辑任务的判断相关性有限，而EditProbe与人类感知的一致性要强得多。TIEdit和EditProbe共同为文本引导图像编辑方法的更可靠和感知对齐的评估提供了基础。

引言

基于文本的图像编辑（TIE）最近作为一种通过自然语言指令控制图像操作的强大范式而出现[1]、[2]、[3]。随着基于扩散的生成模型的快速发展，现代TIE方法可以执行多种编辑操作，包括对象移除、属性修改、场景重构和风格转换。这些进步显著扩展了图像编辑技术在创意设计、内容生成和人机交互中的应用范围。

尽管取得了这些进步，但评估基于文本的编辑的质量和正确性仍然具有挑战性。与传统图像生成任务不同，TIE要求模型在保留原始图像的整体结构和无关内容的同时进行有针对性的修改。虽然有许多方法用于评估AI生成的图像[4]、[5]、[6]、[7]，但TIE需要能够同时评估感知质量、指令匹配度和未编辑区域保留情况的指标。

现有的评估方法仅部分满足了TIE评估的这些要求。已经提出了几个用于文本引导编辑评估的基准[8]、[9]、[10]、[11]、[12]、[13]，但其中许多基准覆盖的编辑场景有限，或者严重依赖于自动评分。同时，广泛使用的自动指标，包括传统的图像质量评估指标（如SSIM[14]）和生成评估指标（如FID[15]），主要捕捉视觉相似性或全局真实性，而不是编辑的正确性。即使是最近的视觉-语言指标，如CLIPScore和ImageReward[16]、[17]，也无法明确评估指令所描述的修改是否正确应用于源图像。因此，现有的自动指标通常与人类感知判断的相关性较弱。

为了解决这些限制，我们引入了TIEdit，这是一个用于系统评估基于文本的图像编辑的基准。TIEdit包含了512张源图像和八个代表性编辑任务的编辑提示，由十个最先进的TIE模型生成了5120张编辑后的图像。在五个月内进行了一项涉及20位专家注释者的广泛主观研究，得到了15,360个平均意见得分，这些得分来自307,200个原始主观评分，涵盖了三个评估维度，即感知质量、编辑匹配度和内容保留度。该基准还包含了明确描述空间关系和几何变换的空间丰富编辑提示，使得空间编辑准确性的评估更加严格。

除了构建基准之外，我们还提出了EditProbe，这是一个基于LLM的评估框架，用于预测编辑质量。EditProbe不仅仅依赖于多模态大型语言模型的最终输出，还探测中间变换层以提取捕捉源图像、编辑指令和编辑结果之间关系的表示。基于这些表示，训练了轻量级的回归头来预测与人类判断一致的多维编辑质量分数。在TIEdit上的广泛实验表明，广泛使用的自动指标与人类判断的相关性有限，而EditProbe与人类感知的一致性显著更强。TIEdit和EditProbe共同为文本引导图像编辑方法的更可靠和感知对齐的评估提供了基础。

章节片段

文本引导的图像编辑

随着大规模生成模型和多模态表示学习的发展，文本引导的图像编辑（TIE）取得了快速进展。最近在生成建模方面的进展，特别是基于扩散的框架（如Stable Diffusion[1]和FLUX[18]），显著提高了文本条件下的视觉合成的可控性和真实性。在这些进展的基础上，TIE方法作为修改现有图像的重要研究方向应运而生

TIEdit基准

本节介绍了所提出的TIEdit基准的构建过程，用于评估文本引导的图像编辑方法。最近的研究表明，可靠的文本引导图像编辑评估需要涵盖多种编辑场景的基准，并包含大规模的人类感知注释[9]、[10]、[11]。如图1(a)(b)所示，TIEdit基准是通过包括编辑任务设计、基准构建和大规模

EditProbe

我们提出了EditProbe，这是一个基于预训练的多模态大型语言模型（MLLM）的文本引导图像编辑评估工具。给定一张源图像$I_s$、一张编辑后的图像$I_e$以及一条编辑指令$T$，EditProbe可以预测一个与相应的人类平均意见得分（MOS）对齐的标量分数。感知质量、编辑匹配度、内容保留度和总体分数被建模为四个独立的回归任务，并分别进行训练。

EditProbe包含两个阶段。

实验

我们在TIEdit基准上评估了EditProbe，并测量了其与人类感知判断的一致性。首先描述了实验设置，然后将EditProbe与代表性的自动评估指标进行了比较，接着进行了分层分析和消融研究。

结论

本文提出了TIEdit，这是一个用于评估文本引导图像编辑的基准，它包含了由十个编辑模型生成的5120张编辑后的图像，并通过大规模的人类研究获得了15,360个MOS。利用这个基准，我们对现有的自动评估指标进行了系统研究，发现它们与人类判断的相关性对于编辑任务来说是有限的。为了解决这一差距，我们提出了EditProbe，这是一个利用多模态大型语言模型的中间表示的评估框架

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。