SMART-Edit：用于精确免训练图像编辑的频谱相互注意力细化与融合方法

《Pattern Recognition》：SMART-Edit: Spectral Mutual Attention Refinement and fusion for precise training-free image editing

　　

• 一种与多种多模态扩散Transformer（MM-DiT）无缝集成的模型无关框架。• 方法无关且无需训练，不需要参数优化。• 提出了一种"先定位后编辑"的范式，实现精确的语义控制。• 稳健地将原始注意力图转换为准确的掩膜。• 改善了背景保留、忠实度和美学效果。

引言

近年来，大规模文本到图像生成模型 [1]、[2] 的快速发展推动了文本引导图像编辑成为关键应用。文本引导图像编辑的核心目标是根据用户提示精确修改特定的目标属性，同时严格保留结构布局和无关背景。为实现这一目标，基于训练的方法通常对生成模型进行微调 [3]、[4]、[5]，以实现指令跟随式的图像编辑。然而，这些方法需要大量精心策划的数据集和大量计算资源，导致训练流程耗时且资源密集型。

为克服这些限制，许多无需训练的图像编辑方法已成为引人注目的替代方案。一方面，某些基于反演的技术将源图像反演为条件于源提示的语义对齐潜在表示，随后通过用目标提示对潜在表示进行去噪来引导编辑过程，通常依赖于特征注入 [6]、[7]、[8] 或常微分方程轨迹校准 [9]、[10] 来保持结构一致性。另一方面，无反演方法 [11]、[12] 绕过反演步骤，而是通过向量场中的速度差异将源潜在变量引导至目标分布。此外，大量研究 [13] 专注于实现细粒度的空间解耦。这些方法通常利用U-Net或多模态扩散Transformer（MM-DiT）中的图像到文本交叉注意力图来派生空间掩膜，从而将编辑限制在目标区域，同时保留非目标区域。

尽管取得了这些进展，现有的基于注意力的语义定位方法在应用于MM-DiT时存在严重的语义泄漏问题，如图1所示。因此，生成的掩膜（如图1中的"花朵"）通常表现出边界不清的问题，导致意外的伪影、背景损坏和编辑不完整。从根本上说，这一限制源于MM-DiT固有的联合注意力机制。将文本和图像令牌拼接成统一序列进行整体交互，不可避免地导致跨模态特征耦合，加剧令牌竞争，并扰乱固有的注意力分布。至关重要的是，MM-DiT中的联合注意力机制加剧了基于U-Net的方法中典型的语义泄漏 [17]，使其在精确空间控制方面极不可靠。基于这些观察，一个自然的问题出现了：（1）语义纠缠问题：如何有效解缠MM-DiT中的语义纠缠联合注意力机制，以实现精确的语义定位并防止无训练图像编辑中的空间泄漏？然而，即使有精确的定位，对注意力图进行编辑时的硬阈值处理仍存在缺陷。这种离散化强制了刚性边界，导致伪影并因编辑区域与背景之间的突变而限制了可编辑性。这自然引出了我们的第二个关键问题：（2）边界离散化问题：如何将局部语义注意力转换为平滑的、结构连贯的、易于编辑的空间掩膜，以实现精确的图像编辑？

为应对上述挑战，我们提出了谱互注意力精炼与转换（SMART-Edit），一种针对MM-DiT中无训练图像编辑的方法无关框架（图1）。为应对Q1，我们重新审视了MM-DiT模块中的图像到文本（AV→T）和文本到图像（AT→V）交叉注意力。我们观察到，尽管两个单独的注意力分支都不可避免地受到不同程度的语义泄漏影响，但它们的固有跨模态交互机制包含高度互补的空间线索。受这一洞察启发，我们提出了双注意力精炼（DAR）模块，利用MM-DiT中的文本和视觉自注意力图独立优化两个交叉注意力图，有效缓解它们不同的泄漏模式。随后，我们引入谱互注意力融合（SMAF）模块，在频域中无缝集成这两个精炼后的注意力图，以生成高度精确的局部化区域。此外，为回答Q2，SMART-Edit引入了软掩膜转换（SMT）模块，将突变的空格边界转换为连续、自然的过渡。SMT从强度加权的语义质心锚点开始，结合形态学精炼，基于注意力同质性迭代扩展掩膜。SMT模块有效消除了不自然的硬伪影，同时保持无缝混合掩膜。作为一种方法无关框架，SMART-Edit可以集成到各种最先进的无训练编辑框架中，提升语义定位能力和整体编辑质量。我们的主要贡献总结如下：

• 方法无关且无需训练的图像编辑框架。我们提出了SMART-Edit，一种即插即用的图像编辑结构引导框架。它可以无缝集成到多种MM-DiT主干网络（如Flux.1 Dev、SD3/3.5）和无训练图像编辑方法（如基于反演的RF-Solver和无反演的FlowEdit）中，提供高度精确的空间控制，而无需任何参数优化。• MM-DiT的精确语义定位与编辑。我们为MM-DiT提出了一种新颖的"先定位后编辑"范式。通过集成DAR来缓解语义泄漏、SMAF来提取结构对齐的语义线索、SMT来确保自然边界，我们稳健地将原始注意力图转换为精确的空间掩膜，用于精确的语义定位和编辑，附加时间开销可忽略不计。• 编辑质量的整体提升。在PIE-Bench和EditEval上的大量实验表明，SMART-Edit增强了现有的无训练图像编辑基线。SMART-Edit在背景保留、编辑忠实度和整体视觉美学方面取得了显著改善。

章节摘录

基于扩散模型的图像编辑

图像编辑旨在修改特定图像属性，同时保持结构和内容一致性。利用强大的生成先验，扩散模型 [18]、[19] 已成为高级图像编辑的主导框架。为平衡编辑精度和结构保留，研究分支为基于训练和无需训练两种范式。基于训练的方法涉及端到端微调整个网络 [3]、特定层 [20] 或嵌入 [21]、[22]。

无需训练的图像编辑

整流流 [28] 通过常微分方程 dxt/dt = vθ(xt, t) 建立了数据 x0 ～ π0 和噪声 x1 ～ π1 之间的确定性映射，其中速度场 vθ 被优化以遵循直线路径 xt = (1?t)x0 + tx1。基于这种确定性公式，当前的无需训练图像编辑范式可分为两个不同分支：基于反演和无反演方法。

基于反演的编辑。该框架通过从 t=0 开始向前积分常微分方程来实现高保真反演，直到 t=T。

方法

在本节中，我们介绍谱互注意力精炼与转换（SMART-Edit），一种受MM-DiT固有注意力机制启发的无需训练图像编辑框架。我们方法的核心在于由SMART模块引导的语义定位。我们首先通过双注意力精炼提取并精炼MM-DiT的固有跨模态注意力图（第4.1节）。随后，我们引入一种基于谱互注意力融合的注意力整合策略。

实验设置

主干网络与数据集。我们使用主流流匹配模型（SD3-Medium、SD3.5-Medium [39] 和 Flux.1 Dev [47]）在图像编辑任务上评估SMART-Edit。具体而言，为与原始实现对齐，SD3-Medium仅在PIE-Bench上用于FlowEdit，而SD3.5-Medium和Flux.1 Dev用于其余实验。我们在PIE-Bench [27] 上评估我们的方法，该基准使用700张带掩膜的图像来评估局部编辑保真度和背景保留。

局限性与未来工作

与现有的注意力驱动编辑方法 [13]、[16] 类似，尽管SMART-Edit在语义删除和替换方面表现突出，但其性能在语义添加任务中可能受限于底层基线方法。本质上，我们的框架依赖于目标语义已存在于源图像中的前提。当添加完全新的语义概念时，源图像缺乏相应的视觉特征，使得难以提取有意义的交叉注意力图。

结论

在本工作中，我们介绍了SMART-Edit，一种新颖的即插即用的无需训练图像编辑框架，可以无缝集成到基于反演和无反演的编辑范式中。通过利用MM-DiT中互补的文本到图像和图像到文本交叉注意力信号，SMART-Edit通过双注意力精炼和谱融合实现了准确的语义定位和空间精确的编辑控制，无需任何额外训练。大量实验

贡献声明

Jili Chen：撰写——审阅与编辑，撰写——初稿，可视化，软件，方法学，调查，构思。Yaxin Tu：撰写——审阅与编辑，验证，软件，方法学，构思。Qionghao Huang：撰写——审阅与编辑，可视化，形式分析，数据整理。Xizhe Wang：撰写——审阅与编辑，资源，调查，数据整理。Xiaodi Huang：撰写——审阅与编辑，可视化，验证，形式分析。Changqin Huang

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文所报道的工作。

致谢

本工作得到国家自然科学基金（编号：62337001）的支持。

Jili Chen | Yaxin Tu | Qionghao Huang | Xizhe Wang | Xiaodi Huang | Changqin Huang