无参考的人 - 物交互编辑

《Neurocomputing》：Reference-free human-object interaction editing

　　

摘要本文提出了 InteractEdit，这是一种用于无参考人 - 物体交互（HOI）编辑的新框架，解决了将图像中现有交互转换为新的期望交互，同时保留主体和物体身份特征的具有挑战性的任务。与属性操作、物体替换或风格迁移等先前的图像编辑任务不同，HOI 编辑涉及 HOI 固有的复杂空间、上下文和关系依赖。现有方法往往过拟合于源图像结构，限制了其对新交互所需重大结构修改的适应性。为此，InteractEdit 将每个场景分解为主体、物体和背景组件，以解耦复杂的人 - 物体交互关系，并引入结合选择性反转策略与选择性秩适应（SeRA），以在利用预训练交互先验的同时从源图像中学习视觉身份特征。这使得在交互编辑和身份保留之间实现平衡成为可能。我们还引入了 IEBench，这是一个新的 HOI 编辑基准，以及一个新的指标，用于共同评估成功交互编辑和身份保留之间的权衡。广泛的实验表明，InteractEdit 优于 23 种现有方法，为未来的 HOI 编辑研究提供了强大的基线。代码和数据集：https://jiuntian.github.io/InteractEdit/.

引言人 - 物体交互（HOI）理解在计算机视觉中起着关键作用，支持从动作识别 [1] 和增强现实覆盖 [2] 到机器人技术 [3] 的各种应用。虽然 HOI 识别和生成已经得到了充分研究 [4], [5], [6], [7]，但在单张图像内编辑现有交互的任务尽管具有明显的商业潜力，却很大程度上仍未被探索。在电影和媒体等行业，修改角色的动作，例如从骑马变为亲吻马匹，可以节省整个重拍过程。同样，在电子商务和广告中，更新产品视觉，例如将运动员从持有运动饮料变为饮用运动饮料，可以显著减少生产时间和费用。这些场景需要在修改 HOI 和保持主体和物体身份之间进行谨慎的权衡，同时在一个连贯适应的视觉环境中进行。
实现这种平衡并非易事，因为人、物体和场景上下文紧密相互依赖，并且在编辑后必须保持视觉连贯性。然而，大多数现代图像编辑器 [8] 专注于在固定布局假设下操作属性、物体或风格。这导致它们不适合交互级编辑。相比之下，交互编辑需要重大的结构变化，例如重新摆姿势、重新定位物体，有时还需要修改背景，同时保留主体和物体身份。例如，将一个人吹蛋糕转变为吃蛋糕（见图 1）涉及改变动作、调整身体姿势和重新定位物体，所有这一切都不能破坏场景连贯性或视觉相似度。此外，现有方法并非设计为在没有参考图像或配对监督 [9] 的情况下运行。这一差距突显了需要一种新的任务公式，支持直接从单张图像和目标提示进行灵活、保留身份的编辑。
为此，我们定义了无参考 HOI 编辑任务，它解决了四个关键挑战：
a) 复杂的交互关系：主体、物体和动作在空间和语义上紧密耦合；
b) 刚性图像结构：现有编辑器刚性保留原始结构，限制了它们变形姿态和布局变化的能力，而这些是新交互所要求的；
c) 预训练先验破坏：无约束反转风险覆盖预训练交互先验，从而降低对新目标交互的泛化性；
d) 缺乏标准数据集和指标：缺乏标准基准进行公平和可复现的比较。
为了应对这些挑战，我们提出了 InteractEdit（图 2），这是一个新颖的框架，只需要单张源图像和一个目标提示。首先，图像被分解为主体、物体和背景令牌，促进了复杂 HOI 关系的解耦。为了支持无参考编辑，保留模型对交互的预训练理解至关重要。我们引入了选择性反转，它保留预训练查询权重并仅适应键和值权重，从而在允许可控交互修改的同时保持原始注意力“问题空间”。在此基础上，我们提出了选择性秩适应（SeRA），以在结构化、低秩子空间内指导每个注意力权重更新，每个方向由可学习门控标量调制。此设计的目标是保留预训练动作词汇，同时实现感知身份的适应，在交互转换和主体及物体身份一致性之间取得平衡。
为了支持公平和可复现的评估，我们还引入了 IEBench，一个专门的 HOI 编辑基准。它系统地评估了多样化的源 - 目标交互对的 HOI 可编辑性，并使用可编辑性 - 身份分数（ei）报告性能，这是一种新的指标，共同量化编辑成功和身份保留。
作为总结，我们的贡献是：
(i) 我们正式定义了无参考 HOI 编辑任务，并引入了 IEBench，一个综合的 HOI 基准，具有多样化的评估场景，以及一种新的指标（即可编辑性 - 身份分数（ei）），共同评估 HOI 可编辑性和身份保留。
(ii) 我们提出了 InteractEdit，一种从单张图像编辑 HOI 的新颖框架。具体而言，它拆解 HOI 组件并结合选择性反转与 SeRA，以保留预训练动作先验，同时实现身份一致的交互编辑。
(iii) 实验显示 InteractEdit 取得了最先进的性能，在 HOI 可编辑性和身份一致性之间取得了最佳平衡，为 HOI 编辑的未来研究奠定了坚实的基础。
这项工作的一篇初步版本此前曾作为 arXiv 预印本发布为“InteractEdit: Zero-Shot Editing of Human-Object Interactions in Images” [10]，早于本次提交。

部分摘录
人机交互
人 - 物体交互（HOI）通常表示为三元组，并为人类和物体配备相应的边界框。HOI 检测旨在定位这些实体并分类它们的交互。最近的工作 [5], [11], [12], [13], [14], [15], [16], [17] 提高了泛化能力，特别是针对罕见和未见交互。HOI 生成 [6], [7], [18], [19], [20], [21], [22] 是一个新兴领域，专注于从给定的 HOI 三元组生成图像。InteractDiffusion [6]
方法
给定描绘初始 HOI 为三元组的输入图像，其中主体是，物体是，它们的原始交互是，我们的目标是语义地将此交互修改为新的指定交互。这需要平衡保留主体和物体身份与在编辑交互和必要时适应背景中足够的结构适应性。生成的图像应描绘新的 HOI，同时保持真实感和连贯性。
基准
严格的基准对于正确评估 HOI 编辑任务至关重要。虽然 HOIEdit [9] 取得了初步进展，但它有两个关键局限性。首先，其评估仅限于小规模基准，仅涵盖 3 个动作。其次，它依赖于文本 - 图像和图像 - 图像相似性指标，这些指标在评估 HOI 编辑正确性方面不可靠，因为已知 CLIP 在动作识别任务中表现不佳 [76]。
为了弥补这些不足，我们引入了 IEBench，
实验
我们在 512 × 512 分辨率下进行了实验，基于 Stable Diffusion XL [28]。遵循 Break-A-Scene [68]，我们使用两阶段优化方法。在第一阶段，我们仅优化描述符令牌 1000 步，学习率为 5e-4。在第二阶段，我们联合优化 SeRA 权重和描述符令牌 200 个额外步骤，学习率为 1e-4。更多细节见附录 A。

结论
本文介绍了一种新颖的无参考交互编辑任务，并提出了 InteractEdit 以应对其中的挑战。HOI 编辑仍然是一个艰巨的问题，需要在保留身份的同时修改交互。现有方法难以平衡 HOI 可编辑性和身份一致性，因为一些方法过拟合于源图像并覆盖预训练交互先验，而另一些方法未能有效利用这些先验，导致次优编辑。为此，CRediT 作者贡献声明
Jiun Tian Hoe：撰写 - 初稿，验证，软件，方法论，调查，形式分析，数据整理，概念化。Weipeng Hu：撰写 - 审查与编辑，验证，方法论，数据整理。Wei Zhou：可视化，软件，数据整理。Chao Xie：可视化，软件，数据整理。Ziwei Wang：撰写 - 审查与编辑，验证，监督，方法论。Xudong Jiang：撰写 - 审查与编辑，监督，方法论。Yap-Peng Tan：撰写 - 声明
竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本论文报告的工作。
Jiun Tian Hoe 是新加坡南洋理工大学电气与电子工程学院先进机器人技术创新中心（CARTIN）的博士研究生，师从 Yap-Peng Tan 教授和 Xudong Jiang 教授。他于 2022 年获得马来西亚国立大学计算机科学与信息技术学院的计算机科学学士学位。他的研究兴趣包括计算机视觉、图像生成、图像
Jiun Tian Hoe|Weipeng Hu|Wei Zhou|Chao Xie|Ziwei Wang|Xudong Jiang|Yap-Peng Tan|Chee Seng Chan
南洋理工大学电气与电子工程学院，新加坡 50 Nanyang Ave, 639798, 新加坡