RePoCHOI：基于关系姿态优化的穿衣人体 - 物体交互单视图三维重建

《Pattern Recognition》：RePoCHOI: Single-view 3D reconstruction of clothed human-object interaction via relational pose optimization

　　

• •
  我们提出了一种单视图着衣人体 - 物体交互重建方法。
• •
  我们提出了一种结构感知的图像修复策略，以有效解决遮挡问题。
• •
  我们提出了一种关系姿态优化策略，用于鲁棒的交互建模。
• •
  我们的方法在不使用物体模板的情况下实现了高效且优越的 HOI 优化。

Introduction

数字人类正越来越多地应用于各种现实场景，包括 VR/AR、3D 打印、游戏、教育和医疗保健 [1]。特别是，从单张全身图像重建 3D 数字人类比依赖全身扫描 [2] 或多视图/视频输入 [3], [4] 的方法更具成本效益，因此受到了研究人员的广泛关注。

目前，先进的单图像 3D 着衣人体重建方法可分为两类。如图 1(a) 所示，PSHuman [5] 等静态方法可以从常规单视图人体图像中获得高质量但不可编辑的结果。这些方法通常利用参数化人体模型 SMPL-X [6] 作为重建先验，然后预测结构和纹理细节。或者，如图 1(b) 所示，IDOL [7] 和 LHM [8] 等可动画化方法侧重于通过利用姿态变形来生成可编辑的人体模型，但这以牺牲重建质量为代价。这些方法使用的 3D 人体数据集仅由清晰、孤立的人体扫描组成，缺乏交互或上下文信息。然而，人 - 物交互（HOI）在现实场景中无处不在，例如人们坐在椅子上、背着背包或打棒球 [9], [10]。当应用于 HOI 场景时，缺乏显式交互建模通常会导致人体 - 物体几何纠缠以及结构和纹理损坏。此外，还有几种针对 HOI 重建的专门方法，如 CONTHO [11] 和 HOT-TG [12]。然而，如图 1(c) 所示，此类方法需要预定义的物体模板，并且仅重建可编辑的参数化模型，而不建模衣物或外观。此外，HDM [13] 率先引入了无模板 HOI 重建，但它只能预测粗略的高斯点，如图 1(d) 所示。虽然这些方法可能捕捉到粗略的交互布局，但它们在建模细粒度的人 - 物关系（如物理上合理的接触）方面仍然有限。总之，当前方法在复杂的 HOI 场景中难以实现高质量重建，而它们对物体模板或大规模训练的依赖进一步限制了其泛化能力。

为了解决这些局限性，本工作致力于单视图着衣人 - 物交互（CHOI）重建任务。除了消除对物体模板和数据驱动训练的依赖外，我们确定了两个从根本上限制现有方法性能的关键挑战。首先，交互中的人体和物体经常相互遮挡。然而，人体姿态和物体结构的复杂性使得恢复准确的几何形状和干净的纹理变得困难。其次，联合估计实体姿态及其空间关系存在目标不明确和指导不足的问题，通常导致语义理解错误、布局不合理以及物理接触不合理。

为了解解决这些挑战，我们提出了 RePoCHOI，它从单张图像中分别重建人体和物体，随后优化关系姿态——定义为交互实体的姿态及其空间关系。具体来说，为了解决相互遮挡问题，我们引入了一种结构感知的图像修复策略，从分割图像中完成遮挡区域。该策略利用人体和物体粗糙但可靠的 3D 几何先验来引导可控的 2D 图像合成，确保即使在严重遮挡下也能合理恢复遮挡区域。

此外，为了更好地建模交互，我们分析了关系姿态优化的基本目标，将其解耦为三个层面：(1) 在语义层面，多视图渲染应保持一致并反映预期动作；(2) 在交互层面，应在粗尺度上保持空间对齐，同时接触区域内的人体姿态应捕捉细粒度的关节运动；(3) 在物理层面，两个实体应达到接触的关键状态，即精确接触且无穿透。基于上述分析，我们设计了三种指导策略，通过逐步细化可学习姿态参数来优化关系姿态。首先，一种语义指导策略利用图像 - 文本对齐来强制实现感知交互的语义一致性。其次，一种 HOI 指导策略定位交互区域，以引导粗粒度空间对齐和细粒度接触预测。第三，一种物理指导策略采用两阶段穿透拒绝机制，其中优化的实体首先被推向参考表面，然后被排斥以形成物理上合理的接触。通过提出的多指导设计，我们的框架将语义、交互和物理约束统一到一个连贯的优化过程中，能够实现人体和物体姿态的准确对齐，同时联合捕捉全局空间结构和细粒度交互细节。

我们的主要贡献总结如下：

• •
  我们提出了 RePoCHOI，一种新颖的 CHOI 范式，用于从单张 HOI 图像生成具有详细外观的 3D 模型，消除了对物体模板和基于训练的显式交互区域预测的依赖。
• •
  我们设计了一种结构感知的图像修复策略，利用 3D 几何先验来处理 HOI 场景中的遮挡问题。
• •
  我们设计了三种互补的指导策略，包括语义、HOI 和物理指导，以实现鲁棒的关系姿态优化。
• •
  大量实验表明，我们的方法在外观质量、姿态准确性和交互合理性方面超越了先进方法。

Section snippets

Image to 3D generation

单图像 3D 重建的最新进展在简单、孤立的物体上取得了令人印象深刻的结果 [14], [15]。例如，Wonder3D [16] 和 Unique3D [17] 利用多视图扩散模型预测新颖视角的外观和法线图，然后融合以细化网格质量。InstantMesh [18] 和 TRELLIS [19] 通过大规模训练进一步提高了重建性能。然而，这些方法仅限于单物体场景，因此难以

Overview

我们将单视图 CHOI 任务制定为从单张图像 $I$ 重建人体和物体模型，确保交互合理。如图 2 所示，我们的框架包含三个阶段：双重重建阶段、物体优化阶段和人体细化阶段。具体来说，我们将人体模型 $\mathcal{H}$ [7] 和物体模型 $\mathcal{O}$ [18], [19] 分别重建，然后再将它们放入统一场景中。随后，我们优化物体姿态，接着细化人体姿态

Experimental setup

数据集。我们使用真实世界和合成数据的组合，以确保多样性和泛化性。具体来说，我们从互联网上收集了大约 100 张真实世界 HOI 图像和 50 张使用 VLM [49] 通过随机采样提示生成的合成 HOI 图像，涵盖了各种性别、年龄和文化背景。该数据集涵盖了多样的交互类型和物体类别，包括坐着、携带和体育活动。对于在该数据集上的评估，我们

Conclusion

我们提出了 RePoCHOI，一种基于优化的单视图 CHOI 方法。与现有的依赖物体模板、大规模训练数据或缺乏细粒度交互建模的方法不同，RePoCHOI 为高质量重建和感知交互的姿态细化提供了一体化解决方案。对于输入的 HOI 图像，该方法首先对人体和物体进行分别重建，然后通过分而治之的策略细化它们的关系姿态。具体来说，

CRediT authorship contribution statement

陈新元：写作 – 初稿，可视化，软件，方法论，概念化。 邵明文：写作 – 审查与编辑，监督，项目管理，资金获取。 张俏：验证，调查，形式分析。 吕祥：写作 – 审查与编辑，形式分析。 战青林：可视化，软件。 刘畅：软件，方法论。 孟令壮：写作 – 审查与编辑，验证。

Ethical considerations

本文讨论的相关工作可能涉及违反个人隐私、侵犯知识产权和潜在滥用等风险。应对这些挑战需要共同努力建立健全的伦理准则和立法。在本研究中，由于个人数据的敏感性，所有数据集、模型和处理结果都 严格限于学术用途。如果任何权利人有任何疑虑，请联系我们；我们将立即

Declaration of generative AI and AI-assisted technologies in the manuscript preparation process.

在本工作的准备过程中，作者使用 GPT-4o 准备实验数据以及进行拼写和语法检查。使用该工具/服务后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

Declaration of competing interest

作者声明，他们没有已知的可能影响本论文报告工作的竞争财务利益或个人关系。

Acknowledgments

本工作得到了 国家自然科学基金（项目编号 62376285, 61673396）的支持。我们衷心感谢审稿人和编辑提出的富有洞察力和建设性的意见，这大大提高了本手稿的质量。

陈新元 | 邵明文 | 张俏 | 吕祥 | 战青林 | 刘畅 | 孟令壮