MUG：面向单目图像二维姿态的多人体三维网格重建异构图网络

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：MUG: Multi-human Graph Network for 3D Mesh Reconstruction from 2D Pose

　　

从单张单目图像中重建多人体身体网格是计算机视觉中关键且具有挑战性的问题，该问题不仅要求为每个个体生成独立的身体网格模型，还需估计不同主体间的相对三维位置以产生连贯的场景表示。研究人员提出MUG（Multi-hUman Graph network，多人体图网络），采用单一图神经网络以仅有的二维姿态数据作为输入构建连贯的多人体网格。该方法证明纯基于姿态的方法可有效同时进行深度推理与多人体网格生成。现有基于图像的方法通常依赖实验室采集的带精确三维标签的训练数据集，但当应用于野外测试数据或艺术图像时，因外观与上下文差异会引入图像域间隙；相比之下，MUG利用跨多样数据集的二维姿态几何一致性缓解域差异。MUG网络分三阶段运行：首先处理多人体二维姿态并构建新型异构图，连接跨人与人内节点以捕捉人际交互与身体几何（含骨骼与网格结构）；随后采用双分支图神经网络，一分支预测人际深度关系，另一分支预测根关节相对网格坐标；最后融合两分支输出得到完整多人体三维网格。尽管仅用二维姿态输入且网络精简，MUG在RH、MuPoTS-3D与3DPW等跨域数据集上均优于现有多人体网格估计方法，定性结果显示其在艺术图像、穿墙场景与弱光条件下结合先进二维姿态网络仍有效，展现出开放场景下的卓越泛化能力。

研究背景与动机

从单目图像重建多人体三维身体网格（3D body mesh）需同时完成两项子任务：单人的形状与姿态恢复，以及多人之间的相对深度与场景排布估计。传统多人体网格估计几乎被基于图像（image-based）的检测式流水线主导，这类方法以整图送入骨干网络，借区域提议或中心点定位人体再回归SMPL参数；其根本瓶颈在于训练三维监督高度依赖实验室采集数据集（如Human3.6M、HumanEva），导致模型在野外（in-the-wild）、艺术图像、穿墙射频成像等非自然图像域中出现显著域间隙（domain gap）。纯姿态（pose-based）路线以二维关键点坐标为输入，具有外观无关、跨域一致、可嫁接非视觉模态（如无线电）的优势，但此前工作要么只做单人网格、要么只做多人深度排序，未由单一网络联合输出多人网格与场景级深度。研究人员据此开展MUG研究，结论是以二维姿态为唯一输入、借助异构图与双分支GCN可在多人场景下超越部分图像基SOTA，且对域偏移鲁棒；该工作发表于《International Journal of Computer Vision》，意义在于为多人网格恢复提供了一条与图像特征互补、易嵌非视觉传感的基础管线。

主要关键技术方法（≤250字）

研究人员采用COCO式19关节集（含根、颈中点）与SMPL粗网格（431顶点，由6890顶点下采样）构建异构图：人内连骨骼边、网格拓扑边及关节到最近两网格顶点单向边，人间断根关节连边。节点特征拼接绝对图像坐标、全人姿态、归一化姿态与SMPL模板回归关节坐标（维度75）。网络为双分支DeeperGCN式残差GCN（各支1线性+1 GCN+9块，10层最优），上支出根-相机深度D?与三维关节，下支出根相对网格；深度由针孔模型D/f=L/l推比例并用L₁监督，无真值焦长假定f=1500。训练联合Human3.6M（NeuralAnnot伪网格）、COCO（伪网格）、MuCo-3DHP（SMPLify伪标签），注入合成姿态噪声；推断接BigDetection+ViTPose。

研究结果

3.1 图构建（Graph Construction）

研究人员定义K人异构图??*，每人子图含关节节点??^Joint与网格节点??^Mesh，人内建Joint-Joint、Mesh-Mesh、Joint→Mesh三类边，人间仅连根关节边?^Inter。消融证明根-根边最佳，去边则深度排序暴跌，加颈/鼻边反损网格误差。

3.2 节点特征构造（Node Feature Construction）

特征X_ij^Joint=(P?_ij^2D, P?_i^2D, P?_ij^2D, (??T)_j)，网格节点取最近关节绝对/归一坐标+T_v。消融显示仅用归一姿态P?时RH的PCDR^0.2仅34.8%，加入绝对姿态P?升至52.8%，证明绝对坐标对深度不可或缺；仅遮留根关节仍可排深度序（近大远小先验），但全身尺寸与绝对距离需多关节。

3.3 网络结构（Network Structure）

双分支GCN，上支平均关节特征出深度、线性层出三维关节作辅助监督，下支经连接层融上支信息出根相对网格；GCN块用GENeralized Conv+残差。层数消融以10层兼顾算力与精度。

3.4 深度估计（Estimating Depth）

由针孔关系L/l=D/f推出D?=DS/(1000αf)，α=200，L₁损失；无焦长数据集伪标签由SMPLify/NeuralAnnot生成。推断若缺内参则设f=1500、主点图中心。

3.5 多人重建（Reconstructing Multiple Humans）

总损失?=?_M+λ₁?_J+λ₂?_JM+λ₃?_D（λ₁=λ₂=1e-3, λ₃=1）。由二维根坐标与内参解三维根[x,y,D]，绝对网格M_abs=M+[x,y,D]。

4.4 与SOTA对比

RH数据集（PCDR^0.2）MUG微调后超BEV 1.6点，Teen/Kid类分别高8/4点，Baby类弱于BEV（因无年龄信息且婴儿比例特异）。3DPW测试集（未用其训练集）MPJPE/MPVPE优于ROMP基础版及去3DPW的BEV重实装，较GATOR低约3mm。MuPoTS-3D的3DPCK全量/匹配均超BEV。Panoptic均值略低于BEV但在Haggling/Mafia占优，失败例因室内俯角致膝踝出框、Pose网络限框内预测。Human3.6M上较BMP降MPJPE 5.5%，优于Pose2Mesh/GATOR，但逊于专精单人图像法（METRO/CLIFF），属多人与单人上限差。

4.5 消融分析

网络结构：异构图（关节+网格双节点）胜仅网格或仅关节上采样。层数10最优。人际边：根-根最佳，去边深度崩，加边损网格。二维姿态质量：ViTPose>HRNet+DarkPose>HRNet，GT姿态MPVPE再降31.6%；高斯抖动σ至16px时MPVPE由101.4缓升至108.2，鲁棒性良。重叠严重度：3DPW重叠加MPVPE 100.7→105.6，RH的PCDR^0.2 55.6%→49.1%。特征分量全添最优。伪标签NeuralAnnot比SMPLify在3DPW省1.7mm MPVPE。焦长f=500定量深度判等最优，f=1500为质效折中。

讨论与结论翻译

研究人员探索以二维姿态为输入的多人体网格重建，设计表征人内与人际关系的多层异构图，并提出双分支图神经网络借该图联合学人际关系与三维网格坐标。研究表明纯姿态管线不仅在多人场景有效，且在多数据集上当前优于部分图像基方法，展现强泛化；未来可把图像特征嵌入图表示，或将三维网格接入躯体情绪理解（bodily expressed emotion understanding）以推进行为情感计算。结论确认：以单一图网络从二维姿态同时出多人网格与三维位置的能力以往纯姿态工作少见，MUG为后续研究提供坚实基线。