《Machine Learning with Applications》：EgoTokens: Egocentric 3D human reconstruction and language-guided shape editing via quantized position tokens in vision-language models
编辑推荐：
从自我中心图像进行三维人体重建是一项具有挑战性的任务，原因在于环境和自身遮挡。俯视视角和尺度模糊性也会阻碍精确的三维估计。当前方法主要依赖于专门的回归网络来重建三维网格，这些网络往往缺乏来自高维SMPL-X参数的结构性引导。在拟议工作中，研究人员引入了EgoT
从自我中心图像进行三维人体重建是一项具有挑战性的任务，原因在于环境和自身遮挡。俯视视角和尺度模糊性也会阻碍精确的三维估计。当前方法主要依赖于专门的回归网络来重建三维网格，这些网络往往缺乏来自高维SMPL-X参数的结构性引导。在拟议工作中，研究人员引入了EgoTokens，一个将自我中心SMPL-X参数估计作为离散序列生成任务处理的框架。该端到端系统采用视觉语言模型（VLM）直接从单张图像预测SMPL-X身体参数。122个SMPL-X参数中的每一个都被量化为1000个区间，并表示为用于训练VLM的扩展词汇表。为了在网络中反映扩展词汇表，相应的嵌入层和输出投影层被重新定义，并以多种学习率进行训练，以加速新量化标记的收敛。该系统以距离感知目标进行训练，该目标直观地将原始交叉熵与L2回归损失相结合，以捕获预测区间之间的实际数值接近度。标准VLM的交叉熵缺乏捕获这种数值接近度的能力，它们将接近的数字与远离的数字同等对待。此外，还构建了一个语言指令驱动的语义形状编辑流水线，将EgoBody数据集从150,000（可见）扩展到130万个指令-图像-参数样本。这种语言指令驱动的重建允许在无需额外区域分割的情况下进行编辑。在EgoBody数据集上，所提出的系统在微调InternVL2-8B时实现了29.49毫米的PA-MPJPE和28.20毫米的PA-MPVPE，在Qwen2.5-VL-7B上实现了33.43毫米的PA-MPJPE。结果表明，所提出的系统在InternVL2-8B和Qwen2.5-VL-7B上均优于专门的回归和基于Transformer的基线。在EHF数据集上的零样本评估实现了33.85毫米的PA-MPVPE，显示了所训练模型从自我中心视角到具有复杂姿态的第三人称视角的泛化能力。结果表明，具有距离感知能力的调优VLM是在单一框架内进行三维人体重建和形状控制的一个有前景的方向。
论文解读：EgoTokens——基于量化位置标记的自我中心三维人体重建与语言引导形状编辑
一、研究背景与问题
三维人体重建是计算机视觉领域的核心挑战之一。传统方法多基于标准相机视角的单目图像进行人体姿态与形状估计，并已取得显著进展。然而，新兴应用场景，如医疗保健、机器人与增强现实，要求从第一人称视角理解人体行为。在自我中心（egocentric）设置下，头戴式相机以多变的动态视角捕捉交互过程，其中非标准视角常伴随身体部位的遮挡，导致三维位置估计困难。此外，头戴相机通常以陡峭角度向下拍摄，造成视角表示不佳，相机距离变化引发的尺度模糊进一步增加了估计难度。精确且受控的身体部位估计对于理解接近度和手势至关重要，这涉及使用SMPL-X参数。
SMPL-X参数预测涉及高维参数空间，涵盖手部关节、面部表情、下颌与眼部姿态以及三维平移。这些参数通过身体模型的运动学紧密耦合。采用单一密集回归头联合预测这些参数，缺乏结构引导，且未显式提供身体组件间的依赖关系，因此严重依赖广泛的训练覆盖。在遮挡、截断和非典型视角下，这一问题尤为突出。现有方法主要采用直接回归模型，一次性从输入图像预测所有连续参数值，但在输出空间高维且视觉证据被遮挡的第一人称设置中，这些方法面临更大挑战。因此，自我中心人体重建需要一种更结构化的身体模型预测方式。
二、研究内容与结论
针对上述局限，研究人员提出了EgoTokens框架，将SMPL-X估计重构为视觉语言模型（VLM）处理的标记序列生成任务。该框架将每个SMPL-X参数维度量化为1000个离散区间之一，每个区间表示为专用词汇标记。模型以自回归方式从图像-文本提示生成122个标记的参数序列。该标记生成框架还支持语言指令驱动的身体形状编辑，将增强的SMPL-X参数序列与解释形状修改请求的自然语言指令提示配对，使模型能够学习这些请求并基于语义解释生成身体参数。系统支持基于图像的重建和语义形状控制。
在EgoBody数据集上，所提出的系统在微调InternVL2-8B时实现了29.49毫米的PA-MPJPE（Procrustes对齐的平均每关节位置误差）和28.20毫米的PA-MPVPE（Procrustes对齐的平均每顶点位置误差），在Qwen2.5-VL-7B上实现了33.43毫米的PA-MPJPE。结果优于专门的回归和基于Transformer的基线。在EHF数据集上的零样本评估实现了33.85毫米的PA-MPVPE，展示了模型从自我中心视角到复杂姿态第三人称视角的泛化能力。研究表明，具有距离感知能力的调优VLM是单一框架内进行三维人体重建和形状控制的有前景方向。
三、关键技术方法
研究人员采用了以下主要技术方法：基于可见性过滤的数据预处理，利用有效性标志和二维关键点注释计算可见性分数，筛选出主体充分可见的帧；SMPL-X参数标记化，将122个参数按结构分组并均匀量化为1000个区间，使用结构标记区分参数组；词汇表扩展，向预训练VLM添加1000个位置标记和18个结构标记，并重新定义嵌入层和输出投影层，对新标记采用10倍学习率加速收敛；距离感知训练目标，结合温度缩放的soft-argmax L2回归损失与分类交叉熵；身体形状增强流水线，通过顶点位移和形状系数预测生成八种语义控制的形状变体，将EgoBody数据集从约150,000扩展到超过130万个指令-图像-参数样本。模型采用选择性冻结策略微调ViT最后四层，使用Adafactor优化器在A40 GPU上以bfloat16混合精度训练100K次迭代。
四、研究结果
4.1 词汇表扩展与距离感知训练
研究人员通过扩展VLM词汇表，加入1000个位置标记和18个结构标记，使模型能够直接生成SMPL-X参数。距离感知训练目标将交叉熵与L2回归损失相结合，显著降低了重建误差。在InternVL2-8B上，距离感知版本相比基础交叉熵版本，PA-MPVPE从36.2毫米降至28.20毫米，验证了该目标的有效性。
4.2 身体形状增强验证
通过三个实验验证了形状增强流水线。实验一显示顶点位移产生解剖学上正确的身体围度变化，身体比例比率确认编辑产生目标变形而不影响无关区域。实验二测量了SMPL-X参数模型通过拟合Δβ方向表示预期顶点位移的精度，所有编辑类型的MPVPE-Full为10.36毫米。实验三确认130万增强β系数保持在SMPL-X形状空间的合理范围内，0%超过5σ，表明形状多样性得以维持且未发生坍缩。
4.3 模型性能对比
在EgoBody数据集上，EgoTokens在InternVL2-8B和Qwen2.5-VL-7B上均优于专门的回归和基于Transformer的基线。零样本评估在EHF数据集上实现了33.85毫米的PA-MPVPE，表明模型从自我中心到第三人称视角的泛化能力。
五、讨论与结论
研究人员通过消融研究评估了损失权重、soft-argmax温度、视觉编码器微调深度和量化区间数等设计选择。结果表明，均匀量化避免了学习码本的坍缩和误差传播问题，每个标记直接表示可解释的SMPL-X值，使距离感知惩罚成为可能。结构标记提供了参数组的语义上下文，使模型能够学习122个SMPL-X参数及其上下文含义。语言指令驱动的形状编辑无需额外区域分割，在单一框架内实现了重建与编辑的统一。研究结论表明，具有距离感知能力的调优VLM是三维人体重建和形状控制的有前景方向，为自我中心场景中的人体理解提供了新的技术路径。
