《Sensors》：ElasticGS: Pose-Aware Dynamic Gaussian Adaptation for Geometry-Consistent Human Digital Twin Reconstruction from Monocular Video
编辑推荐：
基于视觉的三维感知为人体工效学评估与人机协作等应用中的以人为中心数字孪生构建提供了有效途径。然而，由于大幅度关节化形变常导致现有基于三维高斯泼溅（3DGS）的人体化身出现表面不连续，从视觉传感器观测中重建可靠的动态人体数字孪生仍具挑战性。尽管现有方法可达到较高
基于视觉的三维感知为人体工效学评估与人机协作等应用中的以人为中心数字孪生构建提供了有效途径。然而，由于大幅度关节化形变常导致现有基于三维高斯泼溅（3DGS）的人体化身出现表面不连续，从视觉传感器观测中重建可靠的动态人体数字孪生仍具挑战性。尽管现有方法可达到较高的图像级渲染质量，其高斯基元并未显式适配姿态诱导的表面形变，从而在运动过程中产生裂缝与空洞。本工作提出ElasticGS，一种面向基于视觉三维感知的几何一致人体数字孪生重建框架。ElasticGS引入免训练的（training-free）姿态感知动态协方差适配策略，依据局部人体表面形变动态调整高斯基元的旋转与各向异性尺度。具体而言，对形变后的SMPL-X网格邻域执行局部主成分分析（PCA），以估计表面拉伸方向与幅度，使高斯表示能够在复杂姿态下维持连续表面覆盖。此外，本工作提出化身表面完整性评分（ASIS），一种无参考指标，无需像素对齐的真值即可评估重建人体化身的结构完整性与表面紧致度。在X-Humans、AvatarReX与People-Snapshot数据集上的实验表明，ElasticGS在保持有竞争力的图像级感知一致性的同时显著提升表面完整性。与ExAvatar相比，ElasticGS在保持令人满意的渲染质量的同时，将ASIS在X-Humans上由0.741提升至0.961，在AvatarReX上由0.871提升至0.949，在People-Snapshot上由0.874提升至0.952。上述结果证明了姿态感知协方差适配在基于视觉三维感知系统中实现稳健人体数字孪生重建的有效性。
研究背景方面，基于视觉的三维感知在信息物理环境中被日益用于感知、重建与监测人体活动，RGB相机、RGB-D传感器、激光雷达与多视角成像系统为构建动态人体数字表示提供连续观测。但实际感知系统常处于不理想观测条件：单目相机存在深度歧义，RGB-D传感器可能产生噪声或缺失深度值，激光雷达对人体细节建模提供的表面样本相对稀疏，多视角系统常受相机布设受限、视角间遮挡与自遮挡影响。因此，从真实观测重建的人体表面常不完整、采样不均或时间上不一致，尤其在肢体、关节与衣物区域。与静态物体重建相比，以人为中心的三维感知更具挑战，因为目标表面在大幅关节化与非刚性形变下运动，而观测仍稀疏或部分被遮挡。因此，有效的面向感知的重建系统不仅应保持照片级真实外观，还应在新颖姿态下保持几何连续且结构完整的身体表面。近年来神经辐射场（NeRF）与三维高斯泼溅（3DGS）等神经渲染技术显著推进了基于视觉传感器数据的动态人体重建。3DGS以显式高斯基元表示场景并支持高效可微光栅化，适合实时人体数字孪生应用；与SMPL-X等参数化人体模型结合后，可从单目或多视角视频重建可动画人体化身并以新颖姿态驱动，这对基于视觉的三维感知系统具有价值，因其可从传感器采集影像获得紧凑、可渲染、可控的人体表示。然而，现有基于3DGS的人体重建方法在涉及大幅关节化运动的感知场景中仍存在关键局限：多数方法主要优化高斯位置、颜色与不透明度以获得图像级保真度，而高斯基元的协方差支撑或为各向同性，或在静态标准姿态下学习得到，导致底层人体表面在运动中拉伸或压缩时高斯基元无法相应调整空间覆盖，产生可见表面裂缝与密度空洞，这在以外观为导向的渲染应用中或可接受，但对需要可靠表面连续性以支持监测、测量与下游分析的三维感知应用则构成问题。
针对上述问题，研究人员提出ElasticGS这一面向基于视觉三维感知的几何一致动态人体重建框架。该框架不将高斯基元视为附着于运动体表的刚性粒子，而将其建模为局部自适应表面单元，其协方差依据姿态诱导的网格形变更新。具体而言，在运动驱动推理过程中，对每个高斯基元形变后的SMPL-X网格邻域执行局部PCA，并利用所得主方向与形变幅度解析更新其旋转与各向异性尺度，这一免训练机制使高斯场在大幅关节化运动下维持更连续的表面覆盖。同时，现有动态人体重建评价方案主要依赖图像级保真度指标（如PSNR、SSIM、LPIPS）或基于参考的几何指标（如深度误差、Chamfer距离、轮廓重叠），这些指标适合衡量外观相似性或全局几何对齐，但不适于量化姿态驱动3DGS化身中的局部密度空洞与表面不连续，尤其当缺乏像素对齐真值图像或完整参考网格时。为此，研究人员提出化身表面完整性评分（ASIS），一种无参考代理渲染指标，通过比较理想形态学人体掩膜与由高斯不透明度累积得到的有效密度掩膜来评估3DGS化身的结构完整性。论文主要贡献包括：提出面向基于视觉三维感知与人体数字孪生应用的几何一致动态人体重建框架ElasticGS，提升3DGS人体表示在大幅关节化运动下的结构可靠性；提出姿态感知动态协方差适配方法，以免训练方式显式耦合局部网格几何形变与高斯基元协方差属性，实现响应皮肤拉伸的自适应旋转与缩放；提出ASIS这一面向任务的免参考代理指标，在缺乏像素对齐真值或完整参考几何时量化运动诱导裂缝与密度空洞；在X-Humans、AvatarReX与People-Snapshot上开展实验，验证图像级一致性与几何可靠性。
关键技术方法方面，研究采用混合网格-高斯表示，借鉴ExAvatar将三维高斯基元锚定于SMPL-X表面拓扑；训练阶段采用三平面（triplane）特征场与多层感知机（MLP）在标准空间回归各SMPL-X顶点对应的高斯属性，并通过图像重建损失与面部一致性损失优化；动画阶段提出免训练的姿态感知动态协方差适配，包括切平面投影、邻域协方差矩阵特征分解与基于主特征向量的旋转对齐及各向异性缩放；同时提出ASIS，基于代理不透明度渲染与形态学闭运算构建理想掩膜与有效密度掩膜。实验数据来自X-Humans（选取受试者00028、00034、00087）、AvatarReX（选取三个样本）与People-Snapshot（12个序列）三个公开基准，均为单目RGB输入设置。
研究结果方面，在实验设置上，研究采用PSNR、SSIM、LPIPS评估图像级感知一致性，采用ASIS评估表面完整性，实验在两张NVIDIA GeForce RTX 4090 GPU上完成，渲染分辨率与各数据集图像一致。定量评价中，在AvatarReX上ASIS由ExAvatar的0.871提升至0.949，SSIM保持0.976，LPIPS由0.034升至0.043；在X-Humans上ASIS均值由0.742提升至0.961，其中受试者00028的ASIS由0.729升至0.968，PSNR由30.201 dB降至26.860 dB，LPIPS由0.020升至0.026；在People-Snapshot上12个序列的平均ASIS由0.874提升至0.952，PSNR由39.040 dB降至35.967 dB，LPIPS由0.014升至0.023，且该方法在该数据集四项指标上均优于RMAvatar，渲染质量仅次于ExAvatar；People-Snapshot四个单独序列亦呈现次优渲染指标与最高ASIS。定性评价中，在X-Humans上HAHA、X-Avatar与EVA未能恢复足够的面部细节、腿部纹理与几何，RMAvatar纹理较清晰但手部区域缺失与面部模糊，ExAvatar保留更锐利局部纹理但在姿态驱动形变的腿部区域存在明显表面裂缝，ElasticGS则产生更连续的腿部表面；ASIS热图比较显示RMAvatar在手掌、腹部与肩部存在较低完整性区域，HAHA在躯干、肢体与关节连接处存在低密度区域，ExAvatar在强拉伸部位仍有低密度区域，而ElasticGS在各视角下内部空洞更少、表面响应更紧致。消融研究中，基线各向同性高斯基元取得最高PSNR与最优LPIPS但ASIS仅0.741；引入各向异性缩放后ASIS升至0.801；进一步加入旋转对齐（以局部邻域最远顶点对方向为启发式）后ASIS升至0.896；完整的姿态感知动态协方差适配达到ASIS 0.961，虽PSNR下降、LPIPS上升，但表面完整性显著更优，表明其通过局部形变感知协方差建模而非简单放大高斯提升结构完整性。ASIS可靠性分析中，随高斯移除比例增加，ASIS由0.9614降至0.2614，Depth L1误差由12.3721 mm升至38.9389 mm，Chamfer距离由9.0003 mm升至10.9907 mm，法向一致性（NC）由0.9069降至0.9015，四者趋势与假设一致，且ASIS对空洞比NC更敏感，与Depth L1和CD变化模式高度吻合；在X-Humans上不同方法对比中ElasticGS取得最高ASIS（0.9614）与最低深度误差（12.3721 mm），ElasticGS与ExAvatar的CD与NC相同，因这两项指标基于由高斯中心及其连接定义的代理网格计算，而协方差适配不改变高斯中心位置。运行时间分析中，ElasticGS的形变与渲染时间与ExAvatar几乎相同，主要额外开销来自协方差适配模块，由0.022 ms增至12.406 ms，总推理时间由66.54 ms增至78.73 ms，帧率由15.03降至12.70，相对降低约15.1%。
讨论部分指出，ASIS虽提供实用的免参考代理，但存在局限：其依赖二维代理渲染而非直接三维表面测量，因高斯基元不构成显式水密网格表面且新颖姿态动画时通常缺乏完整真值几何；该投影式设计带来视角依赖偏差，被遮挡的裂缝或密度空洞可能未被检测，轮廓边界低密度区域可能被过度惩罚；理想掩膜构建依赖形态学闭运算，在极端姿态、自接触或复杂衣物下可能引入误差，如手臂贴近躯干时可能错误填充自然间隙，裙装等宽松衣物下假定的类人体拓扑可能不成立；因此ASIS应被理解为表面紧致度的免参考代理指标而非三维几何精度的绝对度量，最适于在相同视角、渲染设置、形态学参数与评价协议下比较不同方法，并在有真值深度图或完整网格时与基于参考的几何指标及定性可视化结合使用。关于图像级保真度与表面完整性的权衡，ElasticGS可能降低图像级保真度，主要源于高斯支撑的几何感知扩展与重定向：相比倾向于保持直接为图像重建优化的紧凑高斯基元的ExAvatar，ElasticGS依据局部SMPL-X表面形变动态调整协方差，增大拉伸区域高斯的空间支撑以维持更好表面覆盖并减少裂缝与密度空洞，但扩大且各向异性调整的高斯支撑也可能平滑局部高频外观细节或轻微改变投影不透明度与颜色分布，导致部分区域像素级误差增加，因此定量结果不应被解读为所有指标的一致提升，而反映像素级渲染保真度与几何级表面完整性之间的权衡，对面向感知的数字人与人体数字孪生应用而言该权衡可接受，因表面连续性对可靠视觉表示、运动监测与新颖姿态驱动下的下游空间分析十分重要。结论部分译为：本工作提出ElasticGS，一种面向基于视觉三维感知与传感器驱动人体数字孪生应用的几何一致动态人体重建框架；所提框架通过免训练的姿态感知协方差适配策略解决基于3DGS的可动画人体化身的表面不连续问题，具体而言，所提姿态感知动态协方差适配模块对形变后的SMPL-X网格邻域执行局部PCA，并依据局部表面拉伸解析更新高斯基元的旋转与各向异性尺度，该设计使高斯基元能更好跟随姿态诱导形变，从而在大幅关节化运动下维持更连续的表面覆盖并减少运动诱导裂缝与密度空洞；此外，本工作提出ASIS，一种免参考代理渲染指标，用于在缺乏像素对齐真值或完整参考几何时评估表面紧致度与结构完整性；在X-Humans、AvatarReX与People-Snapshot上的定量结果表明ElasticGS在保持有竞争力的图像级感知一致性的同时显著提升表面完整性，消融研究进一步证实所提协方差适配策略的有效性，表明基于局部表面形变的显式旋转对齐与各向异性缩放对提升几何完整性至关重要；总体而言，本工作为从视觉传感器数据稳健重建可动画数字人贡献了一种几何感知的高斯协方差适配框架。尽管具有上述优势，ElasticGS仍存在若干局限：ASIS应被视为免参考代理指标而非三维几何精度的绝对度量，因其依赖二维代理渲染与形态学掩膜构建，可能受轮廓边界偏差或自接触影响；ElasticGS当前聚焦几何一致的人体化身重建与姿态驱动动画，而非完整的端到端数字孪生或机器人感知-控制系统，尚未在物体操作、抓取或接取等富含接触的人-物交互任务上专门验证；此外，尽管当前实现保持交互式推理速度，严格的实时边缘部署仍需进一步加速与系统级验证。未来工作将在重建方面研究自适应高斯致密化、视角相关纹理细化与形变感知外观补偿，以在保持表面连续性的同时提升细粒度纹理保真度；在人体数字孪生与机器人相关应用方面，计划通过集成上游姿态跟踪、物体感知、运动预测、接触建模与碰撞约束扩展ElasticGS，使重建的数字人表示更好支持动态人-物与人-机器人交互场景，并将在真实RGB-D与多相机感知系统上评估该框架，用于以人为中心的智能制造监测、人体工效学评估与安全感知的人机协作可视化。
