
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于对比式人体感知三维表示的前馈多视角多人重建
《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Feed-Forward Multi-view Multi-person Reconstruction with Contrastive Human-Aware 3D Representation
【字体: 大 中 小 】 时间:2026年08月30日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 10.3
编辑推荐:
摘要多视角人体重建在简化设置下已被广泛研究,但将这些方法扩展到无约束环境中鲁棒且高效的多人大重建需要更通用和可扩展的建模范式。现有的自下而上的方法通常依赖于准确的相机标定和显式的跨视角匹配,因此在存在严重遮挡和歧义的多人大场景中表现不佳。我们将这些局限性归因于缺乏一种显式的且
多视角人体重建在简化设置下已被广泛研究,但将这些方法扩展到无约束环境中鲁棒且高效的多人大重建需要更通用和可扩展的建模范式。现有的自下而上的方法通常依赖于准确的相机标定和显式的跨视角匹配,因此在存在严重遮挡和歧义的多人大场景中表现不佳。我们将这些局限性归因于缺乏一种显式的且视角无关的 3D 表示来共同推理人体结构和多视角一致性。基于这一观察,我们提出了一种新的自上而下的范式,维护一个统一的、以实例为中心的人体感知 3D 空间,通过跨模态对比学习实现同时的相机标定、跨视角关联和人体重建。具体来说,来自多个视角的观测被直接提升并融合到这个共享的 3D 空间中,其中几何结构、视觉外观和以人体为中心的语义线索在实例层面被共同编码。为了增强 3D 表示的可区分性和一致性,我们引入了一种空间对比学习策略,将不同视角和模态下对应于同一人体实例的 3D 特征对齐,同时分离来自不同实例的特征。这种设计允许对应关系推理、语义聚合和实例区分在 3D 空间中本地执行,这强制了跨视角一致性并提高了严重遮挡下的鲁棒性。基于学习到的实例感知 3D 表示,我们通过从实例级 3D 人体令牌回归 SMPL 参数,以前馈方式恢复结构化人体模型。大量实验证明,采用统一的人体感知 3D 特征空间作为核心表示,可以在具有挑战性的真实世界场景中实现鲁棒、准确且高效的多视角人体重建。代码和数据将公开提供。
多视角人体重建在简化设置下已被广泛研究,但将这些方法扩展到无约束环境中鲁棒且高效的多人大重建需要更通用和可扩展的建模范式。现有的自下而上的方法通常依赖于准确的相机标定和显式的跨视角匹配,因此在存在严重遮挡和歧义的多人大场景中表现不佳。我们将这些局限性归因于缺乏一种显式的且视角无关的 3D 表示来共同推理人体结构和多视角一致性。基于这一观察,我们提出了一种新的自上而下的范式,维护一个统一的、以实例为中心的人体感知 3D 空间,通过跨模态对比学习实现同时的相机标定、跨视角关联和人体重建。具体来说,来自多个视角的观测被直接提升并融合到这个共享的 3D 空间中,其中几何结构、视觉外观和以人体为中心的语义线索在实例层面被共同编码。为了增强 3D 表示的可区分性和一致性,我们引入了一种空间对比学习策略,将不同视角和模态下对应于同一人体实例的 3D 特征对齐,同时分离来自不同实例的特征。这种设计允许对应关系推理、语义聚合和实例区分在 3D 空间中本地执行,这强制了跨视角一致性并提高了严重遮挡下的鲁棒性。基于学习到的实例感知 3D 表示,我们通过从实例级 3D 人体令牌回归 SMPL 参数,以前馈方式恢复结构化人体模型。大量实验证明,采用统一的人体感知 3D 特征空间作为核心表示,可以在具有挑战性的真实世界场景中实现鲁棒、准确且高效的多视角人体重建。代码和数据将公开提供。