基于记忆的多类别单视图3D重建

《Science China-Information Sciences》：Memory-based diverse-category single-view 3D reconstruction

单视图物体重建网络M-SRN通过记忆表示的三层模块解决标注复杂和模型单一性问题，实验证明其性能优于弱监督方法并接近全监督方法。

　　

摘要

单视图对象重建旨在从单张图像中恢复几何结构，这在3D建模和虚拟现实领域有着广泛的应用。现有的方法受到复杂注释或单一类别模型的限制，这影响了它们的泛化能力和实际应用效果。为了解决这个问题，我们提出了一种基于记忆的单视图重建网络，称为M-SRN。给定一组图像，M-SRN能够生成跨多种类别的高保真重建结果。我们的主要贡献在于三种利用记忆表示的方法：首先，通过基于记忆表示的对比学习开发了一个前景感知器模块，使M-SRN能够重建原始图像集合；其次，提出了一种基于记忆的跨类别特征补偿模块，以增强数据集级别的实例一致性；最后，提出了一种基于类内记忆原型的动态邻居一致性增强模块，以减轻单视图监督的固有不确定性。M-SRN通过合成数据和真实世界数据集进行了验证。实验表明，M-SRN的性能优于现有的弱监督方法，并且其结果可与2D监督和3D监督方法相媲美。