PIT-NBV：一种基于泊松信息的Transformer模型，用于在窄视场条件下进行3D物体重建中的6自由度（6-DOF）次优视图规划

《IEEE Transactions on Cognitive and Developmental Systems》：PIT-NBV: Poisson-Informed Transformer for 6-DOF Next Best View Planning in 3D Object Reconstruction with Narrow Field of View

三维重建中基于Poisson和深度学习的混合方法PIT-NBV，通过6-DoF视角选择机制提升细节捕捉并解决自遮挡问题，结合无碰撞约束模块和改进的Transformer-View架构，在ShapeNet等数据集上实现比传统方法快50倍且质量相当的重建效果，并验证了结构光扫描仪和机器人平台上的实际可行性。

　　

摘要：

物体重建利用多视图信息来捕捉物体的三维几何结构。用于物体重建的高精度扫描仪面临一些挑战，包括视野狭窄、感知深度浅以及物体自身遮挡等问题。因此，本研究提出了一种新颖的“次优视图”（Next-Best-View, NBV）选择算法，称为基于泊松分布的变换器用于NBV选择（Poisson-informed Transformer for NBV, PIT-NBV）。该算法结合了基于泊松重建的方法和基于深度学习的方法的优势。我们的框架引入了一种六自由度（6-Degree of Freedom, DOF）的NBV选择机制，旨在增强表面细节的捕捉能力并减少物体自身遮挡现象，这与以往仅在二维球形视图空间内运行的深度学习方法不同。所提出的方法还包括一个视图约束模块（View Constraint Block, VCB），以确保在感知深度有限的传感器情况下能够选择无碰撞的六自由度视图并获得高质量的数据。此外，我们还引入了点云变换器-视图（Point Cloud Transformer-View, PCTV），这是一种专为高效NBV搜索而优化的PCT。在ShapeNet、Stanford和MIT CSAIL数据集上进行的实验评估表明，我们的方法表现更为出色。该方法重建的质量与基于泊松重建的方法相当，但推理速度提高了50倍以上。除了合成基准测试外，使用高精度结构光扫描仪和机器人操作器的实际应用实验也证明了PIT-NBV在现实场景中的可行性。这些结果表明，PIT-NBV在机器人视觉、自动化检测和数字存档等领域具有应用潜力，这些领域对快速准确的3D重建需求较高。