HandBooster+：从数据合成到渐进式多假设聚合，提升3D手部网格重建的质量

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：HandBooster+: Boosting 3D Hand-Mesh Reconstruction From Data Synthesis to Progressive Multi-Hypothesis Aggregation

针对单图像3D手重建中数据不足和遮挡区域不确定性问题，本文提出扩散模型驱动的双阶段方法：HandBooster通过手-物体交互条件生成多样数据，HandBooster+采用渐进多假设聚合实现概率建模。实验在HO3D和DexYCB上达到SOTA性能。

　　

摘要：

从单张图像中稳健地重建3D手部网格非常具有挑战性，原因有二：（i）现有真实世界数据集的多样性不足；（ii）被遮挡的手部区域存在不确定性。虽然数据合成有助于解决第一个问题，但合成数据与真实数据的差距仍然限制了其应用。对于第二个问题，大多数以往的方法会产生确定性结果，而其他概率方法则依赖真实数据来选择最佳假设。在这项工作中，我们通过综合考虑两个视角来探索扩散模型以缓解这些问题：（i）用于生成真实数据的条件合成和采样方法；（ii）基于概率的建模以及渐进式多假设聚合。首先，我们提出了HandBooster，这是一种新的方法，通过在手部与物体交互的基础上训练条件生成空间，并从该空间中采样数据来合成具有可靠3D标注、多样手部外观、姿势、视角和背景的有效数据，从而提高数据多样性。其次，我们设计了HandBooster+，这是一种基于概率扩散的模型，通过逐步聚合多个假设来进一步提升3D手部网格重建的性能。广泛的实验结果表明，我们的方法显著优于多个基线算法，并在HO3D和DexYCB基准测试中达到了最佳水平。

引言

从单张图像重建3D手部网格可以促进许多应用的发展，例如增强现实（AR/VR）和人机交互。最近提出的数据驱动方法在手部与物体交互的场景中展现了良好的性能。然而，这些方法的性能受到训练数据的严重限制，因为现有数据集通常在手部外观、姿势、视角等方面缺乏多样性。