从遮挡到三维：非模态补全辅助的单视图小麦重建

《Plant Methods》：From occlusion to 3D: amodal completion-assisted single-view wheat reconstruction

　　

摘要

遮挡是限制准确三维（3D）小麦表型测定的主要因素。在自然生长条件下，重叠的穗、叶和茎往往导致单视图图像中仅部分目标区域可见，从而阻碍了完整且可靠的三维重建。为解决这一问题，本研究提出了一种用于遮挡小麦单视图三维重建的非模态补全辅助顺序框架。该框架首先利用可见提示恢复遮挡目标的完整外观和结构线索，然后将补全后的图像输入单视图三维重建模型以生成完整的三维结构。我们从在受控室内场景下采集的 MMW 构建了 MMWO（多视图多实例小麦遮挡）数据集，通过器官级裁剪、随机几何变换和区域约束粘贴合成多样化的遮挡样本，并包含可见掩码、遮挡掩码和完整目标图像的注释。系统评估了六种代表性重建方法，包括 Direct3D、Real3D、SF3D、Spar3D、TRELLIS.2 和 Hunyuan3D。Hunyuan3D 取得了最佳的几何性能，平均 CD-\(L_1\) 和 CD-\(L_2\) 值最低，分别为 0.1286 和 0.0536，平均 F 分数最高，为 0.5668。SF3D 在 PSNR、SSIM 和 LPIPS 方面取得了最佳的渲染质量。此外，Pix2Gestalt 补全将穗长、宽度和面积的估计误差分别从 9.31%、10.89% 和 32.23% 降低至 4.64%、9.70% 和 9.45%。这些结果表明，非模态补全能有效缓解由遮挡引起的信息丢失，并为单视图小麦三维重建提供更完整的结构先验。本研究为遮挡条件下的三维小麦表型测定提供了一种可行的解决方案，并为将三维生成模型应用于农业表型测定提供了系统的参考。