基于多视角提取框架与SDF监督的香蕉串精准三维重建方法BBNeuS及其在果园智能管理中的应用

针对复杂果园环境中香蕉串三维重建存在的遮挡干扰和光照不稳定等问题，研究人员提出BBNeuS方法，结合多视角提取框架MVExt和SDF（Signed Distance Field）监督机制，实现香蕉串的高精度分割与重建。实验表明，该方法在PSNR（21.17）、SSIM（0.89）等指标上较基线提升超20%，为果园机器人和表型分析提供了关键技术支撑。

　　

在香蕉种植业中，精准获取香蕉串的三维结构信息对自动化采摘和表型分析至关重要。然而，传统方法如基于运动恢复结构（SfM）和深度相机的重建技术，在复杂的果园环境中面临遮挡、光照变化和纹理缺失等挑战。香蕉串独特的螺旋结构和与叶片相似的颜色更增加了重建难度。现有神经辐射场（NeRF）方法虽能合成新视角，但缺乏表面几何约束，导致模型噪声多、细节丢失。如何从充满干扰的果园环境中提取目标并实现高保真重建，成为亟待解决的问题。

为此，五邑大学电子与信息工程学院的Lanhui Fu、Weilai Qiao等团队在《Smart Agricultural Technology》发表研究，提出BBNeuS框架。该方法通过多视角提取框架MVExt分离香蕉串与背景，结合符号距离场（SDF）监督和视角偏差校正，显著提升了重建质量。实验数据来自广东江门凤乐里香蕉园，使用佳能EOS 760D相机采集48张多角度图像，通过SIFT特征匹配和三角测量生成稀疏点云，并利用MLP网络建模SDF场和颜色场。

主要技术方法

1. 1.

   MVExt多视角提取：通过SIFT特征匹配和相机参数分解（如公式(4)-(6)），融合多视角点云并投影生成香蕉串二值掩膜。

2. 2.

   SDF监督机制：利用SFM稀疏点云监督SDF网络训练，通过光线行进法（公式(3)）优化表面几何。

3. 3.

   偏差一致性校正：采用归一化互相关（NCC，公式(12)）和局部亮度加权（公式(15)）消除光照差异对渲染的影响。

研究结果

1. 分割实验

在复杂光照和多香蕉串场景中，MVExt的IoU（0.81 vs 0.69）和Recall（0.86 vs 0.74）显著优于交互式分割方法MiVOS，误检率（FPR）降低4%。

2. 三维重建性能

BBNeuS的PSNR达21.17，较NeuS提升21.4%；SSIM为0.89，提升20.3%。MAE保持平衡（118.02），LPIPS降至0.27（改进20.6%）。如图17所示，其法向图噪声更少，边界更清晰。

3. 复杂环境适应性

在强光照射下（图19），BBNeuS能有效抑制高光区域的颜色失真，而COLMAP和NeuS分别出现表面粗糙和色斑问题。

结论与意义

该研究首次将SDF监督与多视角几何结合，解决了果园场景中香蕉串的精准重建难题。MVExt实现了自动化目标提取，避免了人工标注偏差；偏差一致性策略缓解了光照不稳定性对渲染的影响。重建模型为香蕉串体积估算、机器人导航等应用提供了可靠数据支撑。未来可通过融合深度先验进一步优化训练效率。这一成果标志着农业三维视觉从实验室走向田间实践的重要突破。