一种通过SfM引导和深度估计进行树木3D重建的方法

《Computers and Electronics in Agriculture》：A method for 3D reconstruction of trees via SfM guidance and depth estimation

针对传统SfM方法在3D树重建中的特征匹配不准确和相机姿态估计漂移问题，本文提出一种结合SfM指导与深度估计的新方法。首先利用YOLO-SegNet进行语义分割以消除背景干扰，其次设计DAT-LoFTR模型提升特征匹配精度，集成至SfM框架中，最后通过CCFM-MVSFormer++生成深度图并融合得到3D树模型。实验表明该方法在匹配精度和相对姿态AUC上均优于现有方法。

　　

杨婷婷|周素茵|叶俊华|徐爱军|吴新梅

浙江农林大学数学与计算机科学学院，中国浙江省杭州市311800

摘要

3D树模型对于准确捕捉树木的形态结构至关重要。然而，基于图像的3D树重建常常面临级联故障问题：图像质量的下降会导致特征匹配不可靠，进而影响结构从运动（SfM）中的相机姿态估计，最终在多视图立体（MVS）重建过程中产生偏移或扭曲的树点云。为了解决这些问题，提出了一种利用SfM指导和深度估计进行树木3D重建的方法。首先，采用YOLO-SegNet模型对原始图像进行分割，以减轻动态物体和弱纹理背景的影响。其次，提出了一种无检测器的匹配模型DAT-LoFTR，以提高具有重复纹理和自相似结构的树木的匹配鲁棒性。该模型被集成到SfM框架（DAT-LoFTR-SfM）中，以实现可靠的相机姿态估计。随后，将图像序列和估计的相机姿态输入到CCFM-MVSFormer++模型中，以预测多视图深度图，并将其融合生成最终的3D树模型。实验结果表明，与ORB + NN、SIFT + NN、SP + SG和LoFTR模型相比，所提出的DAT-LoFTR显著提高了树木图像对的平均特征匹配精度。与LoFTR-SfM相比，DAT-LoFTR-SfM方法在树木数据集上取得了更好的性能，3°、5°、10°和20°阈值下的平均相对姿态AUC（曲线下面积）值分别提高了3.34%、4.31%、4.75%和5.31%。最后，与主流的3D重建方法（如UniMVSNet、TransMVSNet和MVSFormer++）相比，所提出的方法在深度图估计和3D树点云重建方面均表现出更高的精度。

引言

随着智能林业的快速发展，真实的3D树模型已成为林业数字化的核心空间数据载体（Akhtar等人，2024年）。这类模型能够准确表示树木的几何形态、树冠结构和其他生物特征（Miller等人，2015年；Zhu等人，2025年），同时支持通过时空序列建模进行动态生长监测（Zhou等人，2024年）。因此，3D树模型在城市景观数字化、虚拟植物模拟和机器人修剪等应用中发挥着不可或缺的作用（Ma等人，2021年）。

现有的3D树重建方法大致可以分为主动视觉和被动视觉两种方式。主动视觉方法主要依赖LiDAR扫描仪或深度相机直接获取原始3D点云数据（Berk等人，2020年；Ma等人，2021年）。尽管LiDAR可以获取高精度的点云，但它仍然存在遮挡问题，导致点云覆盖不完整。因此，Bornand等人（2024年）提出了一种基于Transformer的点云补全模型PointTr来填充缺失数据，而Li等人（2022年）和Liu等人（2021年）基于不完整的点云获得了相对完整的树骨架信息，并通过圆柱拟合实现了几何结构重建。Wang等人（2023年）根据骨架计算了alpha形状，这些alpha形状进一步用作L系统生长模型的约束，以自动生成3D树结构。然而，由于L系统参数是基于树种配置的，种内形态变异可能导致树枝和树干的拟合不足。

一般来说，基于LiDAR的3D树重建包括目标分割、树干骨架提取、缺失数据补偿和最终模型渲染等步骤。尽管这些方法能够重建树木的整体形态，但它们往往难以恢复树皮纹理和树叶等细节。此外，LiDAR扫描仪价格昂贵且需要专业操作（Indirabai等人，2019年），这大大限制了它们的可扩展性和实际应用。

除了LiDAR之外，深度相机也被用于3D树重建。Wang和Zhang（2013年）使用双Kinect设备重建了休眠的樱桃树，尽管一些树枝仍然不完整。Kok等人（2023年）提出了一种三阶段流程，结合了UNet++分割、Point2Skeleton（Lin等人，2020年）和模糊树枝恢复技术来重建不可见的树枝。Yang等人（2022年）利用旋转平台和深度相机获取多视图幼苗点云，并进行自我配准以生成模型。虽然基于深度相机的3D重建方法利用计算机图形和视觉技术从多角度RGB-D数据构建3D模型，但这些系统对光照变化敏感，并且受视野限制，这限制了它们对大型户外树木的应用（Yang等人，2019年）。

虽然主动视觉方法可以实现高几何精度，但其成本和操作复杂性仍然较高。相比之下，被动视觉方法仅使用多视图RGB图像来重建3D树结构，提供了一种低成本且灵活的替代方案。其中，结构从运动和多视图立体（SfM-MVS）技术被广泛用于3D树重建（Tian等人，2024年）。Ni等人（2016年）应用SfM框架从多视图树图像中恢复相机姿态，并通过球面建模生成密集的点云。Berveglieri（2017年）随后使用鱼眼镜头和SfM框架进行树干重建，尽管这种方法在图像采集过程中需要辅助测量工具。为了消除对参考工具的需求，Zhu等人（2025年）将SfM与Neural Radiance Fields（Mildenhall等人，2021年）结合用于核桃树建模以提取树枝参数。然而，现有的基于被动视觉的方法往往忽略了树木的固有结构复杂性和生长环境带来的挑战，导致特征不匹配和重建精度下降。为了解决这些问题，Yang等人（2024a）将基于U2-Net的图像分割与改进的SfM-MVS结合用于植物3D重建，而Feng等人（2024年）采用交互式图像抠图来约束SfM初始化和基于体素的点云生成。然而，所得到的树模型仍然缺乏足够的结构真实性。

总之，基于主动视觉的3D树建模受到高成本和环境敏感性的限制，而传统的被动视觉技术则重建精度有限。此外，尽管现有的3D树重建方法考虑了树木复杂的生长环境，但它们未能充分解决由固有结构复杂性（如多样的树冠拓扑和重复纹理）引起的特征不匹配问题。为了克服这些限制，本研究使用消费级移动设备（如智能手机或iPad）作为图像采集终端，并提出了一种利用SfM指导和深度估计的新3D树重建方法。本研究的主要贡献如下：

• (1)
  我们采用YOLO-SegNet方法对原始树图像进行分割，从而消除复杂背景，获得具有语义约束的树图像序列。
• (2)
  提出了一种无检测器的特征匹配模型（称为DAT-LoFTR）以提高特征匹配精度，并构建了DAT-LoFTR-SfM框架来估计多视图相机姿态。
• (3)
  将语义受限的图像序列和估计的多视图相机姿态输入我们提出的CCFM-MVSFormer++模型中，以生成最终的3D树模型。
• (4)
  我们的DAT-LoFTR-SfM的相对姿态AUC比LoFTR-SfM高出3.34%-5.31%，从而从消费级移动设备生成无偏移的3D树模型。

数据集

我们的树数据集涵盖了20个树场景，树木高度范围从0到5米。在图像采集过程中，操作者在距离每棵树1-10米的位置使用消费级移动设备捕捉原始图像序列（Zhu等人，2025年）。我们的树数据集的关键统计信息如表1所示。这些原始图像使用我们之前的分割方法（Yang等人，2024b）进行了预处理，以生成语义受限的图像序列。然后，为了定量分析……

特征匹配评估

为了评估DAT-LoFTR模型的有效性，我们对语义受限的树图像序列进行了特征匹配实验，使用了以下方法：ORB + NN（最近邻）（Rublee等人，2011年）、SIFT + NN（Lowe，2004年）、SP（Detone等人，2018年）+ SG（Sarlin等人，2020年）、LoFTR（Sun等人，2021年）以及提出的DAT-LoFTR。特征匹配策略包括对每个树场景中的所有图像依次进行成对匹配。

图像背景的影响

在没有语义约束的树图像序列中获得的相机姿态存在显著偏差，原因如下：

(1)

背景中的动态物体干扰：在某些图像的背景中，匹配对应关系出现在包含动态物体的区域。这些对应关系无疑会对相机姿态估计产生负面影响。

(2)

复杂的图像背景和重复的纹理：某些树场景的背景由不规则的植被组成

结论与局限性

在本研究中，使用YOLO-SegNet模块去除了复杂背景（如天空和动态物体），大大减少了错误的特征对应关系，并提高了SfM的稳定性。然后，通过提出一种改进的无检测器特征匹配模型DAT-LoFTR，该模型将可变形注意力模块集成到LoFTR架构中，可以动态调整注意力模型的形状和大小，以更好地适应语义受限的树图像

CRediT作者贡献声明

杨婷婷：撰写——原始草稿、软件、方法论、研究。周素茵：研究、数据管理。叶俊华：方法论、研究。徐爱军：撰写——审稿与编辑、方法论、资金获取。吴新梅：撰写——审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金[编号：32371867]和中国国家青年科学基金[编号：42501516]的支持。