通过超高分辨率无人机图像和深度学习技术实现基于树级的自动森林资源清查

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Automatic tree-level based forest inventories retrieval via ultra-high resolution UAV images and deep learning

　　文凡 | 托马斯·克诺克 | 乔纳斯·特罗莱斯 | 田姣姣
慕尼黑工业大学生命科学学院森林管理研究所，魏亨斯蒂芬，德国弗赖辛85354

**摘要**
森林清查在管理和保护森林资源以及量化碳储量方面起着至关重要的作用。近年来，无人驾驶飞行器（UAV）技术的进步增强了在大范围地理区域内高效监测森林动态的能力。由于低成本、易用性和高分辨率三大优势，RGB相机通常被优先用于快速且可扩展的森林清查任务。然而，与多光谱或高光谱传感器相比，RGB相机有限的光谱信号给树木冠层的检测和分类带来了挑战。深度学习方法从图像中捕捉结构和上下文线索的能力有助于缓解RGB数据的一些局限性。在这项研究中，我们提出了一个基于个体树木冠层（ITC）的框架，利用UAV数据和先进的深度学习模型对密集和自然森林中的单棵树进行清查。首先，我们开发了基于ITC的多任务卷积神经网络（ITCMNet），该网络结合了多尺度上下文，能够同时准确识别单个树木冠层、区分树种并评估树木活力。其次，提取每个个体冠层的结构参数，使用特定树种的异速生长模型来估算森林碳储量。与传统基于像素的方法不同，我们提出的ITCMNet能够在ITC层面进行精确的森林调查，从而提高性能和可解释性。我们收集了包含2456张超高分辨率（1.6厘米）UAV RGB图像和27,160棵标注树木的综合性数据集，这些数据分布在德国三个密集森林和一个城市公园中的105个样地内，以评估我们的框架。ITCMNet展示了强大的树木冠层划分性能，F1分数达到了0.81。此外，我们的方法在物种分类（即被子植物为0.54，裸子植物为0.76）和活力识别方面也取得了良好的效果（F1分数为0.66）。利用精确的树木参数、物种信息和特定树种的异速生长模型，我们的碳储量估算结果优于现有的基于卫星的碳产品。碳储量估算的R2值为0.83，班贝格森林的碳储量范围大约为50至110百万吨碳/公顷。这些结果表明，我们提出的框架提供了详细且成本效益高的森林清查结果，凸显了其在支持各种下游林业应用方面的潜力。数据集和源代码均可获取：
https://www.dlr.de/en/eoc/about-us/remote-sensing-technology-institute/photogrammetry-and-image-analysis/public-datasets/bamforests；
https://github.com/WendyFan52/ITCMNet

**1. 引言**
德国约三分之一的森林正面临前所未有的压力（Riedel等人，2024年）。2018年至2021年间，卫星数据显示，德国约有50.1万公顷的森林遭受严重林冠损失，占全国森林总面积的约5%（Knutzen等人，2025年）。及时的森林清查数据对于迅速实施干预措施至关重要。大规模森林动态的监测需要大量的野外工作，这既昂贵又费力（Liang等人，2022年）。在德国第四次全国森林清查中，大约100个来自联邦州的专门训练过的调查团队在2021年和2022年测量了约52.1万棵树，数据质量评估工作持续到了2024年（Riedel等人，2024年）。然而，清查提供的信息对于做出明智的管理决策是不可或缺的。监测森林组成和配置的变化对于帮助森林适应气候变化、评估生态系统服务的提供以及评估过去森林管理的可持续性非常重要（Hahn和Knoke，2010年）。此外，量化森林碳储量服务对于估算森林的环境和经济价值以及支持其保护至关重要（Knoke等人，2023年）。自2017年以来，德国的森林已经损失了4150万吨碳，凸显了采取适应和恢复措施的迫切需求（Riedel等人，2024年）。与传统的野外工作相比，结合野外调查和遥感技术可以进行更大规模的森林清查任务，更具成本效益和效率（Lechner等人，2020年）。然而，卫星传感器低的空间分辨率（10米至1公里）可能导致遥感像素与单个树木之间的不匹配。一个像素可能包含多个树木冠层的信息（Ferrara等人，2023年）。尽管激光雷达可以提供单棵树级别的信息，但其高昂的数据采集和处理成本使其在大规模应用中不切实际（Yao等人，2021年）。

**UAV技术的进步**
UAV技术的进步使得以更低的成本获取高分辨率图像成为可能，并且处理起来更加简便，从而使单个树木冠层的检测可以与实地森林清查记录相匹配（Puliti等人，2017年；Wallace等人，2012年）。最近，配备了先进传感器（如多光谱、高光谱或激光雷达）的UAV被广泛用于通过摄影测量和机器学习技术提取关键的森林参数，包括树高、林冠覆盖率和物种识别（Hu等人，2020年；Weinstein等人，2021a）。与其他传感器相比，RGB相机以显著更低的运营成本提供快速的数据采集，并且需要较少的后处理程序，这对于大范围地理区域的森林清查特别有利。然而，由于RGB相机光谱带有限且缺乏结构信息，它们在准确区分微妙的植被特征、检测压力指标、建模复杂的森林结构以及量化森林碳储量方面面临着挑战（Diez等人，2021年；Qin等人，2022年；Schiefer等人，2020年）。这些局限性凸显了开发先进方法和创新工作流程的必要性，以仅通过RGB图像提取精确可靠的森林清查信息。

**高分辨率图像中的丰富空间信息**
高分辨率图像中的丰富空间信息为缓解RGB图像有限的光谱信息提供了解决方案。单个树木的空间范围使得空间信息可以更有效地聚合，从而分析树木状况。使用高分辨率UAV图像进行ITC划分是一种广泛采用的方法，有助于识别独特的树木特征和其他属性，如冠层大小、面积和空间位置（Jing等人，2012年；Wagner等人，2018年）。一种经典的ITC方法是流域算法（Tochon等人，2015年），该方法在图像中寻找局部最大值作为种子点，用于基于从UAV图像或激光雷达获得的高分辨率林冠高度模型（CHM）进行区域生长和分割（Kempf等人，2021年；Liu等人，2024年）。尽管这种方法因其简单性而被广泛应用于许多领域，但由于在树木密度不同的区域CHM可能不准确，其性能仍然有限（Wen等人，2024年）。对于分类任务，通常使用随机森林和支持向量机等机器学习算法进行基于像素的树种分类（Feng等人，2015年；Hartling等人，2021年）。然而，当仅使用UAV RGB数据时，这些基于像素的算法由于光谱信号较少且忽略了高分辨率图像中的丰富纹理，因此难以捕捉细微差异。

**深度学习的优势**
幸运的是，先进的深度学习方法在检测树木对象方面表现出优于其他方法的优越性，因为它们能够从遥感观测中捕获强大的时空上下文信息（Wen等人，2024年；Zheng等人，2021年）。卷积神经网络（CNN）是一类专门用于处理和分析图像数据的深度学习模型，通过直接从原始像素学习分层空间特征（Li等人，2021a；Liu等人，2022a）。在使用UAV RGB数据进行森林清查时，CNN在捕获局部特征和处理高分辨率图像以进行树木检测和分类方面也表现出色（Brandt等人，2024年；Schiefer等人，2020年）。早期研究主要集中在像素级的单任务上，如使用UAV或高分辨率卫星图像进行树木分割或分类（Liang等人，2025年；Xu等人，2021年）。最近，利用UAV RGB图像开发了实例级的ITC分割和分类方法，允许在单个树木层面提取更详细的结构信息。尽管RGB图像为树种提供了有价值的信息，但其有效性往往受到类别不平衡、边界模糊和物种间光谱相似性等因素的限制，这些都限制了分类精度（Ecke等人，2024年）。如表1所示，许多现有的森林研究关注单一任务，而近年来越来越多地关注树种分类和ITC分割的联合任务，以探索超高分辨率RGB图像在绘制混合森林方面的潜力（Schiefer等人，2020年）。联合建模这些任务可以进一步提高性能。基于高分辨率图像的低成本森林清查框架也得到了进一步探索。已经展示了亚米级航空图像在国家尺度上进行树木计数、林冠分割和高度预测的潜力（Li等人，2023年）。此外，还研究了各种基于UAV的图像传感器在ITC检测和物种分类方面的性能。与多光谱和高光谱数据相比，RGB图像提供了最佳的成本效益，因其高空间分辨率便于进行更精确的树木检测和结构分析（Nevalainen等人，2025年）。在这项研究中，我们提出了一个实例级的多任务框架，同时执行单个树木检测、物种分类和活力评估。通过利用这些任务之间的共享特征，该框架提高了整体性能。

**表1. 单个树木分割和分类方法的比较**
| 方法 | 代表方法 | 强项 | 局限 |
|--------------| ---------------------------------------------------|----------------------------------------|-------------------------------------------|
| 基于CHM的树木分割 | 流域算法 | 简单、高效，在林业中广泛使用 | 对CHM质量敏感；在密集/重叠的林冠中效果不佳 |
| 机器学习进行树木分类 | 随机森林、SVM | 对有限的数据具有鲁棒性，可解释且快速 | 依赖于手动特征，RGB图像中的空间上下文较弱 |
| 基于深度学习的单一任务 | CNN、Transformer或Mamba的分割或分类模型 | 最先进的准确性，自动化的空间特征提取 | 专注于单一目标，需要大型标注数据集 |
| 多任务深度学习 | 联合CNN、Transformer或Mamba的框架 | 共享特征表示，高效且高度一致 | 对仅使用RGB的UAV研究不足，架构复杂 |

**针对上述挑战的解决方案**
为了解决上述问题，本文提出了一个用于处理单个树木级别属性清查的框架。目标是预测单个树木的位置、树种、活力、地上生物量（AGB）和碳储量。ConvNeXt结合了CNN的优势和受Transformer启发的结构（Liu等人，2022b）。具体来说，我们开发了基于ITC的多任务卷积神经网络（ITCMNet），使用ConvNeXt V2作为现代底层框架。此外，所提出的ITCMNet旨在同时处理分割和分类任务，从而通过利用不同ITC的纹理来改进分类任务，包括物种分类和活力识别。为了评估所提出的框架，我们在德国的四个森林中收集了总共2456张超高分辨率的UAV图像和27,160棵标注树木（即冠层边界、树种和活力）。为了展示该方法的性能，我们还需将其与Swin Transformer、U-Net和基于卫星的数据集进行分割、分类和碳估算任务的比较。

**2. 研究区域和数据**
**2.1. 研究区域**
研究区域位于德国巴伐利亚州的班贝格附近。班贝格的气候被归类为具有大陆性影响的海洋性西海岸气候，全年都有显著的降雨量。该地区的年平均温度为10.34°C。数据收集自班贝格周围20公里半径内的森林和城市公园（Troles等人，2024年）。班贝格地区包括四个不同的兴趣区域（AOIs）。BAMFORESTS数据集共标注了105个样地（如图1所示）。图1中，每个红点代表一个样地，每个样地覆盖一公顷土地。根据Troles等人的描述，Hain AOI是一个约61公顷的城市森林公园。Stadtwald AOI覆盖152公顷，位于班贝格市中心东南约5公里处。Tretzendorf-1 AOI覆盖65公顷，Tretzendorf-2 AOI覆盖47公顷。在标注的树木区域中，Hain AOI的样地面积为15公顷，Stadtwald AOI的样地面积为46公顷，Tretzendorf AOI的样地分为两部分，分别覆盖29公顷和15公顷（见图1）。研究区域展示了丰富的树种多样性（在德国平均条件下），主要有七种树种：苏格兰松、欧洲山毛榉、橡树、挪威云杉、欧洲落叶松、花旗松和银杉。从种子植物分类来看，欧洲山毛榉和橡树是被子植物，而其他五种是裸子植物。这种分类在估算平均生物量（AGB）和碳储存方面发挥着重要作用。
下载：下载高分辨率图像（446KB）
下载：下载全尺寸图像
图1. 德国班贝格研究区域及其周围环境的位置。

2.2. 基准数据
本研究主要使用了BAMFORESTS数据集以及相应的数字表面模型（DSM）（Troles等人，2024年）和公共数字地形模型（DTM）（Vermessungsverwaltung，2022年）。DSM是通过使用Structure from Motion（SfM）和Agisoft Metashape（Agisoft，2021年）实现的立体匹配算法从多视角无人机图像中生成的。DTM来自巴伐利亚州政府提供的公开航空LiDAR数据，空间分辨率为1米，覆盖了整个巴伐利亚地区（Vermessungsverwaltung，2022年）。为了评估DTM的准确性，选择了没有植被覆盖的随机地面点进行验证。评估表明，DTM的误差在±40厘米范围内。BAMFORESTS包含27,160棵标记树木，这些树木来自105个样本地块。使用了一个分辨率为2048×2048像素的COCO格式数据集（Lin等人，2014年）。这些图像在水平和垂直方向上有50%的重叠。图像是用两个分辨率和视野略有不同的RGB传感器在班贝格拍摄的（Troles等人，2024年）。20 MP、1英寸CMOS传感器提供了适合城市区域的更宽覆盖范围，视野角度为84°（AOV），而42.4 MP的Sony RX1 RII则提供了更高的空间分辨率，适用于捕捉森林中的细尺度树冠结构，视野角度为63°。无人机RGB图像和重叠图像是在2022年7月收集的。RGB正射影像、DSM和DTM的像素分辨率分别为1.6厘米或1.8厘米、3.2厘米或3.6厘米以及1米。基于收集的DSM和DTM图像，进一步进行了预处理以获得该区域的CHM图像。

研究区域内的四个区域在树种和密度方面存在显著差异。经验丰富的森林工作者负责标注数据。树木注释代表了森林工作者在无人机图像中划分的树冠边界，以及他们对树种的识别和活力分类。除了对上述七种树种进行分类外，还引入了“其他”类别以完成物种分类任务。这确保了模型能够在复杂的森林环境中泛化。在树活力估算任务中，类别数量设置为三个，分别代表健康、衰退和死亡的树木。健康树木与死亡树木很容易区分。表2提供了数据集中单个树木注释的详细信息，这些注释被认为是本研究中树木的真实情况。

表2. BAMFORESTS 2048×2048数据集
训练集：1,439张
验证集：382张
测试集：635张
注释数量：58,235个
15,180个
19,041个

训练集用于训练模型，验证集用于在训练期间评估模型性能，测试集用于评估模型的最终性能。训练集样本地块总共覆盖了60公顷的森林，其中31公顷来自Stadtwald关注区域（AOI），29公顷来自Tretzendorf关注区域（AOI）。验证集样本地块覆盖了16公顷，其中8公顷来自Stadtwald AOI，8公顷来自Tretzendorf AOI。测试集样本地块总共覆盖29公顷，包括7公顷来自Stadtwald AOI、7公顷来自Tretzendorf AOI和15公顷来自Hain AOI。Hain AOI的样本地块专门用于测试集中的样本外评估，不包含在训练集或验证集中。这些样本地块的设计对模型的分割、分类和性能评估起着关键作用。

在平均生物量和碳储量估算任务中，通过将单个树木参数与异速生长方程相结合来获得真实情况。所提出的方法提取的树木参数与真实情况进行了比较和评估。

3. 方法
本研究提出的方法包括两个主要步骤：
（1）根据森林清查的需求，对单个树木进行分割、分类和活力估算；
（2）使用来自单个树木分割的参数以及特定树种的异速生长模型进行碳储量估算。流程图展示了本文中的数据来源、方法和森林清查的子任务。

下载：下载高分辨率图像（332KB）
下载：下载全尺寸图像
图2. 所提出方法的工作流程。

3.1. 多任务学习
3.1.1. ITCMNet用于树木分割和分类
在本研究中，采用了多任务学习（MTL）策略来促进单个树木实例分割和分类任务（物种分类和活力分类）之间的信息共享和相互增强（如图2所示）。共享模块，如先进的Backbone和特征金字塔网络（FPN），在不同任务间提取共享特征。提取的分割特征和空间信息为区域提案网络（RPN）提供了更准确的候选区域， thereby提高了分类任务在这些区域内识别树类别的能力。

ITCMNet的设计灵感来自Mask R-CNN和ConvNeXt V2框架（He等人，2017年；Woo等人，2023年）。由于其成熟的架构和在对象检测和实例分割方面的稳健性，Mask R-CNN已成为一个经典的多任务学习框架。ConvNeXt代表了一系列卷积神经网络，其中ConvNeXt V2是ConvNeXt的增强版本。其设计受到了Vision Transformers的启发，同时保留了CNN的效率和空间特性。与原始ConvNeXt相比，其改进包括使用预训练的全卷积掩码自动编码器（FCMAE）进行自我监督学习，并结合了全局响应归一化（GRN）以增强特征表示和多样性。此外，ConvNeXt V2消除了层次规模问题，减少了特征坍塌现象，并提高了模型在大型遥感图像上的稳定性。

不同层次的ConvNeXt V2的输出特征图用于构建FPN。通过连接这些多层次特征图，FPN执行多尺度特征融合。高级特征提供了全局上下文信息，而低级特征保留了精细的结构细节。在树冠检测中，这种设计使模型能够有效处理不同大小的树冠。然后，区域提案网络（RPN）模块由AnchorGenerator和RPNHead组成。AnchorGenerator提供了不同规模的先验锚点以适应不同大小的树冠。RPNHead根据先验锚点生成潜在的候选边界框（BBox），并执行树冠的定位。一旦提出候选区域，兴趣区域（RoI）头部，包括BBox Head和Mask Head，会更详细地处理这些区域。BBox Head由一个两层全连接（FC）网络组成，负责对象分类和回归，负责BBox的回归并精确定位每个树冠的位置。基于FCNMaskHead模块，Mask Head使用四层卷积结构输出分割掩码，并为每个候选区域生成二值掩码，从而实现树冠区域的分割。最后，为了确保模型的最佳性能，总损失函数由分类损失、BBox回归损失和掩码损失的加权总和构成。分类损失使用CrossEntropyLoss计算，确定每个检测对象的类别。BBox回归损失使用L1Loss计算，调整预测的BBox以匹配真实情况。掩码损失使用CrossEntropyLoss计算，衡量预测的分割掩码与真实掩码之间的差异。通过整合这些损失函数，模型有效地优化了检测准确性和分割精度，确保了树木的高质量实例分割。

3.1.2. 实验参数设计
数据集被划分为训练集、测试集和验证集。一个周期指的是完整遍历整个训练集一次。由于数据集往往太大而无法一次性处理，因此将其分成较小的批次。在每个训练步骤中，模型处理一批数据，执行前向传播，计算损失，并通过反向传播更新模型参数。训练过程中，周期数为50，每个周期的步数由训练数据集的大小和批量大小决定，批量大小为2。在每个周期开始时，根据批量大小从打乱的数据集中顺序采样数据。在周期内，所有批次依次迭代，直到访问完整个数据集。在前1,000步中使用学习率热身阶段，初始学习率为基础学习率的0.001倍。在达到第40周期和第45周期的预定义里程碑后，学习率每达到一个里程碑就减少0.1倍。学习率衰减旨在改善收敛性并避免过拟合和振荡。每个周期后都在验证集上评估模型性能。训练过程中，检查点钩自动保存了对应于最佳验证性能的模型权重，并仅保留最新的检查点以节省存储空间，同时确保有最佳模型可用于评估。使用LoggerHook持续记录损失值和评估指标，以便可视化训练和验证损失曲线，监控收敛性和稳定性。在测试集上表现最好的模型被用于后续的所有测试和分析。使用评估指标进一步评估了模型的鲁棒性，包括BBox和掩码性能。为了更深入地了解类别级分割性能，需要报告并比较每个类别的平均精确度（AP）。

ITCMNet使用MMDetection 3.0（Chen等人，2019年）实现，并在Nvidia GeForce RTX 3080 GPU上进行训练。使用的班贝格数据集图像分辨率为2048×2048像素，水平和垂直方向上有50%的重叠。在官方的BAMFORESTS基准测试中，训练集、测试集和验证集的数据分割是通过地块而不是瓦片进行的，以确保不同子集之间的地块之间没有重叠。在ITCMNet训练期间，对RPN生成的提案应用了非最大值抑制（NMS），交并比（IoU）阈值为0.4。这可以在RCNN采样之前移除冗余的候选框。在推理期间，对最终RCNN预测的BBox应用NMS，IoU阈值为0.5，以最小化重叠预测。完成分割和分类的推理后，将2048×2048的子图像合并成完整森林图像（文本S1；补充图A1）。在这个步骤中出现了两个主要挑战。首先，将原始图像分割成子图像可能会导致个别树冠在边缘被分割。其次，由于重叠，同一树冠可能在相邻的子图像中被多次检测到。为了解决这些问题，应用了基于树冠距离和位置的加权规则来识别和移除重复检测。在每个瓦片内，首先移除完全包含在另一个瓦片内的多边形。如果重叠面积超过80%，则删除较小的多边形。对于30%到80%的重叠，使用归一化的综合分数来决定保留哪个多边形。该方法结合了面积和到瓦片中心的距离来进行判断。整个模型通过三个独立的训练过程和最终评估构建而成。一个过程仅使用带有树冠邊界的标记数据进行训练。另一个过程使用带有树冠边界和八个树种标签的标记数据进行训练。剩余的过程使用带有树冠边界和三个树活力类别标签的单独标记数据集进行训练。在不同子任务中应用了具有不同策略的固定框架来评估模型在ITC分割、物种分类和活力评估方面的性能。所提出的框架可以联合预测所有三个任务，或者分别获取特定任务的结果。类别数量的增加通常会导致分类任务的准确性降低。为了减轻由于类别数量过多造成的准确性损失，碳储量估算的结果基于分割和树种分类的多任务结果，因为下游的碳储量估算只需要这两个输出。

3.2. 碳储量估算
高质量的单独树木划分为准确估算形态参数提供了坚实的基础。通过将CHM与单个树木边界划分的结果相结合，测量了识别出的树木的三个参数：树高（TH）和树冠直径（Tcd）。CHM是根据无人机数据提供的DSM和DTM之间的差异计算得出的。然后，通过提取单个树冠内最大CHM值的第95百分位数来计算树高（De Petris等人，2020年）。由无人机数据生成的DSM可能包含噪声点，导致局部极端值。通过使用CHM最大值的第95百分位数可以避免这些异常值（De Petris等人，2020年）。树冠直径定义为包围树冠的最长边的长度。（1）Tcd=maxCDNS,CDWE，其中CDN是树冠的南北长度，CDWE是树冠的东西长度。与劳动密集型的实地AGB测量方法（例如，砍伐整棵树）相比，异速生长模型是估算大面积森林AGB的最流行方法（de Tanago等人，2018年）。在这项研究中，使用异速生长方程通过易于测量的树木属性（如高度和树冠直径）与幂律关系来估算难以直接测量的AGB。具体来说，我们采用了基于Tcd和TH的异速生长模型：（2）AGB=a*(TH*Tcd)^b，其中AGB的单位是kg/ha，TH和Tcd的单位是m。参数a是一个无量纲的尺度常数，而b是一个无量纲的幂指数。目前，还没有适合德国本地产品的、以树高、树冠直径和AGB为函数的适当异速生长方程。在这项研究中，有两个系数（a和b）是从一个包含2,395棵树的全局数据库中确定的，这些树被详细砍伐和测量以量化AGB，其中a和b分别是0.1113和1.79（Jucker等人，2017年）。对于被分类为“其他”的树木，应用了与被子植物最接近的异速生长方程。‘其他’类别中的大多数物种是被子植物，包括榆树、椴树、欧洲山毛榉和假白蜡树。由于样本量有限，将它们归为单独的类别不太可能带来显著的实际效益。此外，先前的研究表明，森林中AGB的碳比例大约为45%到50%（Zhou等人，2023年）。国际上，IPCC 2006建议使用0.47的转换因子将AGB转换为碳储量（Eggleston等人，2006年），这是一个合理的值。因此，在我们的研究区域，我们假设碳储量（t/ha）占其AGB的47%（Eggleston等人，2006年；Santoro等人，2021年）。

3.3 评估
3.3.1 ITC模型性能评估
使用提到的BAMFORESTS基准数据来评估ITC模型对单个树木边界划分的性能。模型评估在tile级别进行，并移除了重复样本。通过比较图像注释和算法的预测结果来评估模型的性能，使用的指标包括精确度、召回率、F1分数和IoU，如下方方程所示。精确度是通过计算正确检测到的树冠数量占检测到的树冠总数量的比例来定义的，召回率是通过计算正确检测到的树冠数量占图像中实际树冠总数量的比例来定义的。精确度和召回率分别衡量结果中的错误分类和遗漏错误。F1分数是精确度和召回率的调和平均值，用于评估检测结果的精确性和完整性。IoU表示提取的树冠边界与真实边界之间的重叠程度。对于ITC任务，如果注释的树冠和预测的树冠是唯一对应的，则计算它们的IoU。在表3中，Bpredict表示单个树木的预测面积，而Bcrown表示与该实例对应的注释树冠的范围。如果IoU超过0.5，则定义为真正例（TP）。假正例（FP）定义为IoU小于0.5的预测树冠，或者没有最大IoU的预测树冠。如果在注释的树冠内找不到任何预测树冠，则称为假负例（FN）。每个预测的多边形都与具有最高IoU的真实树冠一一匹配。一旦匹配成功，该多边形就被标记为已使用，并从后续匹配中排除。

表3. 实验评估指标
指标 公式
ITC任务 精确度 = TP / (TP + FP)
召回率 = TP + FN
F1分数 = 2 * (精确度 * 召回率) / (精确度 + 召回率)
IoU = area(Bcrown ∩ Bpredict) / area(Bcrown ∪ Bpredict)

碳储量 R2 = 1 - Σ_i=1^n yi - yi ≈ 2 / Σ_i=1^n yi - yi?^2
RMSE = 1 / (n - k - 1) * Σ_i=1^n yi - yi ≈ 2 * r
RMSEr = RMSEyi? * 100%
偏差 = 1 / (n - 1) * Σ_i=1^n yi - yi ≈ 3

3.3.2 碳储量评估
使用测试集的图级数据来评估碳储量估计的准确性，包括四个准确性指标：决定系数（R2）、均方根误差（RMSE）、相对RMSE（rRMSE）和偏差，以评估模型的性能。R2用于量化模型独立变量解释的因变量变化的比例。RMSE衡量模型的预测准确性，数值越低表示性能越好。rRMSE提供相对误差的度量。偏差表示预测值与实际值之间的平均差异。上述指标的定义如表3所示。其中n是样地数量，k是独立变量的数量，yi是第i个样地的真实值，yi?是第i个样地的预测值，y?是样地真实值的平均值。

4. 结果
4.1 单个树木的推断结果
4.1.1 ITC边界划分的结果
所提出的深度学习框架ITCMNet有效地划分了树木边界，并在不同类型的森林中准确识别了树木位置（图3）。在Stadtwald和Tretzendorf地区的密集森林中，以及在有道路穿行的Hain地区较为破碎的景观中，该算法一致地产生了与注释树冠紧密对齐的准确分割结果。该模型在不同大小的树冠上展示了强大的分割能力。此外，在Tretzendorf地区，树木展示了不同的活力水平，算法成功地对具有不同活力状态的树木进行了分割，例如健康树木和死亡树木。所提出的方法与两种最先进的ITC分割方法进行了比较，分别是YOLOEn（Straker等人，2023年）和一个半监督学习框架（SSL-MRCNN）（Wang等人，2026年），以及最近的Transformer框架Swin Transformer（Liu等人，2022b）。据报道，YOLOEn在多种森林类型中表现良好。SSL-MRCNN已在三个林场进行了广泛测试，获得了高准确性（F1 > 0.82）。具体来说，我们使用了其公开可用的源代码实现了SSL-MRCNN，而YOLOEn则是根据其原始出版物中描述的方法复现的。为了确保公平比较，所有Swin Transformer、SSL-MRCNN和YOLOEn都配置了它们的默认最优超参数，并且所有模型都使用了相同数量的训练周期。如图3所示，YOLOEn方法错误地提取了许多阴影区域并过度分割，生成了许多小的假树冠。与此同时，SSL方法对死亡和健康的树木都产生了显著的遗漏错误。与Swin Transformer相比，所提出的方法在Hain地区的过度分割较少。定性结果表明，所提出的方法生成的分割边界与真实注释非常匹配。

下载：下载高分辨率图像（550KB）
下载：下载全尺寸图像
图3. ITCMNet与Swin Transformer（Liu等人，2022a）、SSL-maskCNN（Wang等人，2026）和YOLOEn（Straker等人，2023）的结果比较。

至于表4所示的定量评估，ITCMNet的精确度（0.8）高于Swin Transformer（0.5）、SSL-MRCNN（0.67）和YOLOEn（0.38），表明ITCMNet能够在最小化假正例的同时有效捕获树冠结构，从而防止背景被错误地分类为树冠，并确保分割结果的可靠性。此外，ITCMNet方法在所有三个测试区域中的召回率和F1分数明显高于其他方法。我们还可以比较了四种方法的面积分布与真实值，如图4所示。单个树冠的频率分布反映了不同大小树木的出现情况。如果模型的分布与真实值紧密匹配，表明模型不仅能够准确预测单个树冠，还能稳健地处理不同大小的树木。我们观察到ITCMNet方法生成的分布更接近树冠的真实值分布，进一步支持了其在准确分割不同规模树木方面的有效性（文本S2；表S1；补充图A2）。

表4. ITCMNet与三种不同方法的准确性比较
| 地点 | ITCMNet | Swin Transformer | SSL-MRCNN | YOLOEn |
|-----------|---------|-----------|-----------|---------|
| Hain | 0.67 | 0.37 | 0.51 | 0.22 |
| Stadtwald | 0.91 | 0.61 | 0.78 | 0.5 |
| Tretzendorf | 0.87 | 0.62 | 0.75 | 0.48 |
| 总计 | 0.80 | 0.51 | 0.67 | 0.38 |

4.1.2 树种分类结果
U-Net是一种广泛采用的分类算法，常用于树种分类任务（Schiefer等人，2020年；Weishaupt等人，2025年）。为了评估多任务学习的有效性，对U-Net和ITCMNet进行了比较分析，后者将实例分割与分类集成在一起。如图5所示，结合分割显著提高了分类性能。当使用U-Net进行像素级分类时，由于缺乏邻域信息约束，单个树冠经常被错误地分割成多个物种。相比之下，ITCMNet使用树冠级分割来提取每个树冠内的空间连贯特征，从而实现了更准确的物种区分和更好的整体分类性能。

下载：下载高分辨率图像（898KB）
下载：下载全尺寸图像
图5. 详细比较了树种分类结果。

然后在测试集评估了所提出的ITCMNet。树种分类结果显示了对常见物种的良好性能，如表5所示。值得注意的是，挪威云杉的精确度最高，达到了0.92。对于苏格兰松，算法的表现也很好，精确度为0.86。相比之下，欧洲落叶松的F1分数为0.56，反映了其更复杂的分类挑战。对于较为稀有的物种，花旗松和银杉，准确性较低。这主要是由于这些物种的样本数量较少，加上它们在光谱和形态上与其他裸子植物的相似性，使得它们难以区分。这两种物种占总训练样本的不到1%，严重的类别不平衡影响了模型对这些物种的分类性能。

表5. 单个树木层面的树种分类准确性
| 裸子植物 | | |
|-----------|---------|---------|
| 欧洲山毛榉 | 2,750 | 2,986 | 2,112 | 0.48 | 0.57 | 0.52 |
| 橡树 | 3,194 | 3,989 | 1,041 | 0.44 | 0.75 |
| 花旗松 | 2,895 | 470 | 686 | 0.86 | 0.81 |
| 挪威云杉 | 674 | 152 | 90.92 | 0.56 | 0.56 |
| 欧洲落叶松 | 217 | 189 | 155 | 0.53 | 0.58 |
| 花旗松 | 113 | 129 | 0.23 | 0.08 | 0.12 |
| 银杉 | 001 | 112 | 0 | 0 |
| 其他 | 1,185 | 1,049 | 3,858 | 0.53 | 0.24 |
| 总计 | 10,926 | 8,781 | 18,622 | 0.55 | 0.56 |

总体而言，模型在所有物种上的平均F1分数为0.56，对于常见树种表现出可接受的性能，但在分类稀有物种时遇到了挑战。包括大量包含先前未见物种的样地后，产生了许多“其他”类别。在实践中包含这样的“其他”类别是必要的。特别是在被子植物和裸子植物的分类中，模型分别达到了0.54和0.76的F1分数，这对于准确估算碳储量非常有益。图6展示了四个区域的推断结果，说明了森林中树种的面积、比例和分布。还评估了样本区域之外的更广泛森林分布。所有四个区域中优势物种的比例大约为50%。在Hain地区，橡树是主导物种，占52.35%；在Stadtwald，苏格兰松占主导，占48.90公顷，占51.11%。在Tretzendorf两个地区，欧洲山毛榉占主导，Tretzendorf_1占53.75%，Tretzendorf_2占46.56%。除了Tretzendorf_2之外，所有其他地区的银杉比例都非常低，不到0.02公顷。各地区树种分布模式存在显著差异。在Hain地区，欧洲山毛榉和橡树在区域内均匀分布。相比之下，苏格兰松集中在区域边缘，而中心区域则以欧洲山毛榉和橡树为主。在Tretzendorf_1，苏格兰松和橡树主要分布在区域北部，而在Tretzendorf_2，欧洲山毛榉占主导。在Tretzendorf_2地区，欧洲山毛榉分布广泛，挪威云杉主要集中在北部区域，而苏格兰松则主要分布在南部。下载：下载高分辨率图像（729KB）下载：下载全尺寸图像图6. 单个树木级别的树种分类结果。(a) Hain地区，(b) Stadtwald地区，(c) Tretzendorf_1地区，以及(d) Tretzendorf_2地区。4.1.3. 生命力估计结果如表6所示，ITCMNet方法在检测健康树木方面表现最佳，F1值为0.72。死亡树木的检测精度为0.75，表明大多数死亡树木被正确分类。相比之下，区分衰退树木更具挑战性，F1值为0.33，这表明准确识别衰退树木的难度较大。总体而言，该模型的F1值为0.66。该模型在检测死亡树木方面表现良好，并对健康树木保持了高精度，但需要进一步完善以区分衰退树木。表6. 单个树木级别的生命力估计准确性。生命力TPFPFNP precisionRecallF1健康11,8784,5034,8360.730.710.72衰退8772,0951,5160.300.370.33死亡266881750.750.600.67总计13,0216,6866,5270.660.67图7展示了四个地区所有树木的生命力、分布面积和比例，范围超出了研究地块。所有四个地区的健康树木比例约为70%，除了Stadtwald地区，其中含有2.31%的死亡树木，占地约2.22公顷。其他三个地区的死亡树木比例均低于1%。分布模式进一步显示，Hain地区的健康树木比例最高，表明其森林生态系统更加稳定和繁荣。相比之下，Stadtwald地区中心左侧有一个明显的树木死亡区域，表明可能需要及时的人为干预以防止进一步的森林退化。在Tretzendorf_1地区，衰退树木主要集中在该地区的中心和南部，而在Tretzendorf_2地区，衰退树木则更均匀地分布在整个区域。下载：下载高分辨率图像（716KB）下载：下载全尺寸图像图7. 单个树木级别的生命力估计结果。(a) Hain地区，(b) Stadtwald地区，(c) Tretzendorf_1地区，以及(d) Tretzendorf_2地区。4.2. 碳储量的估计首先，计算单个树木的高度和冠幅直径。随后，根据树木参数、树种分类结果以及上述的生长关系方程（allometric equations）估计每个树木的冠叶生物量（AGB）。然后按树木区域汇总每个地块的总AGB。最后，使用碳分数系数计算每个地块的碳储量。共有来自29个样本地块的19,041个树木冠部被纳入结果评估。与单个树木级别的碳储量估计相比，地块级别的评估有助于减少过度分割引起的误差，并提供更准确的模型性能评估。将样本地块数据计算出的实际碳储量与使用ITCMNet方法推断出的碳储量进行比较。该方法通过碳储量评估指标进行评估，如图8和表7所示。R2值为0.83，表明该模型在估计碳储量方面具有很好的拟合度。预测碳储量与实际碳储量的平均差异为7.94 Mg/ha，rRMSE值为16.42%。即使是在不同树种的混合森林中，该模型也保持良好的预测性能。-1.24 Mg/ha的偏差表明模型存在负偏差，即平均高估了1.24 Mg/ha的碳储量。这一趋势在图8所示的偏差分布图中进一步得到了体现。下载：下载高分辨率图像（127KB）下载：下载全尺寸图像图8. 碳储量估计结果。(a) 预测碳储量与估计碳储量的散点图，(b) 剩差与预测碳储量的散点图。表7. 碳储量估计性能。空单元格R2RMSE (Mg/ha)rRMSE偏差 (Mg/ha)本文0.837.9416.42%-1.24CCI Biomass v5.0-3.5139.2881.27%-31.51GEDI L4A-1.2327.6257.16%10.15Kacic等人（2023）-9.9348.38128.83%-49.00如表7所示，还使用ESA CCI Biomass v5.0卫星AGB产品、德国AGB产品和全球生态系统动态调查（GEDI）L4A（Dubayah等人，2022年；Kacic等人，2023年；Santoro和Cartus，2024年）数据对模型的性能进行了比较。CCI Biomass v5.0是2021年的最新版本，GEDI L4A覆盖了2022年的全年数据。克里金插值（Kriging interpolation）用于将足迹级别的AGB值转换为100米分辨率的分布图。德国森林的AGB产品是利用GEDI数据生成的（Kacic等人，2023年）。我们的测试地块总面积为29公顷。然而，由于提到的德国AGB产品中Hain地区的数据为空值，因此仅对Stadtwald和Tretzendorf地区进行了实验。因此，评估仅使用了Stadtwald和Tretzendorf的14公顷地块。与本研究提出的方法相比，基于卫星的产品更容易获取且成本效益更高，但它们在局部区域的数据准确性较低。相比之下，单个树木级别的AGB产品可以生成不同分辨率的输出，并显示出出色的模型性能。基于上述四个地区的无人机图像，为所有感兴趣区域（AOIs）生成了1公顷分辨率的森林碳储存分布图，如图9所示。尽管可以在单个树木级别量化碳储存，但较粗的分辨率碳储存图提供了更广泛的区域碳分布和树木密度模式视角。Hain AOI是一个城市森林公园，其他三个AOI是森林。因此，其他三个AOI的森林具有更大的碳封存能力。AOI的边缘树木分布较少，因此碳储量相对较低。下载：下载高分辨率图像（198KB）下载：下载全尺寸图像图9. 碳储量估计分布。(a) Hain；(b) Stadtwald；(c) Tretzendorf_1；(d) Tretzendorf_2。(a, b, c, d) 显示1公顷分辨率的估计结果。5. 讨论5.1. ITC分析森林提供生物多样性和生态系统服务。然而，由于飓风和害虫爆发等因素导致的森林结构和功能变化等许多干扰，超出了直接实地测量的范围。因此，利用遥感数据量化森林属性的变化是森林生态学和管理中的关键问题（Weinstein等人，2021b）。树种分类对于评估生态系统服务和碳储存至关重要（Zheng等人，2021）。此外，树木生命力分类有助于估计森林生态系统的健康状况和碳动态（Zuleta等人，2023）。ITC的划分性能受多种因素影响，如森林类型、叶片状况和RS数据类型（Yin和Wang 2016）。特别是针叶林与阔叶林在树木密度和结构上存在差异，导致模型准确性不同（Deluzet等人，2022；Zhen等人，2016）。尽管无人机图像提供了超高的空间分辨率，但对密集、重叠的阔叶树冠进行分割仍然具有挑战性，常常导致过度分割或分割不足。子图像边缘的碎片化树冠和多种树种的树冠大小差异进一步增加了模型分割的难度。此外，位于阔叶树下的下层树木更难以检测。相比之下，针叶林通常具有更清晰的树冠边界，使分割更加容易（Xu等人，2021）。此外，样本数量不足会导致训练模型的不可转移性（La Rosa等人，2021）。本研究使用了来自多个地区的数据集进行训练、测试和验证，仔细标注了27,160个样本。尽管这些地区缺乏训练数据，该方法在Hain地区的F1得分仍为0.72。这表明虽然模型成功检测到了许多树木冠部，但也有相当一部分预测是误判。Hain地区的召回率为0.79，表明仍有一些树木冠部被遗漏，可能是由于树种和树冠大小的差异，使得模型难以完全捕捉所有相关特征。本研究的训练数据主要收集自德国森林。最近，国际摄影测量与遥感学会（ISPRS）举办的首个国际ITD数据集包含了十一个国家的多种森林类型，具有更好的全球代表性（Liang等人，2026）。由于这些比赛数据在研究开发阶段尚未公开，因此未包括在最初的性能比较中。未来的工作将集中在评估和适应更大范围的测试区域。在树种分类方面，与点对点分类相比，ITCMNet整合了实例级分割，结合了ITC的更多综合信息，从而提高了分类性能（Yin和Wang 2016）。目前，ITCMNet方法仅依赖RGB图像，但在不引入额外数据源的情况下仍能实现相对较高的树种分类准确性。我们方法的性能受到以下两个问题的限制。第一个问题是样本不平衡。例如，花旗松和银杉占总训练样本的不到1%，导致样本量较小。这种不平衡降低了分类准确性（Ren等人，2020）。第二个问题是，我们训练的模型无法涵盖所有未知的树种，因此我们引入了一个“其他”类别。“其他”类别本身包括多个样本量很小的次要树种，以及标注者无法准确区分确切树种的情况。在BAMFORESTS数据集中，选择Hain森林作为一个独立的测试数据集，以与训练/验证数据集有一定的领域差异。分类错误的发生是因为Hain地区的物种组成既不符合训练区域也不一定与“其他”类别中的物种相似。在未来的数据收集中，我们将更加注重平衡不同树种之间的样本分布，以解决类别不平衡问题，从而提高分类准确性和模型的稳健性（Jackson和Adam 2021）。在生命力分类方面，健康和死亡树木的整体精度约为0.75。然而，检测到的衰退树木的精度仅为0.3，主要是因为无人机图像仅包含RGB波段。在衰退早期阶段，树木颜色的变化几乎不显著，使得难以准确识别衰退树木。为了提高生命力分类的准确性，需要整合多源遥感数据，如高光谱图像和从时间序列数据集中提取的LiDAR或物候特征。结合这些数据源将增强捕捉物种和生命力水平之间的光谱和结构差异的能力（Abdollahnejad和Panagiotidis，2020；Qin等人，2022）。高光谱图像能够检索功能性特征，如叶绿素和类胡萝卜素，揭示由害虫和疾病引起的养分缺乏和生物压力（Schneider等人，2017）。与此同时，LiDAR提供了更多的三维树木结构信息，使得能够量化树冠密度（Acebes等人，2021）。由于森林结构复杂和环境背景的复杂性，尤其是不同树种之间的光谱特征相似性，树种识别可能会变得复杂。因此，结合季节性光谱特征的变化有助于提高树木分类（Su等人，2025）。尽管本研究没有进一步探讨其在AGB和碳储量估计方面的潜力，但我们计划将来使用生命力作为关键数据源来优化AGB建模性能。此外，我们预计这项研究将为未来的森林管理决策提供支持，特别是在作物轮作、疏伐和种植策略等方面，并有助于利用年度数据进行长期森林健康监测（Li等人，2021b）。5.2. 碳储量估计估计碳储量是评估森林应对气候变化缓冲能力的核心指标。与以往的研究相比，本文中AGB估计的差异主要是由于所使用数据的不同。首先，AGB估计通常基于胸高（DBH）方法（Calders等人，2015）。获取DBH通常需要通过LiDAR扫描系统收集点云数据，这比无人机图像成本更高（Fan等人，2024）。相比之下，本研究主要使用基于树高和冠幅宽度的生长关系方程来估计AGB，这两种方法对裸子植物和被子植物都高度可靠（Jucker等人，2017）。其次，尽管本研究使用RGB图像作为数据来源，但所实现的AGB（活跃生物量）建模性能与LiDAR数据的性能相当（Lu等人，2020年；Navarro等人，2020年）。尽管分割和分类结果不尽如人意，但碳储量的估算仍表现出足够的准确性。阔叶林有时会出现过度分割的现象，导致AGB被高估。此外，仅使用简单的RGB波段对下层树木进行分割可能会遇到挑战（Latifi等人，2015年）。分割不足则可能导致AGB被低估。树木种类分类对于生物量估算也至关重要，因为它能够应用不同的异速生长模型，这些模型能更好地解释不同树种之间的参数与生物量之间的关系（Wu等人，2025年）。某些树种分类准确性较低是由于样本数量少和分割错误所致，这导致了一定程度的树种分类错误。然而，裸子植物和被子植物的主要分类没有出错。在1.6厘米的分辨率下，裸子植物和被子植物在图像中已经能够被区分开来。今后的研究将进一步优化异速生长方程，分析不同树种之间的差异，并评估健康状况对树种间碳汇差异的影响。欧洲混合林的碳储量从每公顷数十吨到超过一百吨不等（Avitabile等人，2024年）。具体而言，德国的碳储量在每公顷50至150吨之间（t C/ha），这与我们的研究结果一致。根据德国2012年的国家森林清查（NFI）（Wellbrock等人，2017年）的数据，山毛榉林的地上碳储量为127吨/公顷，云杉林为101吨/公顷。F?rster等人（2021年）的基于样地的调查显示，成熟的苏格兰松林的碳储量为86.8±24.6吨/公顷，而年轻的苏格兰松林平均为72.0±17.0吨/公顷。天然阔叶林的平均碳储量为147.2±48.8吨/公顷。不同树种、年份和地区之间的碳储量存在显著差异。

5.3. 密集森林监测的潜力
森林清查可以在木材产量估算和自然干扰监测等方面提供重要支持，如图10所示。本研究使用无人机RGB图像来探索单个树木的属性。然而，单靠图像提供的参数是有限的。树干直径（DBH）需要通过点云数据或实地测量来确定，这比处理图像要复杂得多。此外，整合多种数据来源将带来进一步的方法挑战。尽管结合深度学习的无人机图像还不能完全取代传统的森林清查，但它已被证明是一种成本效益较高的方法，可以提取单个树木的参数，并且在大规模应用中具有巨大潜力。未来的研究将进一步评估其在更多数据集和地区的有效性，尤其是对于分辨率较低的数据来源。虽然无人机的应用范围主要在区域森林监测上，但它们在连接地面测量和卫星观测之间发挥了关键作用。卫星遥感器的空间分辨率在1米到1公里之间，无法解析密集森林中的空间异质性（Etteieb等人，2013年）。相比之下，超高分辨率无人机图像提供了丰富的空间信息，支持对单株树木的检测，从而可以将局部森林清查扩展到区域森林调查。此外，详细的区域森林信息还支持通过卫星图像进一步扩展到国家级甚至全球范围的森林（Chen等人，2024年；Lesiv等人，2022年）。因此，ITCMNet方法展示了便携式无人机在连接森林清查和卫星图像方面巨大的潜力，能够在较大规模上实现精确和及时的密集森林监测。

下载：下载高分辨率图像（396KB）
下载：下载全尺寸图像
图10. 森林清查数据及其应用

6. 结论
本研究提出了一种使用无人机图像进行森林清查和碳储量估算的综合性工作流程。深度学习结合了超高分辨率遥感图像和地面清查数据，实现了自动树木计数、物种分类、活力预测、参数估算以及混合森林资源调查和树木分布的探索。同时，该模型能够估算森林碳储量，具有应用于大规模密集森林碳储量估算的潜力，并进一步提高森林资源监测的自动化能力。结果表明，结合无人机数据的上述工作流程适用于不同树种的个体树木。ITCM分割方法的召回率为0.81，精确度为0.80，F1分数为0.81。在树种分类方面，模型的准确率分别为：被子植物0.54，裸子植物0.76。关于树木活力水平的分类，三个定义的活力类别的总体F1分数达到0.66。在混合森林的碳储量估算方面，R2值为0.83，均方根残差（rRMSE）为16.42%。因此，森林健康监测的自动化程度得到了提升。对于不同的混合森林区域，大规模的森林清查和个体树木级别的碳储量评估为森林应用提供了可靠的数据基础，支持进一步的大规模密集森林监测和管理。基于这些结果，该研究有望成为大规模密集森林制图的重要参考，进一步促进地面测量和空间调查的有效整合。因此，诸如时空森林动态监测和碳储量评估等应用可以得到多方面的支持。

数据可用性
推理结果和代码可在仓库（https://github.com/WendyFan52/ITCMNet）获取。基准数据已发布（https://www.dlr.de/en/eoc/about-us/remote-sensing-technology-institute/photogrammetry-and-image-analysis/public-datasets/bamforests），树种和活力数据目前正在准备发布中。所有比较实验的详细信息和评估结果已上传至GitHub和仓库（https://github.com/QingWWWW/ITCS）（https://github.com/WendyFan52/yolov5）（https://zenodo.org/records/18485272）。

关于写作过程中使用生成式AI和AI辅助技术的声明
作者使用了ChatGPT（GPT-4o，OpenAI）来检查语言和语法错误。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对出版物的内容负全责。

作者贡献声明
Wen Fan：撰写——初稿、方法学、形式分析
Thomas Knoke：撰写——审阅与编辑、项目管理
Jonas Troles：资源收集、数据整理
Jiaojiao Tian：撰写——审阅与编辑、验证、调查