《ISPRS Open Journal of Photogrammetry and Remote Sensing》：Mapping understorey tree invasion in a drought-affected forest using multi-view UAV imagery and deep learning
编辑推荐：
深度学习(Deep Learning, DL)和运动恢复结构(Structure from Motion, SfM)摄影测量技术的进步，结合商用现成的无人(unoccupied aerial vehicles, UAVs)和高分辨率相机，使得植物物种的测绘精度
深度学习(Deep Learning, DL)和运动恢复结构(Structure from Motion, SfM)摄影测量技术的进步，结合商用现成的无人(unoccupied aerial vehicles, UAVs)和高分辨率相机，使得植物物种的测绘精度达到了前所未有的水平。尽管这些工具主要应用于平坦地形或森林上层冠层，但森林下木层仍基本未被探索。在此，研究人员提出了一种将DL与多视角UAV影像相结合的方法，以绘制中欧干旱影响森林下木层中入侵树种臭椿(Ailanthus altissima)的分布。原始UAV照片通过卷积神经网络(Convolutional Neural Networks, CNNs)进行分割。生成的预测结果利用SfM投影到地理参考点云上。这种新颖的方法揭示了超过40%的入侵区域隐藏在冠层之下，传统的基于正射影像(orthomosaic)的方法会遗漏这些区域。为了评估CNN的泛化能力，研究人员改变了训练域和预测域：较低处理级别的航空图像与较高处理级别的正射影像，两者均源自较小的训练范围（420 m2或研究区域的0.25%）。对于域内预测，航空训练的模型（F1 = 0.880）优于正射影像训练的模型（F1 = 0.805）。当应用于跨域时，航空模型保持了卓越的性能（F1 = 0.843），而正射影像训练的模型性能为（F1 = 0.750）。将训练范围扩大八倍，使正射影像训练模型在域内准确率提高到F1 = 0.836，在跨域提高到F1 = 0.846。总之，将摄影测量与DL相结合，是高效利用重叠航空影像并利用传统基于正射影像的分析所丢弃的信息的一条充满希望的途径。由此产生的更丰富的三维信息和改进的迁移性可以支持决策制定，并且将该新技术改造应用于即将发布和现有的数据集，为植被研究及其他领域开辟了新途径。
本研究发表于《ISPRS Open Journal of Photogrammetry and Remote Sensing》，针对干旱影响下森林生态系统中受威胁加剧的生物入侵现象，提出了一种创新的监测解决方案。随着气候变化导致森林干扰增加，林下间隙为入侵物种提供了可乘之机，然而传统的遥感监测手段往往局限于二维平面，难以穿透茂密的冠层捕捉下木层的真实情况。研究人员以极具破坏力的欧盟关注入侵物种——臭椿（Ailanthus altissima）为研究对象，旨在解决现有研究中“冠层下盲区”无法被有效探测的痛点。该研究不仅验证了多视角影像在复杂森林环境中的可行性，还深入探讨了如何利用有限的数据资源训练出高泛化能力的深度学习模型，为低成本、高精度的森林生态监测提供了重要的理论依据与技术支撑。
为实现上述目标，研究人员采用了以下关键技术路线：首先，利用搭载35 mm镜头的DJI Matrice 600 Pro无人机在德国黑森州一处16.5公顷的混合林与松林中进行数据采集，获取了极高分辨率（地面采样距离Ground Sampling Distance, GSD为5.0 mm/px）的红绿蓝（Red Green Blue, RGB）影像。随后，通过运动恢复结构（Structure from Motion, SfM）摄影测量技术生成地理参考点云和正射影像（Orthomosaic, OM）。在数据标注方面，研究人员构建了包含原始航空影像（Aerial）和正射影像（Ortho）的多域数据集，并严格划分了训练、验证与测试集。核心算法采用基于VGG-16特征提取编码器的U-Net卷积神经网络（Convolutional Neural Network, CNN）架构，通过二元交叉熵损失函数（Binary Cross-Entropy Loss）及多种图像增强策略进行语义分割训练。最后，研究人员利用SfM导出的相机内外参数和深度图，将CNN在单张倾斜影像上的像素级预测反向投影至三维世界坐标，实现了从二维概率图到三维空间分布的精确映射。
3.1. 模型选择/CNN验证
研究人员通过对不同处理级别影像训练的模型进行验证，发现训练数据域对模型性能具有决定性影响。结果显示，基于原始航空影像训练的模型在各项指标上均表现出色且更为稳健。具体而言，航空训练模型（Aerial）的F1分数达到了0.880，显著高于仅基于正射影像训练的基准模型（Ortho x1，F1分数为0.805）。这一阶段的验证确立了低处理级别原始影像在提升模型泛化能力方面的优势，证明了多视角信息对于捕捉复杂场景特征的重要性。
3.2. 模型测试集准确率/CNN测试
在独立的测试集评估中，研究人员进一步量化了模型在不同数据域间的迁移能力。测试结果表明，航空训练模型展现了极佳的跨域适应性，其在航空影像测试集上的F1分数高达0.880，在正射影像测试集上也达到了0.843。相比之下，虽然扩大正射影像的训练范围（Ortho x8）能够显著提升其自身域内表现（F1达到0.836），但在面对跨域任务时，其性能依然不及航空训练模型。这证实了利用原始影像中的丰富视角信息可以有效缓解模型过拟合，增强其在不同成像条件下的稳定性。
3.2.1. 测试图块检测示例
通过对典型测试图块的定性分析，研究人员观察到两类模型在边界界定上存在细微差异，但均能准确识别臭椿的核心分布区。值得注意的是，在某些案例中，CNN模型的预测甚至比人工解译（Ground Truth, GT）更为精准，能够识别出人工标注遗漏的孤立植株。同时，模型预测值与真实值之间的差异（Delta）分布显示，绝大多数像素的预测置信度接近极值（0或1），表明模型具有较高的确定性和可靠性，仅在类别模糊的过渡区域存在一定的不确定性。
3.3. 正射影像预测
将训练好的最佳模型应用于整个研究区域的正射影像时，两种模型均给出了合理的预测结果。航空模型和Ortho x8模型预测的入侵总面积分别为0.221公顷和0.226公顷，与人工解译基线（0.227公顷）相比，误差分别仅为-3%和-1%。尽管整体准确率极高（Overall Accuracy > 0.995），但对比分析发现，CNN模型能够更细腻地刻画入侵斑块的实际轮廓，并成功排除了人工标注中可能混入的裸土或枯木等非目标区域，展现了自动化处理的一致性优势。
3.4. 通过多视角预测进行冠层下测绘
这是本研究最具突破性的发现。通过将CNN预测与多视角影像的三维投影相结合，研究人员揭示了一个被传统二维方法严重低估的事实：臭椿的入侵面积从人工解译的0.227公顷激增至约0.429至0.454公顷。这意味着超过40%的入侵个体隐藏在林下，完全无法从垂直视角的正射影像中观测到。在对25个新发现的疑似点位进行人工核查后，确认其中23个确实存在臭椿，准确率极高。这一结果有力证明了多视角摄影测量技术在穿透半开放林冠、探测下木层生态过程中的巨大潜力。
3.5. 冠层开阔度
研究人员利用激光雷达（Light Detection and Ranging, LiDAR）数据计算了研究区的冠层开阔度，以探讨环境因子与入侵分布的关系。统计分析显示，人工解译和正射影像CNN预测到的臭椿主要分布于开阔度大于95%的开放区域；而通过多视角方法新检测到的入侵点，其冠层开阔度显著更低（可低至约50%），且数据的四分位距扩大了两倍以上。这表明臭椿不仅占据完全开阔的地块，还能成功入侵光照条件相对较差的半开放林下空间，拓展了其潜在的生态位。
在讨论部分，研究人员指出，尽管基于卫星或正射影像的现有技术在特定场景下有效，但在面对早期、零散且隐蔽的下木层入侵时存在局限。本研究的创新之处在于打破了仅依赖正射影像的传统范式，通过挖掘SfM过程中被忽略的多余重叠信息，实现了对森林内部结构的“透视”。讨论中还强调了训练数据异质性的重要性，即更大的地理范围和更多的视角变化能够显著提升CNN的鲁棒性。此外，研究人员也客观分析了该技术的边界，即在冠层完全郁闭的森林中，光学影像的多视角重建可能面临挑战，但对于像臭椿这样依赖林隙更新的物种而言，半开放林分的环境已足够支持该技术的应用。
结论部分明确指出，面对气候变化和森林脆弱性增加的背景，结合多视角成像、深度学习和SfM的新颖方法能够有效应对下木层生物入侵的监测难题。该方法不仅证实了干旱影响森林中有大量入侵被林冠遮蔽，还证明了基于原始航空影像训练的DL模型具有极高的跨域适用性和数据利用效率。这项研究为半开放生境的林下监测开辟了新的道路，无论是针对其他入侵物种的探测，还是更广泛的林业与生态学应用，都具有深远的意义。由于所需的UAV多视角数据通常在常规航测中均已采集，该技术具有很高的推广价值和实际应用潜力。
