《Science of Remote Sensing》:Assessing the effectiveness of deep embeddings for tree species classification in the Dutch Forest Inventory
编辑推荐:
研究人员针对荷兰国家森林清查(National Forest Inventory, NFI)制图,将深度嵌入与手工特征进行了基准比较。研究结果表明,深度嵌入在样地尺度和全国地图尺度上均优于手工特征。在NFI样地级任务中,微调后的Presto优于预计算嵌入。预计
研究人员针对荷兰国家森林清查(National Forest Inventory, NFI)制图,将深度嵌入与手工特征进行了基准比较。研究结果表明,深度嵌入在样地尺度和全国地图尺度上均优于手工特征。在NFI样地级任务中,微调后的Presto优于预计算嵌入。预计算嵌入能够生成与样地级精度相匹配的全国地图。数据增强有助于稀有物种,但必须控制空间自相关。
荷兰森林约占国土面积11%,提供重要的气候调节与生态系统服务。国家森林清查(National Forest Inventory, NFI)是相关应用的主要国家参考,但受限于基于抽样的实地测量,通常每5~10年重复一次,难以快速捕捉气候变化和土地利用驱动的变化。遥感可提供高频、全覆盖观测,但传统机器学习方法(如随机森林,Random Forest, RF)依赖手工设计的谐波和季节medoid特征,这些特征需要领域知识,且难以迁移到其他生态或传感条件。近年来,自监督预训练的深度嵌入模型(如Presto、TESSERA、AlphaEarth Foundations, AEF)可从大规模无标注遥感数据中提取通用表示,但尚未在运营性森林清查中得到系统评估。为此,研究人员利用荷兰NFI数据,系统比较了手工谐波与季节medoid特征(209个特征)和三种深度嵌入(Presto、TESSERA、AEF)在树种分类中的性能。研究使用了三个数据集:复杂且不平衡的COMB(13类,1462个样本)、简化且不平衡的SIMB(7类,1479个样本)以及简化且平衡的SIBA(7类,13790个样本,通过照片解译增强)。实验评估了传感器贡献、特征表示、分类器架构和空间上下文的影响,并进行了全国尺度全覆盖制图。研究表明,深度嵌入在样地级和全国尺度上均优于手工特征;微调后的Presto在NFI样地任务中表现最佳;预计算嵌入(AEF和TESSERA)能够生成与样地级精度相匹配的国家地图。该研究为NFI实现高效、可扩展的大规模树种制图提供了新途径。论文发表在《Science of Remote Sensing》。
关键技术方法:研究使用荷兰NFI数据,包括COMB、SIMB和SIBA三个数据集(SIBA由NFI样地照片解译增强而来)。从Google Earth Engine提取2020年1—12月的Sentinel-1/2、ERA5和SRTM时间序列,计算谐波和季节medoid特征;使用Presto微调编码器及其冻结嵌入、TESSERA和AEF预计算嵌入;下游分类器采用随机森林(Random Forest, RF)和多层感知机(Multilayer Perceptron, MLP),70/30分割,5次重复,并测试3×3邻域池化和全国制图。
研究结果:
5.1 Influence of multi-source input features in harmonic and medoid features:通过对比S-1、S-2及组合特征在RF中的分类精度,发现S-1加入S-2带来小幅提升(COMB精度从66.34%升至66.71%,SIMB从72.87%升至74.22%),表明雷达信号提供补充信息。
5.2 Pixel-level classification performance evaluation:在像素级比较了深度嵌入与谐波特征。5.2.1 Deep embeddings vs. Harmonic features:RF使用微调Presto嵌入在所有数据集上优于谐波特征,SIMB准确率78.59%对69.48%,COMB 70.29%对62.80%,SIBA 94.50%对84.47%。5.2.2 MLP vs. RF classifier:使用微调Presto嵌入时,RF在小型NFI数据集上与MLP相当或略优,而在SIBA上MLP明显领先(97.26%对94.50%)。5.2.3 From-scratch vs. deep embeddings:从零训练的TempCNN和MLP在SIMB上接近AEF和TESSERA,但低于微调Presto;在SIBA像素级分割下表现高,但受空间自相关影响。5.2.4 Effect of spatial context: n×n patch pooling:3×3均值池化对TESSERA提升显著(SIMB 72.96%→78.88%,COMB 65.37%→71.78%),对微调Presto在NFI数据有提升,但在SIBA无提升。
5.3 Class level performances:通过混淆矩阵分析,发现阔叶树种间混淆严重(如Alnus召回率仅2.2%,多被误分为栎类),针叶树内部也有混淆(如Pinus spp.被误分为P. sylvestris)。
5.4 Phenological trajectories and gradient-based temporal attribution:物候轨迹显示NDVI和Sentinel-1 VH能区分不同树种;梯度归因表明微调模型在春季展叶、秋季转变等物候窗口集中敏感,并利用短波红外、红、红边等多个波段而非单一指数。
5.5 National-scale species mapping:全国制图结果。5.5.1 1M-pixel mapping before full mapping:在100万像素抽样中,微调Presto和从零MLP在SIBA上产生退化地图(大范围崩塌为Other Broadleaves,丢失针叶树),而冻结的AEF、TESSERA和手工特征保持合理。5.5.2 Full Dutch forest species mapping:基于AEF和TESSERA(3×3均值池化)生成全国地图,SIBA训练的地图整体精度更高(TESSERA 84.68%),并能正确识别Flevopolder地区以杨树为主的区域。
讨论与结论:讨论部分指出,多模态传感器整合带来小幅提升;深度嵌入优于手工特征,但微调嵌入在空间自相关数据上可能过拟合;冻结的预计算嵌入在空间独立评估中更稳健,并支持低成本全国制图。数据增强可改善稀有类表示,但必须控制空间自相关。结论翻译:本研究验证了深度嵌入在NFI树种分类中的有效性。从预训练模型提取的深度嵌入在样地级一致优于传统的谐波和medoid预测特征,且优势来自自监督预训练而非深度学习本身。分类器选择不如表示重要;梯度归因显示模型跨多个波段并集中在物候信息月份。预计算嵌入生成的全国地图精度与样地级一致,证明该方法可支持运营性全覆盖NFI制图。这些结果展示了在NFI系统中实现高效大规模树种制图的潜力。