利用具备位置感知能力的深度学习技术,绘制热带森林砍伐后的土地利用图
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Mapping land uses following tropical deforestation with location-aware deep learning
【字体:
大
中
小
】
时间:2026年01月08日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
简·皮什尔|根瑟·松布尔|加斯顿·伦茨纳|卡米洛·萨莫拉|马丁·赫罗尔德|简·迪克·韦格纳|德维丝·图亚
瑞士洛桑联邦理工学院(EPFL),锡永
摘要
热带森林砍伐的速度仍然高得令人担忧。为了制定有效、有针对性的政策响应,需要关于其驱动因素的详细数据——每一场森林砍
简·皮什尔|根瑟·松布尔|加斯顿·伦茨纳|卡米洛·萨莫拉|马丁·赫罗尔德|简·迪克·韦格纳|德维丝·图亚
瑞士洛桑联邦理工学院(EPFL),锡永
摘要
热带森林砍伐的速度仍然高得令人担忧。为了制定有效、有针对性的政策响应,需要关于其驱动因素的详细数据——每一场森林砍伐事件都需要归因于某种农产品或其他土地利用类型。遥感技术使我们能够监测森林砍伐后的土地利用变化,从而提供驱动因素的代理信息。然而,由于光谱相似性、免费卫星图像的空间分辨率有限以及标记数据不足,识别具体商品类型仍然具有挑战性。为了解决这些问题,我们提出了一种基于深度学习的多模态方法,该方法利用Sentinel-2卫星图像的时间序列、地理坐标以及国家层面的森林砍伐驱动因素统计数据来识别森林砍伐后的土地利用类型。为了整合不同类型的数据,我们设计了一个基于Transformer的模型,并为其配备了特定于模态的编码器。该方法的准确率达到了87%,比仅使用图像数据的基线方法提高了10%,同时数据量、计算量和模型大小几乎没有增加。该方法在数据量较少的情况下也能很好地工作,并且可以轻松扩展到包括其他类型的数据。总体而言,这项工作有助于详细、可重复且可扩展地绘制森林砍伐地图,为设计和实施保护热带森林的有针对性的干预措施提供了必要的数据。
1. 引言
热带森林砍伐——即将森林转换为其他用途——是一个具有全球影响的重大环境问题。热带森林是生物多样性的中心,拥有的物种数量超过任何其他生态系统(Brown, 2014)。由于它们能够储存碳,并为超过十亿人提供食物、燃料、住所或医药等生态系统服务,因此在减缓气候变化方面发挥着重要作用(Lewis et al., 2015)。然而,全球95%的森林砍伐(估计每年为1000万公顷)发生在热带地区(Curtis et al., 2018)。
在过去十年中,利用卫星图像检测和绘制热带森林变化方面取得了重大进展。例如全球森林变化(GFC)(Hansen et al., 2013)或热带湿润森林(TMF)(Vancutsem et al., 2021)等数据集提供了几十年来的高分辨率、年度更新的数据,而森林砍伐警报系统能够近乎实时地检测到森林冠层的扰动(Hansen et al., 2016, Mullissa et al., 2023, Tang et al., 2023)。尽管这些技术在监测热带森林方面非常重要,但仅凭检测结果本身是不够的。为了制定有效的政策来应对森林砍伐,至关重要的是要识别其背后的原因和动机,即所谓的驱动因素(Curtis et al., 2018, Geist and Lambin, 2002, Kissinger et al., 2012)。通常认为有两种类型的森林砍伐驱动因素:直接驱动因素和间接驱动因素(Geist and Lambin, 2002)。本研究关注的是直接驱动因素,即导致森林砍伐的人类活动(如农业生产、采矿等)。间接驱动因素则包括更广泛的政治、经济或人口力量,这些力量间接影响森林砍伐,例如人口迁移或对某些商品需求的增加。驱动因素还可以在不同的粒度层次上进行分类,它们通常被归类为“农业”等类别,但对特定商品的了解也很重要,因为每种驱动因素对碳排放、生物多样性和当地人口的影响各不相同(Shapiro et al., 2023)。
将森林砍伐归因于具体的驱动因素并不简单。“驱动因素”一词意味着因果关系(Bernhard et al., 2024),但这难以证明。因此,森林砍伐后的土地利用(即在砍伐土地上建立的土地利用类型)被广泛用作驱动因素的代理(Hosonuma et al., 2012, Irvin et al., 2020, Masolele et al., 2024)。虽然这两个术语经常互换使用,但森林砍伐后的土地利用分析并不能直接证明这种土地利用是导致森林清除的原因。然而,在缺乏可靠且可扩展的方法来确定森林砍伐动态中的因果关系时,将随后的土地利用作为驱动因素的代理仍然是标准做法(Geist and Lambin, 2002)。
目前对森林砍伐后土地利用类型的了解仍然有限。全球范围内,众所周知大多数热带森林砍伐后都变成了农业生产用地(Kissinger et al., 2012, Curtis et al., 2018, Masolele et al., 2021),并且七种高风险的森林相关商品——牛肉、大豆、棕榈油、橡胶、可可、咖啡和木纤维——与大多数热带森林砍伐有关(Goldman et al., 2020, Pendrill et al., 2022)。然而,在世界许多地方,仍然缺乏具体且空间明确的数据(Goldman et al., 2020, Pendrill et al., 2022)。通过卫星图像建模森林砍伐后的土地利用具有填补这一空白的潜力,因为它具有多个关键优势:它在空间和时间上都很明确,能够生成高分辨率的全球地图,并且可以通过机器学习实现自动化。识别具有明显视觉特征的土地利用类型(如城市基础设施)相对容易。然而,识别通常具有相似光谱响应的特定商品类型则更具挑战性,尤其是考虑到Sentinel-2或Landsat传感器产生的免费卫星图像的空间分辨率(10–30米)。
为了解决这个问题,经常使用卫星图像的时间序列进行作物制图,因为它们可以捕捉到物候模式(Ru?wurm and Korner, 2017, Campos-Taberner et al., 2020)。这种方法也被用于森林砍伐后土地利用的分析(Pisl et al., 2024b, Masolele et al., 2021),但由于热带地区典型的云层覆盖,其潜力受到限制。因此,人们还探索了其他数据源或模态来补充卫星图像,以监测森林砍伐后土地利用的动态。在本研究中,我们提出了一种基于深度学习的多模态方法,用于绘制泛热带地区的森林砍伐后土地利用地图,包括七种高风险森林相关商品。通过考虑另外两种提供位置信息的数据类型,我们试图克服仅依赖卫星图像识别土地利用类型的困难。
首先,我们使用地理坐标作为额外的数据类型。在训练过程中,这使模型能够将某些类别与它们经常出现的位置关联起来。这有助于识别那些没有明显视觉特征的森林砍伐后土地利用类型,从而提高模型性能。其次,我们引入了DeDuCE数据集(Singh and Persson, 2024)中的国家层面数据。DeDuCE是一个表格数据集,用于估计国家层面的森林砍伐与具体农产品的关联。尽管空间分辨率较低,但它涵盖了所有国家和大多数农产品。因此,我们假设它可以作为一种先验信息,指示哪些类别在某个国家更可能出现。我们预期它能够补充其他两种数据类型,进一步提高模型性能。我们的方法利用了一个事实,即许多森林砍伐后的土地利用类型——尤其是与农业相关的——在空间上存在强烈的聚集趋势。例如,巴西的大部分森林砍伐后会用于建立牧场(Pendrill et al., 2022),而在印度尼西亚和马来西亚,森林则更常被油棕种植园取代(Goldman et al., 2020)。因此,我们假设通过额外数据类型为模型提供位置信息可以帮助它学习这种聚集模式,从而提高其性能。重要的是,这两种数据类型对热带地区的任何地点都是免费可获得的。
为了融合不同类型的数据,我们设计了一个基于Transformer的模型架构,并为其配备了特定于模态的编码器。为了训练模型,我们创建了自己的训练数据集,并以易于使用的格式公开发布。我们的主要贡献包括:(i) 一种从免费且公开可用的多模态数据中分类森林砍伐后土地利用的新方法,通过自定义的深度学习模型进行融合;包括这些数据类型可以比现有方法实现更详细、更准确的精细地图绘制,同时数据量和计算开销都很小;(ii) 一个名为PLUTo(“热带地区的森林砍伐后土地利用”)的训练和评估数据集,该数据集由19个独立数据集编译而成,涵盖了11个类别和60多个国家;我们发布这个数据集以促进进一步的数据驱动型森林砍伐后土地利用地图绘制工作。
2. 相关工作
尽管本研究关注于通过绘制土地利用类型来估计森林砍伐的驱动因素,但我们也回顾了有关绘制任何类型森林损失驱动因素的工作。这不仅包括森林砍伐,还包括临时性的干扰事件(如野火),这些事件之后通常会有森林再生而不是土地利用类型的转换。这种区分对于环境和政策目的很重要,但方法论是相似的——通过分析卫星图像和辅助数据来识别干扰类型的指标(如火灾后的烧伤痕迹)。
2.1 驱动因素的自动映射
大多数研究采用机器学习来自动化这一任务,因为手动分类森林损失事件(Tyukavina et al., 2018, De Sy et al., 2019, Laso Bayas et al., 2022, Fritz et al., 2022)既耗时又受到样本量的限制。早期的研究依赖于基于决策树的模型(Hermosilla et al., 2015, Richards and Friess, 2016, Schroeder et al., 2017, Nguyen et al., 2018, Alonso et al., 2022),这些模型根据从卫星图像(如光谱指数)和其他数据源(包括人口数据、道路网络、高程数据和火灾警报)提取的特征进行训练。还使用了时间特征,如森林干扰的持续时间或光谱指数的变化(Hermosilla et al., 2015, Schroeder et al., 2017, Nguyen et al., 2018)。值得注意的是,Curtis et al.(2018)制作了迄今为止唯一的全球森林损失归因数据集,为每个10 × 10公里的网格分配了主要的森林损失驱动因素,使用了随机森林模型。然而,其空间分辨率较低,仅识别出五个广泛的类别,并且地图的有效期仅为2001–2015年之间,尚未更新。
2.2 基于深度学习的方法
最近的方法越来越多地基于深度学习(Irvin et al., 2020, Mitton and Murray-Smith, 2021, Masolele et al., 2021, Masolele et al., 2022, Pisl et al., 2024b),这些方法直接从输入数据中学习丰富的特征。专为图像学习设计的架构(如卷积神经网络(CNNs)能够学习复杂的空间模式,从而比传统机器学习方法表现出更好的性能(Krizhevsky et al., 2012)。对于本研究,卫星图像起着关键作用,这一点非常有利。Irvin et al.(2020)首次应用深度学习来分类印度尼西亚的森林损失驱动因素,实现了比随机森林基线方法高出13%的准确率。Mitton and Murray-Smith(2021)通过引入旋转等变的卷积结构改进了模型性能,而Kaselimi et al.(2022)研究了Vision Transformer的潜力,发现其表现与CNNs相当。虽然这些方法展示了使用深度学习的好处,但它们仅限于单个国家且仅限于四个广泛的类别。
多项研究探讨了使用卫星图像的时间序列(Masolele et al., 2021, Masolele et al., 2022, Pisl et al., 2024b)。Masolele et al.(2021)比较了四种时空架构与仅基于空间或时间的基线,发现结合卷积层和注意力层的组合获得了最佳性能。Pisl et al.(2024b)提出了结合卷积层、循环层和注意力层的架构。他们表明他们的模型能够为每个类别学习不同的策略,时间序列对于识别与农业相关的土地利用尤其重要。这两项工作都得出结论,如果使用专门的时空模型架构,使用多时相数据比使用单张图像具有显著优势。Masolele et al.(2022)则关注输入数据,分析了三种多光谱传感器(Planet、Sentinel-2和Landsat-8)的时间序列带来的好处,他们发现使用Sentinel-2图像时效果显著,而使用其他两种传感器时效果较小。
2.3 多模态融合
多模态数据的集成(Irvin et al., 2020, Masolele et al., 2022, Slagter et al., 2023)是另一个有前景的研究方向。这包括结合来自不同卫星传感器、地形数据或人口数据的图像数据。多模态数据有三种一般的集成方式:在输入层之前先进行融合。这是遥感中常见的场景,其中来自多个卫星传感器的数据沿着通道维度被串联起来,被视为多波段图像。中间融合指的是通过独立模型分支学习到的各个模态的表示的融合,然后通过共享层实现各个模态之间的交互。最后,在晚期融合中,每个模态都使用单独的模型进行独立预测,然后将输出预测组合在一起。近年来,中间融合因其能够学习到各个模态的丰富中间表示并共同优化它们的组合而越来越受到认可(Mena等人,2024年;Li等人,2022年)。与早期融合相比,它允许保留各个模态的归纳偏差(例如图像数据的卷积层),并且更好地处理模态之间的形状和大小不匹配问题。至关重要的是,中间融合还能够在特征空间中实现跨模态交互,这是它相对于晚期融合的主要优势。
虽然中间融合可以通过不同的架构来实现,但一个关键趋势是使用注意力机制,例如Transformer中的注意力机制(Mena等人,2024年)。这种方法已经被应用于各种遥感应用中,如土地覆盖制图(Liu等人,2022年;Roy等人,2023年)或农业(Peng等人,2024年)。它允许学习模态之间的动态交互,这通常比使用全连接(FC)层和其他常用方法获得更好的性能(Peng等人,2024年;Roy等人,2023年)。根据输入模态的具体情况,还使用了其他形式的中间融合,例如用于向量数据的图神经网络(Pastorino等人,2022年)。关于遥感中多模态融合的详细概述,我们建议读者参考Li等人(2022年)的研究。
结果显示,在各个模态面临限制的情况下,多模态数据特别有益。例如,在极端云层覆盖条件下,结合Sentinel-1数据特别有价值(Garnot等人,2022年;Slagter等人,2023年)。如上所述,像Sentinel-2这样的中分辨率光学图像可能不足以单独识别各种农业产品,因此这些发现强调了探索相关数据来源以补充它们的必要性。
总体而言,从卫星图像中归因于驱动因素的森林砍伐方法正在迅速改进,这在很大程度上要归功于深度学习的进步。然而,目前还没有能够完全自动识别与热带地区森林砍伐相关的主要产品和土地利用类型的模型。现有的方法仅限于特定区域(Irvin等人,2020年;Mitton和Murray-Smith,2021年;Masolele等人,2022年)或更广泛、更一般的土地利用类别(Masolele等人,2021年;Pisl等人,2024b年)。
在我们的工作中,我们将两个有前景的方向结合起来:多模态融合和时间序列分析。时间序列分析已经被证明可以在不同模型、区域和输出类别上一致地提高性能。相比之下,多模态融合可能尚未充分发挥其潜力,我们认为这是由于输入模态的选择。我们在一个新的数据集上训练我们的模型,使得能够识别与热带地区森林砍伐相关的十一个主要类别,包括森林风险产品。
在这项工作中,我们编译并发布了“热带地区森林砍伐后的土地利用(PLUTo)”数据集。该数据集可以在https://zenodo.org/records/17831353访问和下载。PLUTo包含2000年至2020年间被砍伐的位置,并且已知其森林砍伐后的土地利用情况。为了识别森林砍伐,我们使用了TMF数据集(Vancutsem等人,2021年),该数据集提供了自1990年以来全球所有热带湿润森林的高分辨率、长期监测数据。该数据集基于Landsat图像,显示了森林的变化,如森林砍伐、退化和再生。我们仅使用了年度森林砍伐层。用于创建TMF的方法是专门为热带湿润森林设计的,因此与类似的全球数据集相比更为准确。此外,与广泛使用的GFC数据集(Hansen等人,2013年;Tropek等人,2014年;Hansen等人,2014年)不同,TMF排除了某些类型的森林冠层变化,例如定期清理的森林种植园或农业活动(如重新种植)。这些事件不属于森林砍伐(森林转换为其他土地利用类型),因此不应包括在森林砍伐后土地利用的分析中。
PLUTo数据集包含14,755个样本,其设计受到Laso Bayas等人(2022年)的众包活动的启发。我们考虑了11个森林砍伐后的类别。图1给出了每个类别的一个卫星图像示例。每个样本对应一个1平方公里的区块,在目标时间段内经历了森林砍伐,包括:
- 四张Sentinel-2卫星图像的时间序列
- 从TMF中提取的森林砍伐掩膜
- 图像中心的地理位置
- 一组11个数值(每个类别一个),描述了DeDuCe数据集为每个国家分配给每个类别的森林砍伐情况;如果数据不可用,则添加占位符
- 一个土地利用类别,用作响应变量
图D.11提供了包含所有输入模态和模型预测的样本示例。目标类别包括与七种森林风险产品相关的土地利用类型——牛皮、油棕、大豆、可可、咖啡、木纤维和橡胶。这些产品在过去几十年里导致了大多数热带地区的森林砍伐(Pendrill等人,2022年;Goldman等人,2020年)。其余类别包括转移农业、采矿、建筑/道路等。
为了创建数据集,我们识别出目标时间段内所有有大量森林砍伐的1平方公里区块(至少15个TMF像素,大约1.35公顷)。我们将这些候选位置与专题数据集叠加,以确定森林砍伐后的土地利用情况,作为标签。我们使用的专题数据集包括各种农业产品的地图(Wang等人,2023年;Descals等人,2020年;Kalischek等人,2022年;Maskell等人,2021年;Petersen等人,2016年;Song等人,2021年;Ceccarelli等人,2021年;Becerra等人,2022年),MapBiomas项目在相关国家的数据集(MapBiomas Brazil,2024年;MapBiomas Indonesia,2024年;MapBiomas Paraguay,2024年;MapBiomas Bolivia,2024年;MapBiomas Peru,2024年),Zanaga等人(2022年)提供的世界覆盖地图中的建筑/道路数据,Tyukavina等人(2018年)的刚果盆地小农农业数据集,Maus等人(2022年)的全球采矿多边形数据库,以及通过国家地理门户网站或与地理门户网站代表通过电子邮件通信获得的哥伦比亚、厄瓜多尔和秘鲁的几个数据集。对于“其他”类别,我们从MapBiomas数据集中抽取了所有其他类别,包括不同的作物(如水稻、甘蔗、棉花)和其他土地覆盖类型(水、沙子)。
如果满足以下条件,我们将一个候选位置包含在训练数据集中:(i) 一个或多个专题数据集覆盖了该位置;(ii) 专题数据集之间没有冲突(如果多个数据集覆盖了该位置);(iii) 有一个类别覆盖了大部分被砍伐的区域(使用了至少50%的被砍伐像素的阈值)。
表1. PLUTo数据集中各类别样本的分布。
我们将数据集分为训练集和测试集,如图2(b)所示。我们将研究区域划分为5×5度的区块,并选择12个区块作为测试集。我们选择这些区块的方式是确保柬埔寨完全位于一个测试区块内。这允许测试模型泛化到训练期间未见过的新的表格数据值的能力。所有训练区块进一步分为4组,用于使用4折交叉验证进行训练和验证。数据集的类别分布见表1。
我们使用了2023年的Sentinel-2时间序列数据,涵盖了2000年至2020年目标时间段内的所有森林砍伐事件。我们选择2023年,以确保森林砍伐事件(最晚发生在2020年)与图像获取日期之间至少有三年间隔。有些类别,特别是油棕种植园,可能需要长达三年的时间才能从卫星图像中识别出来(Goldman等人,2020年)。图1提供了一个每个类别的图像示例。对于每年的每个季度,我们下载云层覆盖率最低的图像,并保留四个波段(RGB+NIR),分辨率为10米。
我们从TMF中提取森林砍伐掩膜,覆盖与图像相同的1平方公里区域。TMF的每个像素要么包含森林砍伐的年份,要么如果未检测到森林砍伐,则为0。经过预处理(图3)后,该掩膜作为模型图像编码器(在第4.1节中描述)的额外输入。
位置由一对(纬度,经度)组成,对应于区块的中心。
我们使用了“森林砍伐驱动因素与碳排放(DeDuCE)”数据集(Singh和Persson,2024年),该数据集估计了2001年至2022年期间179个国家中184种产品的森林砍伐归因。为此,作者首先将GFC数据集中的森林损失数据与农业产品、土地利用和森林砍伐驱动因素的地图结合,将森林砍伐空间归因于广泛的土地利用类别,如种植园或耕地。在第二步中,他们使用FAOSTAT(联合国粮食及农业组织,2025年)提供的关于个别作物种植面积扩展的表格数据,将森林砍伐归因于具体的农业产品。因此,他们的数据集提供了每个国家和每年每个性产品导致多少森林砍伐(以公顷计)的估计值。
尽管这些数据的空间粒度较粗糙,但我们认为它可以作为模型的有价值的信息来源,因为存在强烈的区域模式。例如,根据DeDuCE的数据,印度尼西亚的油棕种植园导致的森林砍伐占该国所有森林砍伐的52%以上。在菲律宾,森林砍伐主要由森林种植园和水稻种植主导,而油棕种植园仅导致了1%的森林砍伐。考虑到森林种植园和油棕种植园在卫星图像上的视觉相似性(图1),向模型提供这些信息可能对于做出正确的预测至关重要。
为了作为模型的输入,数据通过减去平均值并除以整个训练数据集的标准差进行了标准化。由于DeDuCE数据每年都可用,我们使用TMF来确定给定被砍伐区块中最早的和最晚的森林砍伐年份。然后,我们对该时期每年的DeDuCE数据进行了平均处理。因此,模型的输入包括11个数值,每个数值代表给定时间段内每个国家每个类别的相对森林砍伐量。这对应于目标类别的先验概率分布——较高的值表明给定类别在该位置更有可能是森林砍伐的驱动因素。
对于我们工作中识别出的所有七种森林风险产品,大多数国家的数据都是可用的。在数据缺失的情况下,我们用一个可学习的标量来表示缺失数据。这个标量的值在训练过程中进行优化。对于采矿、建筑/道路和其他类别,始终使用缺失数据标记,因为DeDuCe没有提供这些类别的数据。对于跨越多个国家的区块,我们使用交叉区域最大的国家的表格数据。
图3. 作为模型输入的森林砍伐掩膜的预处理。模型架构在图4中进行了总结。每个输入数据点x={xTS,xdef,xloc,xtab}包括一系列卫星图像的时间序列xTS、一个来自TMF的掩码xdef(指示卫星图像中发生森林砍伐的部分)、图像中心的位置xloc,以及一组11个数值(每个类别一个)。每种模态都通过不同的编码器转换为特征向量,xdef除外,它被用作图像编码器的额外输入。我们将这些特征向量称为“token”,并将其大小z设置为128。然后所有token都通过一个共享的Transformer编码器进行处理。我们选择使用Transformer,因为它已被证明是跨多个领域的多模态融合的最先进架构(Radford等人,2021年;Girdhar等人,2023年),包括遥感领域(Roy等人,2023年;Aleissaee等人,2023年)。Transformer生成的分类token被传递给全连接(FC)分类器进行预测。在接下来的部分中,我们将详细描述网络的每个组成部分。
4.1. 图像编码器
图像编码器Encimg(Ii;θimg): Rw×h×c→Rz从输入的时间序列xTS中为每张卫星图像Ii提取一个token ti。这样得到一组token Timg={ti}i=1n,其中n表示输入图像的数量。我们使用ResNet18(He等人,2016年)作为主干网络,但我们的方法不依赖于特定主干网络的选择。
森林砍伐掩码
为了引导图像特征提取器关注图像的特定部分,我们使用森林砍伐掩码xdef来标识输入卫星图像覆盖的区域。这是因为森林砍伐区域只占图像的一部分,图像的其余部分可能仍然包含相关上下文,但预测应主要基于森林砍伐区域。
为了使用森林砍伐掩码作为输入,我们首先按照图3中的方法对其进行预处理。我们将掩码二值化,如果目标时间段内给定像素发生了森林砍伐,则值为1,否则为0。然后我们对掩码应用高斯模糊处理,并将其下采样到与图像编码器的某个特征图相同的尺寸。我们经验性地选择ResNet18图像编码器中的第三个特征图,因为它在验证集上表现最佳。
4.2. 位置编码器
对于每个输入样本,xloc以纬度和经度坐标的形式提供。位置编码器Encloc(xloc,θloc): R2→Rz将这两个输入值转换为z维的token表示,这对后续任务有用。通常,位置编码器由非参数位置嵌入(PE)和参数化神经网络(NN)组成(Ru?wurm等人,2023年)。
使用PE转换原始坐标值可以避免经线上的不连续性。我们的数据集涵盖了大部分热带地区,因此我们期望坐标值的连续表示是有益的。由于每种PE方法以不同的方式嵌入地理上下文,我们评估了几种PE方法以找到表现最佳的方法。PE的选择受到了Ru?wurm(2023年)的启发。我们没有包含可调超参数的PE,以减少比较的复杂性。
对于NNs,我们比较了单个线性层作为基线(FCNet(Mac Aodha等人,2019年),因为它常用于位置编码(Ru?wurm等人,2023年),以及SIREN(Sitzmann等人,2020年),后者特别适合表示位置,因为它使用正弦激活函数。与比较PE类似,我们的目标是通过实验确定哪种NN表现最佳。
总共,我们比较了9种位置编码变体,每种都包括应用于输入坐标对的PE和NN。PE和NN的选择受到了Ru?wurm(2023年)的启发,所选方法在附录A中有描述。
4.3. 表格编码器
表格编码器Enctab(xtab,θtab): R11→Rz是一个全连接层,后面跟着一个ReLU激活函数,它将11个输入值映射到一个z维的token。
我们使用这种简单的编码方法,因为尝试了其他编码器架构没有获得更好的结果——例如包含多个FC层的更深层编码器,以及为每个表格值单独的线性投影层。
4.4. 多模态融合与分类
在使用各自的编码器对输入模态进行编码后,我们得到一组大小为z的t tokens。为了将这些token融合在一起并提取多模态表示,我们使用了Transformer编码器(Vaswani等人,2017年),Enctransf(T,θtransf): Rt×z→Rt×z(图4的中间部分)。Transformer要求所有token大小固定,这是使用特定模态编码器的动机。Transformer使用的自注意力层允许每个token关注所有其他输入token,从而实现不同输入模态之间的交互。
编码器的输出与输入的维度相同,即z维的T tokens。为了适应分类任务,我们在输入token序列的开头添加了一个随机初始化的‘CLS’(分类)token,如Devlin(2018年)所提出的。对应于‘CLS’ token的输出嵌入是整个多模态token序列的聚合表示。这是将Transformer架构适应于语言和视觉分类任务的标准方法(Devlin,2018年;Dosovitskiy等人,2020年)。还有其他选项,例如对所有输出token进行全局平均池化,但尚未观察到这种方法的好处(Dosovitskiy等人,2020年)。
这个‘CLS’ token随后被传递到一个全连接层(图4中的‘Classifier’ FC(T,θFC): Rz→R11),并使用softmax激活函数产生11个输出类别的概率。
5. 实验设置
实验旨在测试我们的假设,即包含位置和表格数据模态可以提高分类准确性,与仅使用图像时间序列相比。通过对不同大小的训练数据集进行分析,因为标记训练数据的稀缺性是分类森林砍伐后土地利用的主要挑战之一。
还进行了额外的实验来:
- 评估所提出的多模态融合方法与以下基线的对比:
- 中间融合(使用编码器):从所有模态中提取token,并使用特定模态的编码器进行连接;然后将结果向量传递给全连接分类器(图B.9(a))
- 中间融合(Irvin等人,2020年的方法):仅使用图像编码器;将图像token与其他输入连接,然后将结果特征向量传递给全连接分类器(图B.9(b))
- 后融合(Masolele等人,2022年的方法):从所有模态中提取token,并为每种模态使用单独的全连接分类器;对特定模态的预测进行平均(图B.9(c))
- 测试使用森林砍伐掩码作为输入是否能提高模型性能;
- 比较不同的位置编码方法,并确定哪种PE和NN表现最佳;
- 找到图像时间序列的最佳大小;
最后,分别分析了位置和表格模态,以提供模型行为的见解和直觉。
模型通过最小化交叉熵损失进行端到端训练:(1)?1/N∑i=1N∑c=1Cyi,clog(pi,c),其中N是训练样本的数量,C是类别的数量,yi,c∈{0,1}是样本i的真实标签,pi,c是通过模型logits的softmax得到的预测概率。
对于ResNet18图像编码器,我们使用了在ImageNet上预训练的权重。这些预训练的权重只有三个输入通道,因为它们是在自然RGB图像上训练的,而我们使用了四个波段。为了解决这个问题,我们复制了对应于第一个通道的权重以匹配我们的输入数据格式。
所有实验都在单个NVIDIA GeForce RTX 3090 GPU上执行。我们使用5折交叉验证调整了所有超参数。为了获得最终的测试指标,我们对模型进行了50个时期的训练。所有训练配置都使用了不同的随机种子进行了5次实验,并对结果进行了平均。
作为评估指标,我们使用准确率和F1分数。
6. 结果
我们首先报告和讨论了使用不同输入数据模态组合的影响。然后,我们报告了消融研究和敏感性分析。最后,我们分析了位置和表格模态。
6.1. 输入模态组合
图5显示了不同训练数据集大小下所有输入模态组合的结果。当使用所有三种模态时,可以获得最佳结果,这在数据量较少的情况下尤为明显。在完整数据集大小上训练时,使用所有模态的模型与仅使用图像和位置的模型相当。
随着训练数据集大小的增加,位置的加入带来的改进比表格数据更大。这可能是由于表格数据的性质,它仅在国家层面可用,因此增加数据集大小的效果有限(国家数量保持不变)。相比之下,每个训练样本都与一组独特的坐标相关联,随着训练数据集大小的增加,改进更加一致。我们还发现表格数据的好处取决于国家大小。如图E.12所示,随着国家面积的增加,F1分数的改进会减少,因为较大的国家具有更多的内部变异性,而这无法通过一组值很好地捕获。
仅使用图像模态也能获得令人满意的结果,并且随着训练数据集的增加,改进是一致的。这是预期的,因为包含更多的图像样本会增加训练数据的多样性。尽管如此,仅使用图像的模型与多模态模型之间仍然存在大约10%的准确率差距。对于包含图像模态的所有变体,绘制的线条形状表明,如果有更多的训练数据,可以获得进一步的改进。
6.2. 输入模态组合的影响
当仅使用位置作为输入时,使用较小的数据集训练会导致高方差,表明不稳定性和缺乏鲁棒性。随着训练数据集大小的增加,准确率也增加,在完整数据集大小时达到0.57,证实了数据中存在强烈的空间模式。
仅使用国家级表格数据作为输入明显是有限的,然而当训练数据集增加到完整数据集大小时,可以观察到小幅度的准确率提升,达到0.44。这是因为同一国家内的样本并不总是相同的,因为每个训练样本可能与不同的森林砍伐年份相关联。这引入了输入数据的轻微变化,因为它们是相对于每个输入样本的森林砍伐时期计算的。
结合这两种辅助模态进行训练可以获得更好的性能(0.62),表明它们包含互补信息。尽管如此,图像时间序列显然是最重要的输入模态。没有视觉线索,土地利用分类任务无法准确执行。因此,在本节的其余部分,我们只考虑包含图像时间序列的模态组合。
对于完整数据集大小,各类别的结果显示在表2中。对于大多数类别,多模态变体的表现优于仅使用图像的基线。对于建筑物/道路、采矿和大豆这些类别的识别,额外的模态没有带来好处。前两者通常不与特定位置或区域相关联,也不与表格数据相关(表格数据仅限于农产品)。相比之下,表格数据对于大豆是可用的,而且大豆在数据集中也有明显的空间聚集——该类别的所有示例都出现在三个南美国家:巴西、乌拉圭和巴拉圭。尽管如此,这三个类别都有明显的视觉特征(如图1所示),仅通过卫星图像就能进行准确分类。
表2. 不同模型配置的每个类别F1分数
输入模态 模型配置
图像 位置 表格
xxx xxx xx
建筑物/道路 0.93 0.93 0.92
可可 0.90 0.88 0.96
咖啡 0.44 0.63 0.61
森林种植园 0.65 0.66 0.66
采矿 0.86 0.84 0.85
油棕 0.68 0.69 0.80
其他 0.77 0.83 0.87
牧场 0.76 0.85 0.86
橡胶 0.58 0.66 0.87
流动农业 0.73 0.83 0.95
大豆 0.85 0.85 0.85
加权平均 0.78 0.81 0.87
宏平均 0.74 0.79 0.84
在咖啡和森林种植园类别上获得了最差的结果。关于咖啡,这类数据的训练样本较少。此外,咖啡有多种种植方式,如露天种植和荫蔽种植(Pisl等人,2024a)。这些特征在卫星图像上表现出不同的外观,导致了较高的类内变异性,这使得这一类别的识别变得特别困难。至于森林种植园,它可能没有足够明显的视觉或位置模式。由于该类别的标注样本仅来自一个数据集,因此可能存在较高的标签噪声率。关于使用表格数据的好处较少,这可能是因为与该类别相关的产品(木纤维)也是通过从天然森林中采伐木材获得的(而不是森林种植园)。因此,如果表格数据显示由于木材采伐导致了高森林砍伐率,并不一定意味着这些地区被转换为森林种植园。这一点与其他所有包含的商品类型不同。
6.2 消融与敏感性分析
多模态融合。结果显示在表3中。Transformer编码器取得了最佳效果,分别比其他中融合变体高出2%和3%。当使用晚期融合时,性能下降了5%,这表明跨模态交互对于这项任务非常重要。就模型大小而言,Transformer编码器比MLP更大,但其大小仅占总模型大小的约14%,因为模型的最大部分是图像编码器(1100万个参数)。
使用森林砍伐掩码。如表4所示,在图像编码器中使用森林砍伐掩码可以提高5%的性能。没有森林砍伐掩码时,模型无法判断图像的哪些部分是相关的,并且会从整个图像中提取特征。在许多情况下,这可能导致正确的预测,因为图像覆盖的区域相对较小(1平方公里),并且单一的土地利用类型可能占据整个区域。然而,正如结果所示,通常需要精确地定位图像中的森林砍伐区域。
位置编码器的比较。不同位置编码变体之间的差异很小,如表5所示。我们选择“Wrap”作为PE方法,“Linear”作为NN,因为它们具有联合最佳性能和最少的参数数量。由于获得的结果差异不大,我们进行了成对t检验,证实了这一选择。
6.3 输入时间序列长度与相应训练时间的比较。时间序列始终取自2023年。
表3. 多模态融合比较;架构如图B.9所示。
融合类型 架构 参数数量 准确率
mid-fusion encoders & MLP 11 63 0.84
mid-fusion MLP 11 42 0.85
late fusion MLP per modality 11 44 0.82
mid-fusion encoders & Transformer (我们的) 13 028 0.87
表4. 在图像编码器中使用森林砍伐掩码的效果。
未使用森林砍伐掩码 准确率 0.82
使用森林砍伐掩码 准确率 0.87
6.3 位置模态分析
我们关注两个类别——建筑物/道路和油棕榈——来研究包含位置模态对模型预测的影响。如6.1节所讨论的,建筑物/道路类别可以从卫星图像中单独准确识别,且不依赖于强烈的空间聚类。因此,我们假设无论空间位置如何,模型都能识别这一类别。相比之下,油棕榈是一种视觉特征不太明显的树木作物,其光谱特征与其他树木作物类别(如咖啡、可可、橡胶或森林种植园)相似。它也更可能出现在某些特定地区,尤其是在马来西亚和印度尼西亚。表2的结果证实,包含位置模态确实显著提高了模型准确分类油棕榈的能力。我们预计模型对这一类别的位置变化更加敏感。
为了验证我们的假设,我们在热带地区生成了1000个随机位置,并随机选择一个油棕榈类别的图像时间序列。我们使用训练有素的模型对该图像时间序列进行1000次重复分类,每次都与不同的位置配对。然后,我们对显示建筑物/道路的图像时间序列进行相同的实验。为了隔离位置模态的影响,这次实验不使用表格数据。这使我们能够观察改变输入坐标对这两个类别预测的影响,同时保持其他输入不变。结果证实了我们的假设。对于建筑物/道路类别,模型在所有1000个案例中都正确预测了该类别,这表明模型可以从输入图像中识别这一类别,而不依赖于位置模态。相比之下,在分类油棕榈的图像时间序列时,输入坐标起着重要作用。在1000个样本中,模型将719个样本预测为油棕榈,55个为橡胶,226个为森林种植园。如图7所示,预测显然具有空间聚集性。所有的橡胶预测都位于东南亚,特别是在缅甸、泰国、老挝、柬埔寨和越南附近。这与训练数据的空间分布相符,因为在这些地区橡胶是最常见的类别。所有预测为森林种植园的位置都位于南美洲的中部,包括巴西、玻利维亚、秘鲁和智利。尽管该地区有很多森林种植园的训练样本,但在大部分地区最常见的类别是大豆(图2)。尽管如此,模型在这个实验中没有预测到任何大豆,可能是因为大豆的视觉特征明显不同。
这些结果表明,当图像数据不足以识别真实类别时,模型并不会简单地预测给定地区最常见的类别。相反,它会从其他可能的选项中选择,例如在这个案例中选择的森林种植园,因为它与油棕榈有相似的外观。
6.4 表格数据的分析
在这里,我们研究了表格数据对预测的影响。表格数据包含了一组十一个值,每个输出类别一个。这些值是对某个类别可能导致森林砍伐量的粗略估计(或者在缺失值的情况下作为占位符)。直观上,某个类别的较高值应该会增加该类别的输出概率。模型架构中没有明确说明输入表格值与输出类别之间的联系,但我们假设模型在训练过程中隐式地学会了这一点。在这个实验中,我们旨在验证或反驳这一假设。我们使用柬埔寨境内的测试样本,因为所有样本都位于测试集中,从而避免了表格数据在训练集和测试集之间的泄露。我们选择了三个类别:橡胶(作为农产品的一种例子,也是该国的主要作物)、大豆(另一种在该国不存在的作物)以及采矿(一种与农业无关的土地利用类型,因此与表格值无关)。我们对每个类别的所有样本进行重复预测,每次都使用修改后的表格数值。我们测试的数值范围是0到3,间隔为0.1。选择这个范围是因为表格值已经被标准化为均值为0和方差为单位值,因此99.7%的数值将在0到三个标准差之间。我们观察模型输出概率如何随着修改后的表格值而变化。如果模型学会了隐式地将表格值与对应的输出类别关联起来,那么随着表格值的增加,该类别的平均预测概率应该也会增加。结果显示了我们的假设是正确的。当增加橡胶类别的表格值时,通常该类别的平均预测概率确实会增加,0到0.1范围内的表格值除外。在增加大豆的表格值时也能看到相同的趋势,尽管曲线的形状不同。相比之下,对于采矿来说则观察不到这种趋势。表格值的修改对模型预测的影响不规则。这可以解释为在训练期间没有该类别的表格数据(即总是被缺失数据指示符替代),因此模型没有学习到这个特定表格值与输出类别之间的关联。
7. 讨论
在这项工作中,我们提出了一种新的方法,用于映射森林砍伐后的土地利用,该方法结合了卫星图像时间序列和两种类型的位置输入。我们提出了一个基于Transformer的模型架构,专门为这项任务设计,能够灵活高效地整合所有输入数据。我们证明了添加地理位置和粗略的国家级表格数据可以提高预测的准确性,特别是在训练小型数据集时。使用森林砍伐地图提供的森林砍伐事件的精确位置进一步提升了性能。我们的实验结果表明,虽然模型架构的选择对结果有影响,但输入数据的选择是更重要的因素。我们在一个泛热带数据集上训练模型,该数据集来自各种公开来源,以便从免费可用数据中识别与森林砍伐相关的土地利用类型。这有助于弥合对森林砍伐驱动因素的知识在空间和时间上的差距,因为森林砍伐后的土地利用是估算这些驱动因素的常用代理。我们展示了训练数据集的大小对模型性能有显著影响,收集更多数据可能会带来额外的提升。
需要指出的是,所提出的方法存在一些局限性。表格数据带来的性能提升较为有限,并且随着训练数据集大小的增加而减少。我们认为这是由于空间分辨率较低,以及随之而来的独特训练数据点数量不足。正如下面所讨论的,这可以通过新的、更详细的数据集来解决。在某种程度上,这也可能是因为目前可用的国家级统计数据的不精确性,在某些情况下与遥感获得的结果存在根本差异(Kalischek等人,2023年)。
关于位置模态,模型只能学习训练数据中存在的空间模式。由于神经网络的特性,我们的模型无法推断出新的、未见过的区域。由于训练数据存在空间偏差,这种偏差可能在训练过程中传递到模型中。因此,在某些地理区域中,由于缺乏训练样本,模型可能无法达到所报告的性能。这凸显了需要更多且分布更加均匀的训练数据的重要性。未来工作有几个有前景的方向。由于基于Transformer的架构具有灵活性,可以添加更多的输入模式。具体来说,环境、气候和地形变量可以作为有价值的协变量,因为农产品通常只能在特定条件下种植,或者与特定的海拔高度(例如油棕或咖啡)相关。其他传感器(如Sentinel-1)的数据也可以整合进来,以解决热带地区常见的云层覆盖问题。随着更高分辨率数据的出现,可以逐步用这些数据替代国家级别的农产品表格数据。Goldman等人(2020)提供了热带地区七种森林风险农产品的县级毁林后土地利用估算。CROPGRIDS数据集(Tang等人,2024)提供了全球173种作物的种植面积和收获面积,分辨率为10公里。这些数据可以像DeDuCE数据集一样进行整合,但由于包含更多关于农产品空间分布的详细信息,可能会有显著的改进。总体而言,这项工作提出了一种新的、数据驱动的方法,利用多模态深度学习的最新进展来克服当前的限制,实现对毁林后土地利用的精细分类。该方法可以自动且可重复地将热带地区的任何毁林现象归因于特定的驱动因素。了解这些驱动因素对于设计和实施有效的、有针对性的政策措施至关重要。因此,我们希望我们的工作有助于保护和维护热带森林。
CRediT作者贡献声明:
Jan Pi?l:撰写 – 审稿与编辑,撰写 – 原始稿,验证,软件开发,方法论研究,数据分析,概念化。
Gencer Sumbul:撰写 – 审稿与编辑,指导,方法论研究,概念化。
Gaston Lenczner:撰写 – 审稿与编辑,指导,方法论研究,概念化。
Camilo Zamora:撰写 – 审稿与编辑,数据分析。
Martin Herold:撰写 – 审稿与编辑。
Jan Dirk Wegner:概念化。
Devis Tuia:撰写 – 审稿与编辑,指导,方法论研究,资金筹集,概念化。