利用Sentinel-2卫星数据和城市地理空间信息，通过扩散增强深度学习技术对城市森林冠层高度进行建模

《International Journal of Digital Earth》：Mapping of urban forest canopy height through diffusion-enhanced deep learning by using sentinel-2 and urban geospatial data

城市冠层高度是评估城市生态系统服务和功能的关键指标，但传统方法面临数据碎片化和异质性问题。本文提出MUFCH模型，通过融合Sentinel-2卫星数据和OpenStreetMap的矢量数据（如土地利用和道路网），结合扩散模型的渐进式去噪机制和坐标注意力机制，实现高精度冠层高度估计。实验表明，模型在北京市的MAE为2.019米，RMSE为3.090米，较基线模型分别提升26.39%和19.28%，且在上海的跨区域验证中表现出良好的泛化能力。该方法为低成本、大范围城市森林资源评估提供了新方案。

　　城市森林冠层高度是评估城市生态系统服务和生态功能的关键指标。然而，城市森林的碎片化和异质性给深度学习方法在大规模森林冠层高度制图中的应用带来了挑战。为了解决这一问题，我们提出了一种新颖且可扩展的多模态城市森林冠层高度（MUFCH）估算模型，该模型结合了扩散机制和地理空间辅助数据。实验结果表明，MUFCH估算模型实现了2.019米的平均绝对误差（MAE）和3.090米的均方根误差（RMSE），分别比基线模型提高了26.39%和19.28%，这使得能够利用开放数据进行高精度的冠层制图，为评估关键森林指标提供了一种成本效益高的解决方案。

城市森林包括分布在城市空间中的所有树木和灌木，如街道、公园、林地、空地和住宅区等。城市森林作为森林和城市生态系统的重要组成部分，提供了关键的生态系统服务，如微气候调节、空气污染去除和碳汇与碳储存。森林冠层高度作为定义森林垂直结构的关键参数之一，是影响这些服务质量和能力的重要因素。因此，准确提取和制图森林冠层高度对于精确描述城市森林和评估其提供的生态系统服务和功能至关重要。

传统的森林冠层高度测量方法依赖于系统建立和调查地面森林样地。然而，这种方法面临诸多挑战，包括高人工成本、在大范围推广时的难度以及空间覆盖的不完整性。随着遥感和光探测与测距（LiDAR）技术的快速发展，这些技术能够对森林进行全面且精确的测量和监测，因此成为森林资源调查的强大工具。基于无人机或飞机的LiDAR可以直接测量森林冠层高度，并提供高分辨率的冠层和地形三维结构信息。然而，由于其高成本和技术限制，这种方法并不适合大规模的覆盖应用。另一方面，基于空间的LiDAR系统为全球森林冠层高度观测提供了一种有价值的手段。然而，它们受到离散地面采样足迹的显著限制，导致空间覆盖不完整。此外，在城市环境中，由于土地资源有限和城市规划的限制，城市森林绿地的分布往往呈现出异质性和高度碎片化的特征，这与大规模森林覆盖如原始森林有所不同。因此，城市森林绿地的估计难度较高，且受多种影响因素的制约。城市区域对无人机等空中平台的使用往往有严格限制，这进一步增加了空中LiDAR部署的复杂性。因此，克服地面测量和LiDAR测量的局限性，构建一种适用于城市森林冠层高度估算和制图的可行方案，成为一项重要的研究挑战。

目前，许多研究已经结合深度学习方法，提出了高度有效的冠层高度估算模型。这些模型利用低成本的卫星遥感数据作为输入，以解决森林冠层高度估算的问题，充分发挥了深度学习在捕捉复杂模式方面的卓越能力。例如，Lang等人提出了一种基于深度学习的全卷积网络（FCN）模型，通过整合来自全球生态系统动态调查（GEDI）的稀疏高度数据和Sentinel-2光学卫星图像，实现了全球森林冠层高度的估算。Schwartz等人首次在卷积神经网络（CNN）模型中同时使用GEDI、Sentinel-1和Sentinel-2数据，对森林冠层高度进行回归估算。Cambrin等人首次将单目深度估算模型转移到全球森林冠层估算任务中，利用遥感数据。Fayad等人提出了一个名为Hy-Tec的森林冠层高度模型，并基于视觉变换器（ViT）架构引入了离散和连续的损失函数，验证了变换器架构可以缓解卷积神经网络的局限性，并解决深度学习模型在预测高大树木高度时的不足。

目前，用于森林冠层估算的低成本和通用深度学习模型通常仅依赖单一输入模态，并采用简单的架构如UNet或Transformer。这些模型具有训练时间短和模型易于理解的优势。然而，参数较多的架构如UNet在训练数据不足时容易出现过拟合现象，并且在识别细节和边界方面的能力有限。相比之下，扩散模型（Ho, Jain, and Abbeel, n.d.；Song, Meng, and Ermon, 2022）被认为是生成模型中最有前景的一种，采用马尔可夫链迭代进行逐步细化。这种方法不仅能够生成更平滑和准确的结果，而且在保持复杂数据建模能力的同时，也减少了过拟合的风险。具体而言，扩散模型可以通过逐步添加噪声和去噪，恢复更平滑和详细的成果，这不仅减少了拟合速度，还增强了对细节的感知能力。此外，这种逐步生成的机制使模型能够更准确地捕捉数据的复杂分布，因此在许多图像生成类型中得到了广泛应用（Rombach et al., 2022），并已显示出在语义分割、图像重建和时间序列预测等下游应用中的优异结果（Ho et al., 2022；Ji et al., 2023；Rasul et al., 2021）。

在城市森林冠层高度制图方面，由于城市森林的复杂性和异质性，需要一种基于扩散建模机制的深度学习网络，该网络能够精细识别森林分布的细节和像素级高度。这正是我们面临的主要挑战。将这种机制引入估算模型中，不仅能够提升模型对细节的把握能力，还能够增强模型的泛化能力。

我们开发了一种专门的深度学习网络模型，称为多模态城市森林冠层高度估算模型（MUFCH估算模型），用于城市森林冠层高度的估算，以满足支持城市生物量量化和生态系统服务评估的成本效益型测量方案的需求。为了克服传统方法在数据采集和处理成本方面的限制，我们使用了公开可用和免费的卫星遥感图像，有效地将冠层高度估算问题转化为计算机视觉任务。我们创新性地引入了多种来源和多模态的先验知识，包括考虑多种社会因素的OpenStreetMap（OSM）矢量数据和城市森林类型文本描述，以有效应对城市森林结构的碎片化和城市社会环境的复杂性。在模型构建方面，我们深入探讨了深度学习在估算森林冠层高度方面的潜力和最新研究，不仅构建了多个能够将城市先验知识作为辅助提示整合进模型的模块，还引入了一种受扩散模型启发的新型DiffDenoisingUNet模块。这一创新性添加显著提升了生成结果的质量，同时确保了模型的稳定训练。

在城市森林冠层高度估算方面，我们的模型提供了一种新的方法，实现了大规模、高效且低成本的森林冠层制图，可以广泛应用于林业资源计算、生态服务功能量化和生态系统服务评估，有助于推动城市森林监测和评估的可持续发展。

在数据部分，我们使用了Sentinel-2卫星数据和OSM数据。Sentinel-2是欧洲哥白尼计划中的卫星，旨在系统地获取高分辨率的多光谱影像。它携带了一种多光谱成像仪，能够捕获植被、土壤和水覆盖的13个光谱波段。我们通过Google Earth Engine（GEE）获取了2020年研究区域的Sentinel-2 Level-2A影像。我们选择了蓝色、绿色和红色波段（所有波段的空格分辨率为10米），以模拟可见的城市地表特征，并选择了云量不超过15%的场景。这种选择避免了由于重采样引入的空间错配问题；此外，RGB波段能够直接组合为真彩色图像，与本研究中采用的计算机视觉框架相一致。为了优化计算效率并符合深度学习输入标准，多光谱卫星影像被归一化为8位无符号值，范围从0到255，并以256×256的瓦片大小创建瓦片包。256×256的大小在平衡内存限制和上下文信息捕捉方面是最佳选择，适合需要固定大小输入的CNN模型。最后，我们过滤掉边缘瓦片，这些瓦片在裁剪后不符合Height×Width≠256×256的条件，以及超出城市边界的部分，以确保所有输入模态的空间一致性。

在方法论部分，我们提出了一个创新的MUFCH估算模型，该模型通过一个三阶段的方法整合城市辅助知识。模型首先使用在大规模数据集上预训练的特征提取器提取遥感影像特征，然后通过建模城市森林与城市功能属性之间的关系，对多模态城市辅助数据与深度遥感影像特征进行特征级融合。随后，模型采用具有去噪能力的基于UNet的架构来重建和生成高质量的森林冠层高度地图。整个架构如图2所示，包括三个部分：图像特征编码器、多模态辅助知识引导提示模块和DiffDenoisingUNet模块。这三个模块串联起来输出估算值。

在图像特征编码器部分，我们引入了变分自编码器（VAE）模型（Kingma and Welling, 2022）到预训练的Stable Diffusion模型（Rombach et al., 2022）中。VAE模型是一种用于压缩和映射图像到潜在空间，并将其恢复为像素空间的网络。我们使用了参数冻结的编码器，将多光谱卫星影像映射到潜在空间中的低维语言特征，减少了像素级信息冗余。提取并压缩Sentinel-2影像输入的C×H×W特征，将其从3×256×256映射到4×32×32，并提取深层语义特征。最后，我们通过转置卷积层对特征图进行上采样，提高空间分辨率，并将其与原始Sentinel-2特征图进行拼接。

在多模态辅助知识引导提示模块部分，我们设计了类别引导提示模块（CGPM）和特征融合模块。我们的设计概念是建立城市规划与森林分布之间的关系，并整合土地利用和城市道路网的辅助知识。具体而言，使用CGPM模块，我们结合土地利用影像与类型文本，生成土地利用类别提示。此外，我们引入道路网影像作为一种城市辅助信息，以提示道路网特征，进一步增强城市区域辅助提示的整合能力。为了在保持所有信息的同时融合这些特征，我们对特征进行通道级拼接。同样，为了动态调整特征并增强其表达能力，我们在拼接过程中也引入了可训练的权重。最后，通过通道级拼接，我们获得了最终的多模态辅助知识引导提示模块的输出。

在DiffDenoisingUNet模块部分，我们借鉴了扩散模型中“前向扩散逆向去噪”的原理，构建了一个基于UNet的去噪模型。DDUM通过逐步去噪生成样本，使其更接近目标分布。与标准UNet相比，这种方法增强了模型的拟合能力，最终输出更准确的城市森林冠层高度地图。

扩散模型的基本概念是通过一个可逆的过程添加噪声，将图像转换为噪声数据，然后通过逆向过程恢复原始数据或从噪声中生成目标数据模式（Croitoru et al., 2023）。这种生成方法通过训练去噪模型，旨在从噪声输入中以最小的误差恢复数据。生成城市森林冠层高度地图的像素级预测任务，尤其是在城市森林异质分布的情况下，受到用于训练和推理的遥感图像的复杂性和噪声增加的影响，这比普通光学图像更复杂。我们提出了一种DDUM模块，通过将扩散原理整合到常用的森林冠层高度估算的基线UNet架构中，将冠层高度预测转化为去噪过程。该框架在不牺牲效率和可训练性的情况下提高了输出的准确性。此外，我们引入了一种高效的坐标注意力机制（Hou, Zhou, and Feng, 2021），以增强方向感知和位置敏感性，并增强边缘判别能力。这在区分复杂的森林与非森林分布中起到了重要作用。

在损失函数部分，我们将森林冠层高度估算视为一个回归任务，其中损失函数量化了预测值与基准值之间的差异。最常用的损失函数包括MAE（平均绝对误差）和MSE（均方误差）。然而，由于城市森林的特殊性——如易受面积缩减和碎片化影响，且与城市化进程密切相关——这些特征在森林冠层高度估算中具有决定性作用。这导致了训练样本的长尾分布，从而在模型预测中产生整体偏差。因此，我们提出了一种用于估算森林冠层高度的损失函数，它结合了Dice损失、MSE损失和MAE-CH损失，并根据各自在处理平均误差和异常值敏感性方面的优势进行整合。考虑到森林冠层高度估算任务的特殊性，该损失函数能够有效指导整体匹配、全局和局部误差的结合。

在实验部分，我们选择了中国首都北京作为模型训练和测试的主要地点，并将中国的重要经济中心上海作为模型迁移实验的测试地点。城市森林绿地在这些城市中被选为训练和评估所提出的估算模型的数据。对于模型训练、验证和评估，我们将Sentinel-2数据和两个OSM数据集分为训练、验证和评估集，比例为6:2:2。

在实验结果部分，我们的MUFCH估算模型在测试数据集上实现了2.019米的MAE和3.090米的RMSE。此外，我们对森林冠层高度估算进行了5米间隔的评估，并列出了每个间隔内的测试点总数。根据城市森林调查的基本情况和历史经验，我们定义了高度范围[0米, 35米]为关注区间。很少有单棵树的高度超过35米，因此未被计入表格。在数据密度最高的区间RH∈[0米, 10米]中，预测模型表现良好，实现了低于3.07米的MAE和低于3.83米的RMSE。最佳表现出现在RH∈[10米, 30米]区间，其中MAE保持在2.84米以下，RMSE保持在3.44米以下，表明模型具有强大的估算能力。

通过可视化一些测试样本，可以观察到我们的预测值通常非常接近基准高度，且主要分布回归线几乎与y=x线重合。当我们分析这一测试样本集的高度分布时，发现每个区间内的点密度与表格中的分布非常一致。此外，预测高度呈现出与基准高度高度一致的分布模式，进一步表明了我们模型预测的高度可靠性和参考价值。

我们还进行了针对引入的城市辅助知识的有效消融实验。我们使用基线作为基本网络架构，并在实验中整合了道路网、土地利用以及两者。根据实验结果，额外的城市辅助知识表现出显著的有效性。在实验中，采用了一种简单的拼接方法来整合城市级知识。这种方法在MAE和RMSE指标上实现了改进，具体而言，将MAE降低了0.111，将RMSE降低了0.117，同时在不同辅助知识提示下，提高了阈值准确度1.8%、2.0%和2.0%。然而，由于拼接方法的简单性和浅层性，对δ的改进较为有限，进一步突显了我们提出的MUFCH模块在模型中的优越性。

在与先进方法的比较中，我们对提出的MUFCH估算模型进行了严格的比较，包括α-MDU、Hy-Tec、PixelCNN、DeepLab V3、FCN和SegNet等最新的森林冠层高度模型。如表4所示，我们的模型在广泛的冠层高度范围内始终保持最低的RMSE。具体而言，在整体评估中，我们的模型实现了令人印象深刻的3.090米RMSE，优于其他模型。此外，我们的模型在关键高度范围5到30米内表现出色。值得注意的是，在[15米, 20米]范围内，我们的模型实现了2.385米的RMSE，比其他模型的准确度提高了20%以上。在[20米, 25米]范围内，误差进一步降低至2.085米，比其他模型的准确度提高了30%以上。这一结果表明，我们的模型在估算不同森林结构的冠层高度方面具有显著的优势。

此外，我们的模型在夜间显著的热岛效应和改善人类热舒适度方面展示了其潜在的应用价值。城市热岛效应显著影响城市地区的温度变化，其特点是城市区域的温度高于周边非城市区域，且夜间温度差异更为明显。城市温度的升高对公众健康产生负面影响，并导致能源消耗增加，从而加剧温室气体排放。然而，城市绿地可以通过减少环境空气温度和提供遮荫表面，有效缓解这些不利影响，主要通过蒸腾作用实现。这种绿地的降温能力与树冠结构的属性密切相关，特别是冠层高度和冠层覆盖度。近年来，许多研究通过无人机的现场扫描技术获取了城市森林冠层结构的准确且可量化数据，而我们提出的MUFCH模型能够在城市内的任何高度范围内估算冠层高度，使得能够对城市森林在大范围内的温度调节生态系统服务进行定量分析。我们的模型不仅支持全范围高度估算，还在[0米, 25米]范围内表现出增强的估算精度，涵盖了许多城市中的平均冠层高度。

此外，城市森林被广泛认为是城市生态基础设施的重要组成部分，对提高城市生物多样性、调节温度和减轻极端天气条件的影响具有重要作用。城市公园作为城市森林的重要元素，是支持市民休闲和娱乐活动的重要户外空间。在城市公园中，城市森林通过增加地表和植被的遮荫和蒸腾作用，改善微气候条件，从而增强人类热舒适度。目前，许多研究通过现场测量和模拟验证并量化了树木和遮荫因素对城市舒适度的影响（Cheung and Jim, 2019；Chow et al., 2016；Xue et al., 2023），而如归因和样地测量等方法则常用于估算场景中的平均树高（Chow et al., 2016；Zhang, Xu, and Pan, 2023）。我们的研究提出的模型为评估这种生态服务提供了支持。通过整合遥感影像和城市数据，模型能够生成相应的森林冠层高度估算，这有助于更精确和可靠地评估城市森林在公园环境中的热舒适度影响。

然而，我们的研究仍存在一些局限性，需要进一步探索。目前，我们的模型在城市尺度上运行，研究区域是内陆中国的北京，而零样本验证的案例研究则是中国的重要经济中心上海。这初步表明了模型具有良好的估算能力和一定的迁移能力。然而，模型在更广泛背景下的适应性和迁移能力尚未得到充分评估。具体而言，涵盖不同地理环境（沿海、岛屿）和城市功能类型（经济中心、旅游城市）的更多年份和足够的空间数据，可以极大地增强模型的空间泛化能力。因此，模型在不同区域和城市类型之间的迁移能力和泛化能力仍然是重大挑战。其次，由于不同冠层高度区间的性能异质性，模型在[10米, 25米]区间表现最佳，而在[0米, 10米]和[25米, 35米]区间的表现略差。尽管[10米, 25米]区间涵盖了许多城市广泛种植树种的典型成熟高度，但在北京，核心城市绿化树种如东方 thuja、油松、日本刺槐和银杏的成熟高度通常超过10米。然而，当前数据对于在城市景观工程中广泛使用的低矮观赏树种缺乏代表性。为了满足这些具有重要景观和文化价值的城市绿化树种的精确监测需求，模型在低冠层高度下的有效性需要进一步优化和验证，使用更广泛的空间和时间尺度以及研究区域的数据。

为了克服这些局限并进一步验证模型的性能和普适性，未来的研究将聚焦于构建一个大规模的基准数据系统，以突破当前模型在空间-时间多样性和功能多样性方面的优化和验证瓶颈。系统性地整合覆盖不同地理环境（如沿海、内陆和岛屿地区）以及不同城市功能类型（如首都城市、经济中心和旅游城市）的高分辨率数据集。同时，增强对城市景观关键要素——特别是0到10米高度范围内的低矮观赏树种——的针对性采样，以满足这些树种在城市景观规划中的精确监测需求。构建一个适用于大规模和更广泛场景的模型，显著增强其对时间动态的适应能力，并在更广泛的空间-时间条件下系统性地提高和验证其有效性和迁移能力。