通过结合街景图像和遥感影像的多源时间融合技术来检测城市功能区的变化

《International Journal of Applied Earth Observation and Geoinformation》：Detecting urban functional zones changes via multi-source temporal fusion of street view and remote sensing imagery

城市功能区动态监测方法研究基于街景（SV）与遥感（RS）数据融合，提出多源时空融合模型（MSTFM）。通过注意力机制动态整合SV的高分辨率建筑特征与RS的大范围时空信息，构建多源特征融合模块（MSFM）和时空融合模块（MTFM），实现城市功能区分类与变化检测。在 Datong、Chengdu、Nanjing 三城验证，分类准确率达 85.58%-87.79%，变化检测准确率超 93%，Kappa 系数达 0.722-0.8477，有效捕捉城市扩张、产业转型及居住区重构等动态。

　　城市作为人类文明的象征，不仅是经济活动的中心，也是文化交流和技术创新的重要场所。随着城市化进程的加快，城市的功能区（Urban Functional Zones, UFZs）也在不断演变。这些变化不仅反映了城市内部的经济、社会和环境动态，还对土地利用优化、城市管理和可持续发展具有重要意义。然而，由于城市功能区的复杂性和多样性，现有方法在有效捕捉这些变化方面仍面临诸多挑战。为了解决这一问题，研究者们探索了多种技术手段，包括遥感（Remote Sensing, RS）和街景（Street View, SV）数据的结合使用。

遥感技术以其长时间、大范围的观测能力，成为城市功能区监测的重要工具。然而，遥感影像通常是从高空获取，主要反映建筑物的屋顶信息，难以捕捉地面细节。相比之下，街景影像提供了近距离和多角度的观察视角，能够更准确地识别城市的建筑外观、道路细节和绿化情况，从而补充遥感数据的不足。然而，单独使用街景数据也存在局限性，例如数据覆盖范围有限、获取成本高以及质量参差不齐。因此，如何有效整合遥感和街景数据，成为城市功能区监测的关键问题。

本文提出了一种基于深度学习的多源时序融合方法，旨在通过融合遥感和街景数据，提升城市功能区变化检测的精度。该方法采用注意力机制，对不同时间点的遥感和街景特征进行动态融合，并结合时序信息，实现城市功能区的分类和变化检测。研究团队通过分析超过10万张街景影像，提取其空间分布频率作为特征，并与遥感数据进行融合。这种方法在三个中国城市（大同、成都和南京）的案例研究中取得了良好的效果，单期分类的总体准确率达到86%，Kappa系数为82%，二元变化检测的准确率超过93%。

研究团队选择了三个具有代表性的中国城市作为案例研究对象。大同是一个资源型城市，人口正在减少，研究区域包括老城区和新城区。成都作为西南地区的一个新兴城市，研究区域涵盖天府新区和历史文化核心区域。南京则结合了历史和现代元素，研究区域包括城市中心和郊区。通过比较这三种不同类型城市的功能区变化，研究者能够更好地理解不同发展背景下城市结构的演变规律。

在数据获取方面，研究团队利用Google Earth获取了不同年份的遥感影像，并通过Baidu Maps收集了大量街景影像。遥感影像的分辨率较高，可以清晰地识别城市不同功能区的分布情况。街景影像则通过OpenStreetMap生成等距采样点，并利用Baidu API下载相应位置的影像数据。为了确保数据的可靠性，研究团队通过专家视觉解释和参考地图对遥感影像和街景影像进行了高质量的标注。这些标注数据为后续分析提供了坚实的基础。

在方法论方面，研究团队设计了一种多源时序融合模型（Multi-Source Temporal Fusion Model, MSTFM），该模型由两个主要模块组成：多源融合模块（Multi-Source Fusion Module, MSFM）和多时序融合模块（Multi-Temporal Fusion Module, MTFM）。首先，通过卷积神经网络（Convolutional Neural Networks, CNNs）提取遥感影像的特征，然后通过MSFM将这些特征与街景数据进行融合。为了增强模型对时序信息的处理能力，MTFM采用自注意力机制，对不同时期的特征进行整合，从而提高变化检测的准确性。最后，通过密集分类模块对融合后的特征进行处理，生成最终的分类和变化检测结果。

实验结果显示，该方法在三个城市中均表现出良好的性能。在大同，模型能够准确识别出住宅区和交通区的扩张，以及未使用和工业区的缩减。在成都，研究发现住宅区、交通区和商业区的增长，以及绿地和工业区的减少，这反映了城市在天府新区的快速发展。在南京，住宅区的扩展和工业区的减少表明城市正在进行重点区域的更新和改造。此外，研究团队还分析了城市功能区的变化模式，通过转换矩阵展示了不同时期功能区之间的转移情况。这些结果不仅揭示了城市功能区的动态变化，还为城市规划和管理提供了重要的参考依据。

为了验证模型的有效性，研究团队还进行了消融实验，分别测试了仅使用遥感数据、仅使用街景数据以及两者结合的三种配置。结果显示，结合遥感和街景数据的模型在多个指标上均优于单一数据源的模型。例如，在大同，结合模型的总体准确率（OA）和Kappa系数均高于单一模型。在成都，结合模型在二元变化检测中的准确率达到了95.76%，而在南京，该模型在变化检测中的准确率更是达到了93.80%。这些结果表明，融合遥感和街景数据能够显著提升城市功能区监测的精度和鲁棒性。

此外，研究团队还分析了不同城市功能区变化的分布情况。在大同，住宅区和交通区的扩张反映了城市发展的主要方向，而未使用和工业区的缩减则表明城市正在进行功能区的调整和优化。在成都，住宅区、交通区和商业区的增长与绿地和工业区的减少相辅相成，这与天府新区的快速开发密切相关。在南京，住宅区的扩展和工业区的减少则显示了城市对土地利用的重新规划。这些变化不仅影响了城市的空间结构，也对社会经济和环境产生了深远的影响。

尽管本文提出的模型在多个方面取得了显著成果，但仍存在一些局限性。例如，网格化的城市功能区划分可能过于简化，无法准确反映城市功能区的不规则性和多样性。未来的研究可以探索更精确的功能区划分方法，如基于道路网络的分割、块级划分或自适应边界生成。此外，街景数据的解释能力有限，可能影响对城市细节的分析。因此，未来可以考虑在街景数据中引入语义特征，如物体类别和城市元素分布，以提高其对城市变化的识别能力。同时，研究团队也指出，临时建筑区域未被纳入当前分析，未来研究可以将这些区域纳入考虑范围，以更全面地反映城市的变化。通过引入更多数据源，如GPS轨迹、众包地图或社交媒体数据，可以进一步提高模型在缺乏街景数据区域的适用性。

综上所述，本文提出的多源时序融合方法在城市功能区监测方面展现出巨大的潜力。通过结合遥感和街景数据，研究团队成功实现了对城市功能区变化的准确识别，为城市规划和可持续发展提供了重要的技术支持。未来的研究可以进一步优化模型，探索更精细的功能区划分方法，并引入更多数据源以提高模型的适用性和鲁棒性。这不仅有助于更全面地理解城市变化，也为城市管理和政策制定提供了更可靠的数据支持。