RegionKG：面向全面城市区域表征与可解释城市计算的多模态知识图谱

《ADVANCED ENGINEERING INFORMATICS》：RegionKG: A multimodal knowledge graph for comprehensive urban region representation and explainable urban computing

　　

摘要 城市区域表示学习旨在从多源数据中学习城市区域的内在嵌入表示，以支持下游应用。然而，在建模多模态特征融合和确保模型可解释性方面仍存在挑战。因此，本研究提出了一种基于多模态知识图谱的城市区域表示学习方法。首先，本研究设计了RegionKGC方法，将多模态地理数据整合到知识图谱结构中。其次，本研究设计了RegionKGF方法，利用自适应加权机制实现多源特征融合。第三，本研究提出了RegionKGE，集成了动态和静态实体嵌入模块、由交织注意力机制支持的实体增强嵌入模块，以及结合层次感知和对比学习概念的决策损失函数，从而将RegionKG嵌入向量空间。最后，本研究开发了RegionKGX，一种可解释性框架，利用知识图谱嵌入向量之间的距离度量来提取证据路径，为下游预测提供支持。实验结果表明，RegionKGF和多模态数据能够改进表示学习结果，与现有表示学习模型（如MESN和SR-HAKE）相比，RegionKGE在HITS@1指标上至少提升了21%。此外，学习到的嵌入在三个下游任务上均表现出优异性能，包括土地利用识别、房价估计和城市城中村分类。RegionKGX提供的证据路径为模型预测提供了可解释性支持，并能够评估空间关系对不同任务的影响。所提出的框架对城市管理决策支持和可解释城市计算的发展具有重要意义。

引言 城市区域是城市空间结构的基本单元，是承载人类活动、资源分配和交通网络的核心空间载体[1], [2]。城市区域表示学习（URRL）能够将复杂的城市空间区域转换为低维向量，可用于各种下游任务，分析区域功能属性、空间相关性和演化模式[3], [4]。随着地理空间大数据时代的到来，遥感图像（RSI）、街景图像（SVI）、兴趣点（POI）、路网（RN）和社交媒体数据等多模态数据的广泛获取和应用为URRL提供了丰富的数据基础，显著扩展了表征城市区域多维特征的能力[5], [6], [7]。利用地理空间大数据进行URRL不仅有助于深入理解城市空间结构和功能组织，还为城市规划、资源分配和决策制定提供了科学依据，对促进城市可持续发展和提升智能城市治理具有重要的现实意义。

早期的URRL方法主要借鉴自然语言处理技术，如Word2Vec[8], [9]、Place2Vec[10]和Doc2Vec[11], [12]，通过捕获POI语义表示和空间共现模式来学习区域语义表示。然而，这些方法往往忽视了城市空间的复杂空间拓扑结构。因此，图神经网络作为一种能够统一建模空间特征和关系的强大方法，已被广泛应用于URRL。例如，HGI[13]、MVURE[4]、HUGAT[14]和MGFN[15]等模型通过构建关系网络整合数据来实现区域嵌入。尽管取得了这些进展，但大多数基于图神经网络的方法并未实现真正的多模态融合，仅采用单一特征模态（例如结构化的POI分布或签到序列）。这种架构缺乏有效机制来整合视觉和语义丰富的模态，如RSI、SVI和社会经济属性，导致大量跨模态互补信息未被充分利用，从而限制了城市区域表示的全面性[16], [17]。在此基础上，一些基于对比学习和自监督学习的方法，如多模态框架AutoST[18]、UrbanMMCL[19]、UrbanCLIP[20]和SAMC[21]，能够将多源异构地理信息映射到统一的语义空间，实现对城市空间的多维表征。然而，这些方法通过端到端深度神经网络进行隐式特征融合，缺乏对不同模态间语义关联的显式建模方法，难以有效捕获区域间的空间依赖和多层次语义信息[22], [23]。另一方面，由于深度学习模型的"黑箱"特性，难以理解城市区域的本质特征，在需要决策问责和利益相关者信任的城市规划等应用场景中，引发了对模型可解释性和可信性的广泛担忧[24]。总之，现有URRL方法在多模态语义关联的显式建模和模型可解释性方面仍存在不足。

多模态知识图谱（MMKG）概念的出现为解决这些挑战提供了强大方法。MMKG由结构化知识图谱演化而来，保留了多级实体显式表达和复杂关系建模等优势。同时，它能有效整合不同模态的数据，从而实现多源异构数据的语义关联和深度融合[25], [26]。此外，MMKG中的结构化数据组织和知识路径支持对下游任务推断的可视化解释，从而增强决策可靠性。在地理知识图谱研究中，尽管SKG[27]、WorldKG[28]和GIS-KG[29]等知识图谱在整合地理数据和构建空间关系方面取得了某些进展，但它们仍主要局限于结构化的三元组形式，难以准确表征复杂的城市现实。GAKG[30]、RSKG[31]和OIFKG[32]等知识图谱虽然尝试结合多模态数据，但仍面临地理空间语义建模粒度不足、实体间空间依赖表征不完整以及多源数据整合不充分等问题，不适合对复杂城市区域进行全面表征。因此，如何构建能够整合空间语义和多模态地理数据的MMKG以实现URRL仍然是一项挑战。

RSI和SVI作为两种重要的城市视觉数据类型，分别从垂直和水平视角分析城市空间结构和环境。因此，有效整合这两种多模态数据源对于基于知识图谱的区域表示具有重要意义[33], [34], [35]。尽管RSI和SVI的融合已广泛应用于城市研究，但现有方法仍面临诸多局限。早期的融合方法主要基于RSI和SVI的不同特征进行分离的特征提取和处理，而它们的组合策略仍采用简单的早期融合方法，如特征拼接[36], [37]。考虑到这两类图像之间存在较大的语义跨度和显著的尺度差异，早期融合方法无法有效整合其特征。对此，一些方法尝试通过注意力机制和同位估计器等模块实现这两类图像的深度融合[38], [39], [40], [41]。然而，这些方法缺乏细粒度处理多尺度语义信息的能力，难以同时捕获局部细节和全局语义。因此，一些近期方法引入了多视角对齐框架和大规模预训练视觉语言模型，以实现更精细的语义融合，明确解决尺度差异和跨模态对应关系[42], [43], [44]。然而，融合过程往往过于复杂和冗长，大幅增加计算开销和内存需求。在复杂知识图谱表示学习的背景下，这些方法容易出现过拟合和梯度不稳定，损害模型泛化能力和收敛性。因此，现有模块难以在减少信息损失的同时实现尺度适应性，难以为URRL提供全面且准确的视觉语义支持。

知识图谱的嵌入质量极大地影响着URRL的有效性和准确性。主流知识图谱表示学习模型包括翻译模型、语义匹配模型和神经网络模型[45], [46]。TransE[47]、TransH[48]和RotatE[49]等翻译模型将知识图谱中的关系视为从头实体到尾实体的平移。RESCAL[50]、DistMult[51]和SimplE[52]等语义匹配模型计算映射到向量空间的三元组潜在语义相似度。ConvE[53]、InteractE[54]和ConvHLE[55]等神经网络模型通过深度学习增强知识图谱的建模和表征能力。然而，由于地理知识图谱具有强空间依赖性、尺度多样性和复杂区域关联等特征，这些模型难以在地理知识图谱表示学习中保持良好性能[56]。因此，一些研究针对地理知识图谱设计了专门的表示学习方法。例如，SE-KGE（Mai, Janowicz, Cai, et al., 2020）将空间位置编码纳入地理知识图谱嵌入，SSLP[57]在此基础上增强了地理知识层次结构的学习能力，SR-KGE[58]进一步通过地理约束改进了地理实体间空间和语义关系的预测。此外，KnowCL和MP-GTNN等表示学习模型采用层次建模、对比学习和空间交互等策略，有效捕获知识图谱的多层次语义结构，为城市区域的层次特征和语义关系建模提供了有价值的见解[59], [60], [61]。然而，这些方法主要针对结构化知识图谱设计，仅依赖图拓扑和关系三元组进行表示学习。在现实城市环境中，城市空间以RSI和SVI等丰富的多模态数据为特征，这些数据承载着结构化表示无法充分捕获的关键空间与视觉语义。为此，RSME[62]、NativE[63]和MESN[64]等多模态知识图谱表示学习方法被提出，以统一建模知识图谱内的异构模态信息，实现更丰富和更具表现力的实体表示。然而，这些方法针对通用知识图谱设计，未考虑城市区域的独特空间特征，如空间邻近性、功能相似性和层次结构，难以全面表征城市区域的复杂特征和内在结构。

因此，本研究设计了一个整合多源地理数据的知识图谱框架，以实现城市区域表示学习，贡献如下：
（1）RegionKGC。现有地理知识图谱大多局限于有限的数据源，难以支持全面的城市区域表征。为此，本研究提出了一种RegionKG构建方法，在层次化知识图谱结构中整合多模态地理数据，实现对城市区域的丰富表达。
（2）RegionKGF。现有模型难以在RSI和SVI之间实现多视角、多尺度的特征融合，同时保持轻量化的计算效率。为此，本研究设计了一种基于卷积神经网络和自适应融合模块的RSI与SVI深度融合方法，提取城市区域的关键视觉信息并增强表示学习性能。
（3）RegionKGE。现有表示学习方法主要针对结构化地理知识图谱设计，缺乏对多模态数据的深度融合能力。为此，本研究提出了一种结合注意力机制和联合损失模块的知识图谱表示学习方法，通过整合空间语义信息和多模态地理数据，获得高质量的区域嵌入。
（4）RegionKGX。现有城市区域表示模型缺乏对预测结果的可解释性支持，难以追溯底层决策依据。为此，本研究引入了一种基于多模态知识图谱的路径可视化方法，利用知识图谱中的关键证据路径为下游任务预测提供合理解释，为城市分析提供可靠见解。

区域与数据 常州位于江苏省南部，地处长江三角洲。作为该市的政治、经济和文化中心，常州中心区是综合城市服务的主要载体，被选为研究区域。

研究区域的多源地理空间数据，包括RSI、SVI、POI和RN，用于学习每个区域的表示（图1）。RSI从Google平台（https://mapsplatform.google.com）获取，分辨率 Methodology

本研究提出了一个基于MMKG的URRL框架，主要由四个部分组成：RegionKGC、RegionKGF、RegionKGE和RegionKGX（图2）。

实验设置 本研究将知识图谱实体的静态和动态嵌入维度均设为32维，结果嵌入维度为64维。对于特征初始化，BERT和ResNet50模型均被冻结，缺失的多模态特征使用零填充处理。GAT模块包含两个隐藏层，每层有四个注意力头。

对于链接预测任务，本研究将知识图谱三元组随机划分为训练集、验证集和测试集。

结论 本研究提出了一种基于RegionKG的URRL框架，旨在解决现有区域表示方法中多源异构数据有效整合困难和可解释性差的问题。

具体而言，本研究提出RegionKGC以将多模态地理空间数据整合到知识图谱中，设计RegionKGF用于遥感图像（RSI）和街景图像（SVI）的多尺度深度融合，创新RegionKGE用于表示学习，并提出RegionKGX来解释下游任务的结果。

作者声明
本文稿的全部或部分内容均未在其他地方发表或展示，也未在其他期刊的审稿过程中。所有研究参与者均提供了知情同意，且研究设计已获相应伦理审查委员会批准。所有作者均已审阅并同意本文稿，并同意提交至贵刊。无利益冲突需声明。

CRediT作者贡献声明
卢柯宇：撰写–审阅与编辑、撰写–初稿、方法学、调研、概念化。
赵鑫：撰写–审阅与编辑、撰写–初稿、验证、监督、项目管理、资金获取。
李满春：撰写–审阅与编辑、撰写–初稿、资源、方法学。

利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢
本研究得到国家自然科学基金（42501518）、江苏省基础研究计划（BK20251245）以及江苏省自然资源厅自然资源监测重点实验室开放基金（项目编号：JSNRM-2025A02）的资助。

卢柯宇|赵鑫|李满春