SSPRCD：基于场景图的街道场景空间位置关系变化检测方法——结合图差分与结构量化技术 郭贤（Xian Guo）、 丁文静（Wenjing Ding）、 王一川（Yichuan Wang）和 江杰（Jie Jiang）

《ISPRS International Journal of Geo-Information》：SSPRCD: Scene Graph-Based Street-Scene Spatial Positional Relation Change Detection with Graph Differencing and Structural Quantification Xian Guo, Wenjing Ding, Yichuan Wang and Jie Jiang

　　摘要
街景图像支持细粒度的城市监控，但大多数街景变化检测方法都是以像素或对象为中心的，无法明确捕捉解释性任务（例如合规性检查和灾后评估）所需的实体间空间关系的演变。为了解决这个问题，我们提出了SSPRCD，这是一个基于场景图的框架，它可以提取带有像素位置的实体-关系三元组，构建空间知识图，并通过时间内部/外部的一致性实现节点对齐。然后通过图差异分析来识别新增、删除和未改变的实体/关系，而nGED和graph2vec则共同量化时间场景之间的结构差异。在TSUNAMI数据集上的实验表明，SSPRCD在对象级任务上的宏观F1分数为0.65，在二进制变化检测上的F1分数为0.72，在关系级检测上的F1分数为0.89，始终优于基线方法。总体而言，SSPRCD提供了关系感知和拓扑信息的变化解释，提高了地理空间信息更新和城市应用中街块级变化分析的可解释性。

1. 引言
随着城市管理向细粒度治理和频繁的地图/库存更新转变，决策者越来越需要超出“变化位置”的街块级变化信息。在实际工作流程中，理解哪些城市元素发生了变化、场景的空间配置如何演变以及这些变化是否在结构上相互关联通常更为重要[1]，以便支持合规性检查、资产库存维护和灾后影响评估等任务。街景图像为遥感提供了一种补充的观测方式，提供了人类视角的细节、丰富的语义线索和高可解释性[2]。它捕捉了建筑物立面信息、路边设施、植被和交通元素，从而反映了街块的可访问性、安全性和环境质量[3,4]，使得城市场景的监控和变化解释成为可能。尽管如此，现有的街景变化检测研究在信息输出和表示能力方面仍然有限[4]。许多研究是在特定应用约束下开发的，例如监控交通标志或车辆以进行交通管理[5]，或估计与绿化评估相关的植被指标[6]。虽然这些解决方案可以报告对象的存在/缺失、类别计数或面积比例的变化，但它们的描述通常仅停留在基本视觉实体（如类别、数量和面积）的层面。然而，现实世界中的城市变化往往表现为更高阶的结构变化，即元素之间的空间位置关系（如邻接、遮挡、在...前面/后面、在...上面/下面、在...里面/外面），这些关系描述了相对的空间配置而非抽象的语义关系及其随时间的变化。缺乏关系感知的变化描述削弱了可解释性，并降低了空间配置重要的细粒度治理任务的可用性。

从技术角度来看，许多传统流程依赖于像素级差异分析或特征比较来生成变化掩码。这样的输出有助于定位变化区域，但它们对变化内容及其场景结构重组的解释有限[7]。在街景图像中，视角变化、光照和季节性变化、阴影和反射以及动态元素（如车辆和行人）可能会引入显著的伪变化，使得纯像素级比较变得不稳定。尽管一些工作尝试为检测到的变化区域附加语义标签[8]，但其性能通常严重依赖于前置掩码的质量，并且仍然缺乏表示和推理对象间关系和布局级结构差异的明确机制。简而言之，许多现有方法更擅长判断变化是否存在，而不是可靠地解释变化内容及其关系变化方式。

基于图的表示学习的最新发展为解决这些限制提供了一个有前景的方向。场景图将视觉场景编码为图，其中节点代表实体，边代表关系，从而将图像解释从像素/区域提升到适合推理的结构化语义[9]。场景图生成（SGG）模型（如RelTR）在端到端框架下展示了联合建模对象和谓词的能力，使得关系推理更加有效[10]。然而，现有的SGG研究主要针对单图像理解，并未直接提供跨时间变化检测所需的机制，包括跨时间实例对齐、图差异分析和结构级变化量化。如果这些缺失的组件能够得到妥善解决，场景图可能成为关系感知的街景变化分析的可解释载体。

另一个实际问题是评估。广泛使用的指标（如准确率、召回率、IoU和F1分数）主要是为像素掩码或对象检测设计的[11,12]，并不适合量化关系变化或结构重组。相比之下，图编辑距离（GED）可以在图结构层面测量节点和边的变化[13]，而图嵌入方法在向量空间中比较图以总结结构相似性[14]。这些工具为量化结构级差异提供了原则性的基础，更好地满足了关系感知变化理解的要求。

为了解决上述挑战，我们提出了一个新颖的街景空间位置关系变化检测（SSPRCD）框架。从概念上讲，这项工作将街景变化检测视为一个跨时间图构建、对齐、差异分析和结构差异分析的过程。因此，SSPRCD分为三个概念上相互关联的模块：基于空间的场景图构建、跨时间对齐和图差异分析以及结构级差异量化。换句话说，这项工作不仅仅是独立使用场景图或图指标，而是将街景变化检测重新表述为一个关系感知的图对齐、差异分析和结构分析问题。具体来说，给定一对双时间街景图像，我们首先使用SGG框架（如RelTR）提取带有语义标签和空间坐标的结构化三元组。然后构建基于空间的场景图，并进行实体合并和跨时间对齐以获得一致的对应关系。基于对齐的图，SSPRCD通过图差异分析明确检测节点（实体）和边（关系）的变化，从而生成可解释的输出，如新增/删除/未改变的实体和关系变化。最后，我们使用互补的度量方法（包括标准化的GED（nGED）和图嵌入相似性）来量化整体结构差异，这些方法从局部编辑成本和全局结构两个角度描述了变化的严重程度。

我们的贡献可以总结为：
- 我们引入了一个关系感知的街景变化分析框架，将城市场景表示为基于空间的知识图，实现了实体及其空间位置关系的明确建模。
- 我们开发了一个实用的图构建、图内去重和跨时间节点对齐的流程，并通过图差异分析得出细粒度的对象和关系级变化。
- 我们结合了基于GED和图嵌入相似性的结构级量化，提供了一种可解释且可重用的测量方案，超越了传统的像素/对象指标。

本文的其余部分组织如下：第2节回顾了街景变化检测和场景图生成的相关工作。第3节详细介绍了提出的SSPRCD框架及其关键模块。第4节描述了实验设置并报告了比较结果，第5节进行了敏感性分析和局限性分析。最后，第6节总结了本文并概述了未来的工作方向。

2. 相关工作
2.1. 街景变化检测
街景变化检测（SSCD）旨在识别在不同时间捕获的街景图像中的变化，并输出变化内容的位置和语义[15]。当前的SSCD研究大致可以分为像素级、对象级和场景级方法。
2.1.1. 像素级变化检测
像素级方法通常在像素空间或特征空间中比较双时间图像以预测变化掩码，经常使用编码器-解码器架构或多尺度特征融合网络[16]。这些方法在生成密集的定位图方面具有优势，并且在视角对齐良好且外观变化适中时效果显著[7,17]。然而，街景图像经常涉及视角变化、光照和季节性变化、阴影、反射和动态元素，这些因素可能会产生伪变化并导致预测不稳定。此外，像素掩码主要回答变化发生的位置，而对变化内容及其场景结构差异的解释有限。
2.1.2. 对象级变化检测
对象级方法通常利用对象检测和特征匹配来识别实例级变化，如外观/消失/位移。代表性的工作包括DuARUS[18]，专注于道路和交通设施的变化；SCTF-Det[19]，专注于交通标志等对象级变化；以及CVDisaster[20]，专注于与灾害相关的地理对象（如建筑物和道路损坏）的变化检测。它们可以直接报告变化的对象类别和位置，这更具可解释性并减少了手动更新的成本。然而，它们的性能依赖于高质量的实例级注释[21]、鲁棒的检测和可靠的匹配[22]，在遮挡、杂乱、小对象和跨域条件下这些仍然具有挑战性。更重要的是，大多数对象级方法关注的是实体是否发生变化，但很少捕捉实体间关系的变化（例如，新障碍物挡住了人行道，或设施从路边移动到了围栏内的区域）。
2.1.3. 场景级变化检测
场景级方法试图在更高层次上理解场景间的差异，大致分为特征级和语义级方法。特征级方法通过多尺度特征融合[3]、时间交互和差异增强[23]等提高检测性能。例如，HPCFNet[24]、DR-TANet[11]和Fast-PCANet模型[25]通过改进特征融合和时间交互来提高变化检测能力。语义级方法强调变化区域的语义表达和上下文建模。例如，Transformer结构中的迭代差异增强可以减少背景噪声和虚假变化，同时提高边缘检测质量[26]；ChangeSAM结合了通用分割模型进行语义识别和掩码生成，以平衡可重用性和准确性[27]；弱监督语义场景变化检测方案将变化提取和语义特征提取相结合以预测变化实体标签[8]。这些设计可能提高对背景噪声的鲁棒性，并支持变化的语义标注。然而，许多这些方法仍然依赖于像素级的监督，并产生基于区域的输出。因此，它们在明确表达对象间空间关系的演变和场景结构的重组方面仍然有限，这对于细粒度的城市分析至关重要。
2.1.4. 评估方法
SSCD中的评估指标通常借鉴自分割和检测，包括IoU、精确度/召回率和F1分数。虽然这些指标适用于掩码重叠或对象检测[11,12]，但它们并不适合量化关系变化或结构重组[21]。这促使人们使用结构级测量方法。GED提供了一种通过图编辑操作在节点和边上量化结构差异的原则性方法[28]。图嵌入方法在潜在空间中总结图结构，从而在全局层面进行相似性比较[14,29]。这些工具为关系感知的SSCD评估和量化提供了一个有前景的方向。

我们可以得出结论，现有的SSCD方法在区域定位和对象级识别方面取得了进展，但在关系感知的变化理解和结构导向的评估方面仍然不足，为基于图的实体-关系演变建模留下了明显的空白。
2.2. 场景图生成方法
场景图将视觉场景表示为结构化图，其中节点表示实体（通常带有属性），边表示实体对之间的关系。场景图生成（SGG）已在图像字幕[30,31]、检索和视觉推理[32,33]中得到广泛应用，因为它提供了支持高级语义的明确中间表示。早期的SGG方法通常采用两阶段范式，首先使用检测器（如Faster R-CNN）提取候选对象，然后对对象对进行关系分类并进行上下文推理。代表性的设计包括基于上下文LSTM/注意力、树结构推理、图消息传递和偏差缓解技术的方法，如MOTIFS-TDE[34]、VCTree-TDE[35]、TransformerNet[36]、GPS-Net[37]和BGNN[38]。同时，Graph R-CNN通过引入结构推理和先验约束进一步提高了复杂关系的识别能力[39]。两阶段模型通常可以实现强大的关系预测性能，但可能在计算上较为复杂，并且对候选框的质量和对象对枚举策略敏感。更近期的工作提出了单阶段或端到端的SGG框架，以减少流程复杂性并提高效率。基于Transformer的方法在基于查询的匹配或联合解码下统一了对象和关系预测，代表性的方法包括FCSGG、SGTR和RelTR。FCSGG将对象表示为质心，将关系表示为向量场，通过密集预测实现对象和关系的联合输出[40]；SGTR使用Transformer结构并引入了实体感知的谓词生成模块，以提高关系检测的效率和准确性[41]；RelTR将对象检测和关系推理统一为一个查询匹配问题，避免了手动配对对象框的过程，显著简化了流程并提高了泛化能力[10]。这种端到端的设计特别适用于街道场景，因为在这些场景中关系丰富且空间语义显著，它已经被应用于历史街区的理解[42]和公园行为的识别[43]。同时，随着视觉语言模型（例如CLIP）的发展，多模态和预训练增强的关系建模也应运而生。通过利用大规模预训练的语义先验，这些方法可以缓解长尾关系问题，并提高对罕见谓词和跨领域场景的鲁棒性，这表明它们对复杂的街道视图环境具有潜在的好处[44]。场景图为关系感知的变化表示提供了一个自然的载体。当我们从单图像理解转向跨时间变化时，大多数场景图（SGG）研究都集中在解释单张图像上，并没有直接解决跨时间变化检测的需求。对于关系感知的街道场景变化检测（SSCD），仅仅生成两个场景图是不够的：实际部署需要（1）跨时间实体对齐以保持对应一致性，（2）显式的图差异分析以推导节点和边级别的变化类型，以及（3）捕捉结构差异的定量度量。填补这一“对齐-差异分析-量化”链对于将场景图转换为可靠且可解释的变化检测输出至关重要，这激发了我们SSPRCD框架的设计。

3. 材料与方法
在本节中，我们介绍了提出的SSPRCD方法。该方法分为三个模块：基于空间的场景图构建、跨时间对齐和图差异分析以及结构级别差异量化。给定一对双时间街道视图图像????1和????2，我们的目标是进行基于空间位置关系的街道场景变化检测，即不仅识别对象级别的变化（添加/移除/未改变的实体），还识别实体之间的相对空间位置关系，并量化两个时间场景之间的整体结构差异。

3.1. 总体架构
总体工作流程如图1所示，包括四个主要阶段：
图1. SSPRCD框架用于街道场景空间位置关系变化检测。该方法从双时间街道视图图像中提取基于空间的场景图，对齐不同时间点的实体，并进行图差异分析以识别对象级别和空间位置关系级别的变化，随后进行结构差异量化。示意图中的不同颜色仅用于视觉区分不同的对象类别/节点和不同的变化状态，并不代表定量值。
三元组提取：使用场景图生成器（RelTR）为每张图像推断实体和主体-谓词-对象三元组。
空间场景图构建：将三元组转换为具有节点/边属性的基于空间的图。
时间内和时间间一致性：执行图内去重和跨时间节点对齐，以获得稳定的对应关系。
图差异分析和量化：通过nGED和图嵌入相似性来推导对象和关系级别的变化，并计算结构差异。
更具体地说，我们将每张图像表示为一个基于空间的场景图：????=(????,????)，??∈{??1,??2}（1），其中????表示实体节点集，????表示有向关系边集。每个节点???? ∈????携带属性???(????) ={????,????,????,????}，包括语义类别????、边界框????、框中心坐标????和对象置信度????。每条边???? ∈????携带a?(???????) ={???????,???????}，其中???????是谓词标签，???????是关系置信度。我们的输出包括变化集??={??add,??del,??add,??del}（2）以及两个互补的结构级别差异度量：nGED?(????1,????2)和sim???????(????1,????2)。

3.2. 使用RelTR提取的三元组
RelTR首先用于对每个时间图像????进行对象检测和关系推断，并输出目标实体的检测结果以及三元组???? =???,??,???，其中??和??是主体和对象实体的索引，??是谓词标签。RelTR还返回边界框（左上/右下像素坐标）???? =(?????????,?????????,?????????,?????????)及其对应的置信度分数。
街道场景通常包含同一类别的多个实例（例如，许多汽车或行人）。仅使用语义标签无法唯一标识节点，可能会导致跨时间对齐时的不匹配。因此，我们通过使用边界框中心为每个节点附加一个2D空间坐标：????=(?????????+?????????2,?????????+?????????2）（3）。
最终，每张图像输出一个JSON文件，其中包含对象检测信息、三元组关系推断结果和实体目标像素坐标，为每个时间点的场景图构建提供了一个统一的数据接口。

3.3. 空间场景图构建和图内去重
我们将节点和三元组????映射为形式为???? =(????,????)的有向边。对于每个三元组，在主体节点????和对象节点????之间添加一条有向边???????，并将谓词类别写入边属性???????中；同时存储关系置信度???????。这种表示方式同时编码了场景中的实体以及它们之间的空间关系，使得超出像素级掩码的变化推理成为可能。
转换使用NetworkX [45]库完成，该库允许将属性字典附加到节点和边上，支持有向图、无向图和多重图。
然而，检测器可能会为同一个物理实体产生重复或抖动的边界框，从而导致冗余节点和不稳定的边。如果节点满足边界框重叠或空间接近标准，我们将合并相同类别的节点。对于一对节点（????, ????）且???? =????，我们计算：
边界框重叠标准：?????????(????,????)=????????????(????∩????)????????????(????∪????）（4）
空间接近标准：???(????,????)=|?????????|2（5）
如果满足?????????(????,????) ≥??IoU或???(????,????) ≤????，则合并它们，其中??IoU和????是控制不同场景接近度的参数。我们根据原始图像对目标位置进行对齐，将??IoU设置为0.5，r设置为80像素。合并后，我们通过平均更新节点位置并将入射边重定向到合并后的节点。重复的边（相同的端点和谓词）通过保留最大的关系置信度来合并。

3.4. 跨时间节点对齐
为了准确识别不同时间点上相同实体的对应关系，我们设计了一种跨时间节点对齐策略。
在图内去重之后，我们为双时间街道视图图像对????1和????2建立了一个跨时间对应关系集：???????1×????2（6），其中????1和????2表示时间??1和??2的场景图节点集。
采用类别引导的匹配策略：只有当两个节点具有相同的类别标签时，才能匹配它们。然后我们使用相同的两个线索进行节点对齐：首先使用IoU，如果IoU不匹配，则使用距离作为后备：
如果????1 =????2且?????????(????1,????2) ≥τIoU，则匹配它们。
在本研究中，??I?o?U =0.5，以容忍由视角变化和检测噪声引起的适度边界框抖动。当存在多个候选对应关系时，所有有效对按IoU降序排列，并应用一对一匹配策略，以确保每个节点最多匹配一次。
否则，如果????1 =????2且???(????1,????2) ≤τ??，则匹配它们。在本研究中，???? =80像素。这个辅助约束有助于保持结构上有效的节点关联，并减少后续图构建中的边丢失。
对于匹配的节点，我们可以选择融合它们的位置以减少轻微的抖动：??*=????+????2（7）
在上述程序之后，匹配的节点被分配一个稳定的ID，以支持后续的图差异分析。

3.5. 图差异分析以推导变化
3.5.1. 对象级别变化
我们将添加和移除的节点定义为：
??add=????2???2?(??)??del=????1???1?(??）（8）
其中??1?( ·)和??2?( ·)表示匹配对到??1侧和??2侧节点的投影。

3.5.2. 关系级别变化
应当注意的是，本工作中的关系级别分析侧重于空间位置谓词（例如，在...上、靠近...、在...前面），而不是通用的语义或功能关系，后者是未来研究的开放方向。
对于关系替换（相同的端点但谓词变化），我们定义：
??add=????2?????1??del=????1?????2（9）
其中????1和????2表示时间??1和??2的场景图的边集。
对于关系替换（相同的端点但谓词变化），我们有：
??sub={(??,??)|(??,??)∈????1∩????2,????1?????≠????2?????}（10）
其中（??,??）表示从节点??到节点??的有向边，????1?????和????2?????分别表示时间??1和??2时这条边的谓词标签。

3.6. 结构差异量化
此外，为了支持不同场景和时间段之间变化幅度的比较，本节进一步提供了一种量化图结构相似性的方法。
3.6.1. 标准化图编辑距离（nGED）
为了以可比较的方式衡量变化严重程度，我们将从????1到????2的编辑成本近似为：
GED=???(|??add|+|??del|)+???(|??add|+|??del|)+???|??sub|+??·Φ?(??)（11）
其中??、??、??、??权衡了节点/边编辑的贡献以及匹配质量惩罚Φ?(??）（例如，匹配节点的平均标准化对齐距离）。在本研究中，这些权重的选择是为了赋予节点级别结构变化更大的重要性，同时减少不稳定关系波动的影响，从而使结果更好地反映场景级别的城市变化而不是局部谓词噪声。
为了标准化编辑成本，定义了完全删除????1中的所有节点和边然后插入????2中的所有节点和边的最大可能编辑成本，即：
GED??????=|????1|?????d?e?l+|????2|?????i?n?s+|????1|?????d?e?l+|????2|?????i?n?s（12）
其中|????1|、|????1|是????1中的节点和边数量，|????2|、|????2|是????2中的节点和边数量，????d?e?l、????i?n?s、????d?e?l和????i?n?s是删除/插入节点或边的预定义成本常数。然后我们进行标准化：
nGED=GEDGED??????（13）
因为分母随着两个图的大小而变化，nGED捕捉了变化的相对量而不是编辑的绝对数量。这使得nGED值在不同图大小的场景中具有可比性，因为标准化消除了节点或边数量的影响。相同比例的变化会导致相似的nGED值，无论场景的复杂性如何。

3.6.2. 通过graph2vec进行图嵌入相似性计算
我们进一步使用graph2vec计算图级别嵌入????1和????2，并通过余弦相似性来衡量全局相似性：
sim???????(????1,????2)=????1·????2|????1|?|????2|（14）
较低的相似性表示更大的结构变化。nGED提供了一个基于编辑的可解释度量，而graph2vec相似性在嵌入空间中捕捉了全局结构差异。建议同时使用这两种方法，以获得更稳健的量化结果。

4. 实验与结果
4.1. 数据集
我们在TSUNAMI基准数据集上验证了提出的SSPRCD框架。TSUNAMI被广泛用作灾后变化分析的公共街道级别基准，为在强烈外观和结构变化下的城市场景监控提供了一个实用的测试平台。TSUNAMI数据集最初由东北大学的一个研究团队于2015年发布[8]，包含100对在日本海啸影响区域相同位置拍摄的灾前和灾后全景街道视图图像，分辨率为224 × 1024像素。每对图像都附有一个手动标注的二进制变化掩码，涵盖了2D表面变化（例如，广告牌）和3D结构变化（例如，建筑物或车辆的出现/消失）。

4.2. 基线
为了评估SSPRCD框架的有效性和通用性，我们沿着两个轴设计了比较：（1）用于对象级别变化基线的对象检测前端，以及（2）用于结构化实体关系建模的场景图生成（SGG）前端。
对象检测基线（2）：YOLOv8 [46]；RT-DETR [47]。
两阶段SGG（5）：MOTIFS-TDE [34]；VCTree-TDE [35]；TransformerNet [36]；GPS-Net [37]；BGNN [38]。
单阶段SGG（2）：FCSGG [40]；RelTR [10]。
为了减少数据集规模和超参数调整的混淆因素，我们在所有SGG模型的推理过程中使用相同的Visual Genome（VG）预训练权重，以便观察到的差异主要反映模型结构和关系建模行为。

4.3. 实现设置
所有实验都在PyTorch 1.6.0中实现，并在配备单个RTX 2080 GPU的Ubuntu工作站上运行。除非另有说明，模型使用它们的默认配置，我们对预测输出应用统一的置信度过滤范围[0.25, 1]。
对于结构级别量化，我们报告nGED和graph2vec相似性（如第3节所定义）。对于nGED，编辑权重配置为强调对象变化，同时防止轻微的谓词噪声主导成本：节点变化权重????????????/????????????设置为0.5，边变化权重????????????/????????????设置为0.1，关系类型替换权重????????????设置为0.05，节点位置替换权重????????????设置为0.2。这种权重方案反映了实用的设计选择，而不是详尽的超参数搜索。使用较高的节点权重是因为节点级别的变化通常对应于更显著的城市场景变化，而较低的边权重有助于防止谓词噪声和对齐抖动主导整体结构差异。对于graph2vec，我们使用200个JSON图文件（三元组语义标签+实体像素坐标；每对两个图）作为训练数据。嵌入维度设置为32，训练30个周期，进行2次WL迭代。

4.4. 评估指标
由于TSUNAMI提供像素级别的二进制变化掩码，我们采用了一种统一的评估策略，将结构化预测（对象/关系/图）与掩码监督对齐。
4.4.1.像素一致性投影（掩码）

为了评估基于图的变化预测与TSUNAMI中像素级二进制变化掩码之间的一致性，我们使用变化对象节点的边界框将它们投影到图像平面上。新添加的节点使用其在????2中的边界框进行投影，而删除的节点则使用其在????1中的边界框进行投影。由于预测的边界框和GT掩码都定义在相同的原始图像坐标系统中，因此不需要额外的几何对齐。所有投影区域被合并为预测变化区域?????????????的并集，然后将其与GT掩码区域???????进行比较。像素级的IoU计算公式如下：
I?o?U=|?????????????∩???????||?????????????∪???????| （15）

4.4.2. 对象级指标（实例）

我们在两种设置下计算精确度、召回率、IoU和F1分数：3类分类（移除/添加/未改变）和二分类（变化/无变化）。TP代表正确预测的正例，FP代表错误预测的正例，FN代表错误预测的负例。对于对象级评估，每个预测的实体（节点）都被视为一个实例。我们将节点的空间支持投影到图像平面上，并通过检查与掩码的显著重叠来确定它是否与真实变化区域一致。这为二分类和3类设置提供了TP/FP/FN的定义。

对于3类评估，我们还报告了宏F1分数，即移除、添加和未改变类别的F1分数的平均值。采用宏F1分数是因为在现实世界的变更检测中，这三个类别通常是不平衡的，未改变的实例通常占样本分布的多数。通过给每个类别分配相同的权重，宏F1分数提供了更平衡的3类性能总结。它还补充了其他报告的指标：二分类指标反映了整体变更检测能力，而宏F1分数和类别级结果揭示了模型在每种特定变更类型上的表现。

4.4.3. 关系级指标（边）

对于关系级评估，每个预测的关系边都被视为一个样本。与对象级评估类似，我们将关系证据投影到像素域，并通过与其变化掩码的重叠来判断一致性。这使得可以计算关系级的TP/FP/FN，重点关注变化后的边（即对齐后添加/移除/替换的关系）。例如，如果它们的投影区域与???????有显著重叠，则认为它们与真实变化（GT）一致。根据这一规则，二分类的TP、FP和FN分别对应于（1）预测的变化且与GT变化掩码一致，（2）预测的变化但与GT变化掩码不一致，以及（3）预测没有变化但与GT变化掩码一致。

由于TSUNAMI没有明确标注关系的稳定性，“无变化”在关系级别上特别容易受到谓词噪声和对齐抖动的影响；因此，在解释结构化变化性能时，我们将三类变化指标（特别是添加/移除）视为更可靠的主要参考。需要强调的是，这种基于掩码的评估仅提供了关系级别验证的间接代理。它衡量的是与标注的变化区域在空间上是否一致，而不是预测的谓词本身是否完全正确。直接的谓词级别评估需要一个带有手动标注的时间关系标签的基准。

4.4.4. 结构差异量化（场景）

我们报告nGED来量化双时相图之间的结构差异，提供了一个基于编辑操作（节点/边的添加、删除和替换）的可解释的变化严重性度量。实现遵循上述设置。

作为nGED的全球结构指标补充，我们为每个时间图计算graph2vec嵌入并测量相似性（余弦相似度）。

4.5. 实验结果

4.5.1. 对象级和关系级的比较评估

表1报告了在三类和二分类设置下的对象级和关系级结果。对象检测器基线（COCO预训练的YOLOv8和RT-DETR）在直接用于跨时相变化检测时表现不佳：它们在三类设置下的宏F1分数分别为0.21（YOLOv8）和0.07（RT-DETR）。主要原因在于跨时相视角变化、光照差异和动态对象导致虚假检测和匹配错误，从而在实例级变化推理中积累了大量的假正例和假负例。

表1. 对象级和关系级的定量比较结果。每个类别中的最佳结果用粗体表示；第二好的结果用下划线表示。相比之下，SSPRCD通过将核心操作从像素或特征差异转移到实体-关系结构差异，改善了实例级变化推理。在对象级的三类设置下，SSPRCD实现了宏F1 = 0.65，F1（添加）= 0.71，F1（移除）= 0.73，并且移除类别的召回率达到了1.00。这表明所提出的跨时相节点对齐和图差异稳定了检测结果，否则这些事件对检测抖动非常敏感。在二分类设置下，SSPRCD的F1 = 0.72，显著优于YOLOv8（0.33）和RT-DETR（0.13），表明结构约束减少了双时相外观变化时遗漏真实变化的风险。

我们还观察到“无变化”始终很困难，其F1分数保持较低。这在街道场景变化检测中是预期之中的，因为“无变化”不仅仅是“变化”的补集：它需要时间实例之间稳定的对应关系以及一致的关系预测。即使是最小的定位漂移、重复检测或谓词波动也可能导致未改变的实体（或关系）被错误地计为已改变。换句话说，SSPRCD目前在生成可解释的变化证据（添加/移除/改变）方面比严格的时间不变性更为可靠。

在关系级别，SSPRCD实现了F1 = 0.89的变化边检测，表明所提出的边差异策略有效地捕捉了空间位置关系的添加和移除。然而，“无变化”指标接近于零，这再次反映了关系不变性对前端谓词噪声的高度敏感。

4.5.2. 与变化掩码的定性一致性及案例级可解释性

图2直观地比较了不同模型在对象级变化检测中的性能。与YOLOv8和RT-DETR相比，SSPRCD产生的变化实例与标注的变化区域更加一致，同时也输出了结构化的、实例级的解释（例如，哪些对象被添加/移除）。这支持了图结构差异提高了可解释性的说法，而不会牺牲定位一致性。

图2. 不同模型的对象级可视化结果。(a) RT-DETR，(b) YOLOv8，(c) 我们的方法，以及(d) 原始街道视图图像对。可视化结果中的彩色边界框与GT变化掩码中相同颜色的边界框相对应。红色框表示检测遗漏的区域。为了进一步检查SSPRCD是否以稳定的方式保留了变化范围，我们随机抽取了70对街道视图图像对，并将预测的变化区域（通过将检测到的变化节点/边投影到像素区域获得）与GT掩码区域进行了比较。图3显示了一个带有线性拟合的散点图，揭示了预测变化区域和GT变化区域之间的显著正相关。这表明SSPRCD不仅识别了离散的变化事件，还跟踪了变化的大小：GT变化区域较大的场景在SSPRCD中产生的预测变化区域也较大。

图3. 预测变化区域与GT变化区域之间的皮尔逊相关性分析。(r = 0.843)。蓝色点代表抽样的图像对，红色虚线表示拟合的线性趋势。此外，为了进一步展示结构化输出的可解释性，我们包括了一个使用随机选择的图像对的案例研究。表2报告了检测到的节点和关系变化的统计数据，而图4可视化了结构化输出。SSPRCD成功捕捉到了树木周围、交叉口附近的车辆以及建筑物周围的变化，这些变化与高亮显示的掩码区域相对应。重要的是，它提供了变化区域内的关系级解释（例如，树→建筑物：靠近，汽车→街道：在上面）。除了列出离散的变化节点和边之外，这些局部图编辑还可以合成更高层次的语义解释。在这个例子中，组合的车辆相关变化表明了路边车辆模式的重新配置，人物的出现，人行道以及人物→人行道：在上面表明了新可观察到的行人活动，以及添加的建筑物与附近边界的变化表明了街道侧建筑区域的局部结构调整。总的来说，这些节点和关系级别的编辑表明路边活动模式和局部建筑配置都发生了变化。我们还注意到，SSPRCD有时会标记出在像素掩码中没有明确标注的语义上合理的变化（例如，人物或行人）。这反映了注释粒度的一个根本差异，即像素掩码通常关注显著的表面/结构差异，而结构化表示可以揭示在下游应用中有意义的其他实体级变化。

表2. 变化信息的统计数据。

图4. 街道视图图像对、GT变化掩码和检测结果的比较可视化。(a) 街道视图图像对，(b) GT变化掩码，以及(c) 检测结果。可视化结果中的彩色边界框与GT变化掩码中相同颜色的边界框相对应。

4.5.3. 不同SGG前端对SSPRCD的影响

由于SSPRCD依赖于三元组提取，SGG前端的稳定性和可用性直接影响下游的差异化和量化。表3比较了在TSUNAMI上使用VG预训练权重时七种SGG模型的三元组提取统计数据，这些模型在不同的置信度阈值下进行了测试。一个明显的模式是降低阈值会显著增加三元组数量，揭示了“语义丰富度”与“噪声”之间的权衡。例如，当GPS-Net的阈值从0.25降低到0.10时，三元组数量从15增加到610；类似地，MOTIFS-TDE从20增加到148，BGNN从19增加到248。

表3. 在不同置信度阈值下七种SGG模型的三元组提取统计数据。每个类别中的最佳结果用粗体表示；第二好的结果用下划线表示。一个更关键的观察是，几种场景图生成方法（例如，VCTree-TDE、TransformerNet、FCSGG）在阈值0.25时输出0个三元组，这意味着在更严格的置信度约束下它们可能无法提供可用的语关系边。在SSPRCD中，关系边标记了差异化的对象；因此，当前端无法输出稳定的关系结构时，整个关系变化流程就会变得瓶颈化。相比之下，RelTR在阈值0.25时仍然输出18个三元组，同时保持了相对平衡的检测质量，使其更适合作为关系感知变化建模的前端。这表明，对于类似SSPRCD的框架，SGG前端不仅应该通过准确性来评估，还应该通过结构稳定性来评估。

图5进一步可视化了使用MOTIFS、GPS-Net、BGNN和RelTR作为前端时的SSPRCD结果（阈值0.25）。基于RelTR的SSPRCD更好地覆盖了GT高亮区域，并产生了更少的虚假变化。相比之下，MOTIFS和GPS-Net错过了关键的变化区域，导致变化节点/边集不完整，低估了变化范围。BGNN显示了关系结构的退化（关系密度和谓词多样性不足），降低了关系差异化的可靠性，并削弱了结构指标。典型的错误来源包括（1）来自对象检测的遗漏变化实例，（2）不稳定的谓词预测或谓词崩溃，以及（3）由不完美的跨时相对齐引入的虚假变化。

4.5.4. 结构差异分析

为了量化超出局部变化实例的时间结构差异，我们使用了两个互补的指标：标准化图编辑距离（nGED）和graph2vec嵌入相似性。我们随机选择了四对街道视图图像对（图6），并在表4中报告了nGED值。得到的nGED值分别为0.3933、0.4368、0.5075和0.4225，表明不同的街道街区经历了不同程度的结构重组。

图6. 来自四个不同场景的街道视图图像对。(a) 场景01：密集建筑区。(b) 场景02：山坡住宅街。(c) 场景03：开放工业区。(d) 场景04：树木林立的住宅街。

表4. 不同街道场景的nGED结果。场景03显示出最大的nGED（0.5075），与更明显的结构变化一致。从编辑成本组成来看，场景03有5个（T1）和6个（T2）不匹配的节点，表明频繁的出现/消失事件；此外，边操作（添加/删除/替换）贡献了1.30的编辑成本，增加了标准化差异。相比之下，场景01的总编辑成本为7.91，但最大可能成本也较大（20.10），因此nGED最小（0.3933），匹配的节点对数量最多（11）。这意味着场景变化更为局部化，许多实体在时间上保持一致。场景02和场景04介于两者之间：场景02在T2中只有1个不匹配的节点，表明变化主要由T1侧的实体消失和关系调整引起；而场景04在两个时间阶段都有5个不匹配的节点，反映了双向的局部变化，但整体结构相对稳定。对于graph2vec，我们首先在固定WL迭代次数为2的情况下进行了嵌入维度的敏感性分析。如图7所示，当嵌入维度为32时，成对聚类更为紧凑，成对区分度也更好，而当嵌入维度为2、8或16时，聚类分散度较大。因此，在后续实验中我们将嵌入维度设置为32。在这种设置下，我们进一步比较了不同训练周期下的嵌入结果。图8表明，30个训练周期产生的成组聚类更为紧凑，区分度也优于10、20或40个训练周期的结果。表5进一步证实了graph2vec的相似性与nGED趋势一致：Pair 01显示出最高的相似性和最低的nGED，而Pair 03显示出较低的相似性和最高的nGED，表明其结构变化更为显著。图7显示了在不同嵌入维度设置下graph2vec嵌入的t-SNE可视化结果：(a) dim = 2，(b) dim = 8，(c) dim = 16，(d) dim = 32。每个节点代表一张街景图像的图级嵌入向量。成对节点颜色相同，连接线表示它们向量之间的距离。图8显示了在不同训练周期下graph2vec嵌入的t-SNE可视化结果：(a) epochs = 10，(b) epochs = 20，(c) epochs = 30，(d) epochs = 40。每个节点代表一张街景图像的图级嵌入向量。成对节点颜色相同，连接线表示它们向量之间的距离。表5显示了在不同训练周期下graph2vec的图相似性结果。每个类别中最佳结果用粗体表示。

4.6. 信心阈值敏感性分析
为了评估SSPRCD对前端信心阈值的敏感性，我们比较了在[0.3, 1]和[0.25, 1]信心范围内的检测结果。如图9和图10所示，阈值的选择显著影响了场景图三元组的输出规模和质量，进而影响了图的结构密度、跨时间对齐的稳定性以及通过差异分析得到的变化节点和变化关系的最终集合（即语义丰富性与准确性之间的权衡）。图9显示了在0.25信心阈值下四个不同场景的可视化结果：(a) Scene 01，(b) Scene 02，(c) Scene 03，(d) Scene 04。可视化结果中的彩色边界框与GT变化掩码中相同颜色的边界框相对应。图10显示了在0.3信心阈值下四个不同场景的可视化结果：(a) Scene 01，(b) Scene 02，(c) Scene 03，(d) Scene 04。可视化结果中的彩色边界框与GT变化掩码中相同颜色的边界框相对应。红色框表示检测遗漏的区域。当使用较低的阈值[0.25, 1]时，模型可以保留更多低信心但可能有效的实体和关系，捕捉到更细粒度的变化线索，例如窗户、路标、车辆等的局部结构变化，从而在对微级别变化敏感的应用中实现更高的语义覆盖率。然而，较低的阈值也可能引入少量的误报节点和不合理的关联边，导致图差异结果在局部出现冗余，增加了后续解释的成本。相比之下，较高的阈值[0.30, 1]更强调可靠性。它有效地抑制了由低信心检测引起的噪声节点和关联边，从而在建筑物倒塌和设施拆除等宏观级别变化场景中产生了更清晰、更稳定的拓扑差异结果。然而，较高的阈值在轻微遮挡、边界模糊或小目标的情况下更容易遗漏检测，导致语义变化表示变得稀疏。在我们的比较中，这表现为某些节点（例如建筑物、电线杆）的预测缺失或不稳定，进而影响了变化解释的完整性。

考虑到四个代表性对之间差异结果的一致性以及它们与原始图像中街道场景变化的一致性，我们在实验中采用了[0.25, 1]作为默认的信心范围。这种设置在变化信息覆盖率和结构可靠性之间提供了更好的平衡，使SSPRCD能够输出更全面的实体-关系变化结果，同时将冗余保持在可接受的水平（如图9和图10所示）。

5. 讨论与局限性
5.1. 讨论
在对象级别和关系级别上都获得了稳定且可解释的变化证据。特别是，SSPRCD在对象级别的三分类设置中实现了宏观F1 = 0.65，在二元变化检测中实现了F1 = 0.72，在关系级别变化边检测中实现了F1 = 0.89。这些结果表明，通过图构建过程进行跨时间对齐，最终进行图差异分析，而不是仅仅依赖像素或特征差异来建模双时间差异，可以更好地支持街道场景变化分析中的关系感知。同时，这些结果不应被视为所提出框架对光照或季节性变化更具鲁棒性的直接证据，因为当前实验中没有明确隔离这些因素。从应用角度来看，SSPRCD最适合决策者需要以下信息的场景：(1) 什么发生了变化（实体），(2) 空间配置如何变化（关系），以及(3) 场景结构变化了多少（通过nGED和图嵌入量化的结构差异）。这种结构化的输出对于城市精细治理和灾后评估特别相关，在这些场景中，变化通常表现为实体布局和空间位置关系的重新组织，而不仅仅是局部的像素差异。我们观察到，“无变化/未变化”类别，尤其是在关系级别，比检测变化关系要困难得多。这种困难主要源于可用监督与目标决策之间的不匹配。TSUNAMI提供了像素级别的二元变化掩码，这些掩码与“存在变化”的信号对齐得很好，但没有明确标注关系级别的不变性。图11展示了一个典型的失败案例：几个视觉上稳定的区域仍被预测为变化，表明轻微的定位漂移和谓词不稳定性会干扰跨时间匹配，使得“未变化/无变化”类别特别脆弱。可能的缓解策略包括时间一致性正则化、对齐感知的谓词细化以及基于几何的关联验证。图11显示了一对街景图像、GT变化掩码和检测结果的对比可视化：(a) 一对街景图像；(b) GT变化掩码和检测结果。可视化结果中的彩色边界框与GT变化掩码中相同颜色的边界框相对应。因此，一个预测的关系可能是正确的，但由于(1) 相应对象在检测框中由于视角或光照差异而略有抖动，(2) 跨时间对齐不完美（一对一对应关系脆弱），或(3) SGG前端在遮挡、长尾偏差或领域偏移下产生谓词变化，仍然可能被间接惩罚。特别是对于三种类型的谓词，领域差距尤为明显。首先，对几何敏感的谓词（例如，在...前面/后面）高度依赖于视角一致性。其次，涉及电线杆、标志和交通设施的小对象相关关系非常脆弱，因为轻微的定位错误很容易改变推断出的谓词。第三，在灾后场景中，如靠近和在...上的关系在遮挡、碎片和结构损坏下变得不稳定。因此，这些类别更容易受到Visual Genome预训练和街景变化分析之间转移差距的影响。换句话说，“无变化”类别需要同时满足两个端点在时间上的正确性以及谓词的正确性，因此对任何上游波动都非常敏感；相反，“变化”类别通常可以在一个节点消失/出现或一条边被扰动时可靠地触发。这在缺乏关系级别真实标签且监督来自区域级别掩码的跨时间关系分析中是一个常见现象。因此，目前形式的SSPRCD应被视为一个优先考虑可解释变化证据和结构差异估计的框架，而严格的空间位置关系级别不变性识别仍是一个需要改进的方向。

5.2. 局限性
尽管本文在街道场景的空间位置关系变化检测领域取得了初步进展，但仍存在几个局限性。三元组提取对领域差异敏感。当前的SSPRCD依赖于在Visual Genome (VG) 数据集上预训练的RelTR模型来进行三元组提取。当街景场景包含小对象、边界模糊、严重遮挡或与预训练领域不同的灾后外观时，检测到的实体和预测的谓词的质量可能会下降，导致误报或漏报，这些误报或漏报会传播到图差异中。一个实际的下一步是结合街景数据和灾后数据进行微调或领域适应，并进一步探索集成推理或不确定性感知过滤，以减少单一模型的偏差。跨时间一致性仍然受到检测波动和关系稳定性的限制。视角变化、动态对象和遮挡变化会在实体定位和关系预测中引入不可避免的扰动。这些扰动会干扰跨时间匹配，进而影响关系稳定性和“无变化”决策的可靠性。未来的工作将通过结合几何一致性和外观线索来引入更强的匹配约束，并探索时间一致性正则化（例如，一致性重新评分、基于几何的谓词验证），以稳定跨时间的关系预测。尽管基于图的结构性表示与原始像素外观的直接联系较少，但在当前实验中并未明确隔离出对光照和季节性变化的鲁棒性，这仍然是未来验证的需要。

关系级别不变性的基准和评估限制。TSUNAMI数据集提供了像素级别的变化掩码，而不是明确的实体/关系变化注释。虽然我们的基于投影的评估可以评估结构化输出是否与注释的变化区域在空间上一致，但它不能直接验证预测的谓词本身在语义上是否正确。因此，当前的评估应被视为关系级别验证的间接代理，特别是对于关系不变性而言。直接的谓词级别评估将需要一个带有手动注释的时间关系标签的基准，这仍然是未来工作的一个重要方向。

6. 结论
本文提出了SSPRCD，这是一个基于场景图的街道场景空间位置关系变化检测框架。与主要依赖像素级别差异或对象变化的传统方法不同，SSPRCD将街道场景建模为一个空间上固定的图，并执行跨时间对齐和图差异分析，以明确识别添加/移除/未变化的实体以及关系变化。此外，SSPRCD使用两种互补的度量方法——标准化的图编辑距离（nGED）和graph2vec嵌入相似性——来量化场景级别的结构差异，从而能够比较不同场景之间的变化强度。在TSUNAMI数据集上，我们将SSPRCD与两个对象检测模型和七个场景图生成模型进行了比较。结果表明，SSPRCD产生了稳定且可解释的结构化输出，在对象级别的三分类变化识别中实现了宏观F1 = 0.65，在二元变化检测中实现了F1 = 0.72，在关系级别变化边检测中实现了F1 = 0.89，优于基于检测的基线方法。这些结果表明，基于图的建模是一种可行且有效的方法，可用于复杂街道场景中的关系感知变化理解。未来的工作将专注于通过街景领域适应来提高三元组提取的鲁棒性，增强跨时间关系的一致性，以更好地支持不变性识别。同时，我们将探索更适合大规模场景的可视化和评估方案，以支持更复杂的城市治理和灾后评估任务。