RegionGraph：基于区域的图谱方法，利用卫星图像进行建筑物重建 雷雷（Lei Li）、 方晨荣（Chenrong Fang）、 李伟（Wei Li）、 陈侃（Kan Chen）、 李宝龙（Baolong Li）和 孙倩（Qian Sun）

《Journal of Imaging》：RegionGraph: Region-Aware Graph-Based Building Reconstruction from Satellite Imagery Lei Li, Chenrong Fang, Wei Li, Kan Chen, Baolong Li and Qian Sun

　　摘要：结构重建有助于推断场景中的空间关系和物体布局，这是理解视觉内容的重要计算机视觉任务。然而，由于现实世界环境中场景结构拓扑的复杂性，这一任务仍然具有挑战性。为了解决这一挑战，本文提出了一种名为RegionGraph的新方法，用于从卫星图像中重建建筑物结构。该方法利用布局区域图构建和图收缩技术，引入了一种名为ConPNet的原始（布局区域）估计网络来检测和估计不同的结构元素。通过结合结构提取和渲染合成过程，RegionGraph构建了一个以布局区域为节点、邻接关系为边的图结构，并将图优化过程转化为基于节点合并的图收缩问题，以获得最终的结构表示。实验表明，RegionGraph在三种类型的原始元素上平均F1分数提高了4%，并且在重建的结构中表现出更高的区域完整性和结构一致性。

1. 引言
从自上而下的遥感图像中提取建筑物结构[1]一直是计算机视觉和遥感领域的研究热点。建筑物是遥感图像中传递丰富地理信息的关键对象，其提取对于许多应用非常重要，如土地覆盖分类[2]、城市规划[3]和地理信息数据库更新。在智能城市发展的背景下，准确和自动化的建筑物提取尤为重要，因为它直接影响下游应用的效率和可靠性。从遥感图像中提取的结构信息为城市规划、土地资源管理和房地产登记提供了宝贵的支持。此外，这些信息促进了遥感数据的智能利用，并提高了其实际价值。在军事场景中，遥感图像还可以用于分析建筑物的结构和布局，为侦察任务提供有用信息。
尽管如此，从遥感图像中提取建筑物结构仍然具有挑战性。一个主要难点在于处理具有任意和复杂拓扑的建筑物布局。特别是对于从卫星图像中提取室外建筑物[1]，如图1所示，传统的曼哈顿世界假设常常由于远距离成像效应和透视失真而失效。这些因素使得准确的结构提取更加困难。因此，开发一种准确、高效和自动化的从遥感图像中提取建筑物结构的方法具有重要的实际价值。

图1. 从遥感图像中提取建筑物结构的示例[1]，右侧图像显示了突出显示了角点和边的重建结构。早期的遥感图像建筑物重建方法主要依赖于启发式算法[4,5]。尽管这些方法有效，但它们通常计算成本较高。随着深度神经网络（DNNs）的快速发展，遥感图像处理取得了显著进展。DNNs[6]在检测低级元素（如角点）方面表现出色，大大提高了检测的准确性和效率。然而，尽管有这些进步，对于基于DNN的方法来说，理解高级几何结构（如全局拓扑和图关系）仍然具有挑战性。大多数最先进的方法仍然依赖于传统的优化技术，在检测到低级元素后推断高级结构。虽然这些优化方法有效，但它们通常涉及复杂的公式和大量的工程工作来编码结构约束，导致流程复杂且耗时。因此，在保持高效低级元素检测的同时改进高级结构推理仍然是从遥感图像中重建建筑物的一个未解决的问题。
为了解决这些挑战，本文提出了一种基于图构建和图优化的结构重建框架，用于从遥感图像中提取建筑物结构。核心思想是使用图模型来表示和整合场景中的拓扑信息，并通过优化迭代改进这种表示。基于这一框架，我们引入了一种新方法RegionGraph。实验结果表明，所提出的方法在建筑物结构提取任务上取得了有竞争力的性能。与传统的启发式方法和基于DNN的低级元素检测方法相比，RegionGraph提供了更准确的结构重建，并在处理复杂场景和拓扑时表现出更高的鲁棒性。我们的主要贡献总结如下：
我们提出了一种基于图构建和图优化的结构重建框架。在图构建阶段，拓扑信息被编码成初始图表示。在图优化阶段，通过自动调整图节点和边来改进重建的准确性和效率。
我们引入了RegionGraph，用于从俯视遥感图像中提取建筑物结构。该方法结合了一个原始估计网络ConPNet，该网络利用区域热图上下文来估计原始元素的位置和属性。通过将建筑物拓扑表示为基于区域的图，并将图优化表述为节点合并收缩过程，RegionGraph提高了区域完整性和结构一致性。
我们在SpaceNet数据集上进行了比较和消融实验。结果表明，所提出的方法在区域完整性和结构关系建模方面表现良好，其性能可与最先进的方法相媲美。
请注意，我们将RegionGraph与一组代表从遥感图像中提取建筑物结构的主要方法进行了比较。鉴于现有工作的庞大数量，这些基线并不旨在涵盖所有方法，而是为了反映常用的重建方法。通过这种比较，我们证明了明确结合区域感知表示与基于图的结构优化可以提高结构完整性和拓扑一致性。值得注意的是，所提出的区域级图公式是与方法无关的，可以很容易地集成到其他基于原始元素或线框的重建流程中，突显了其通用性，超出了RegionGraph中使用的特定实例。
本文的其余部分组织如下。第2节回顾了从遥感图像中提取建筑物结构的相关工作。第3节详细描述了所提出的RegionGraph方法。第4节展示了实验结果，包括比较和消融研究以及定性可视化。最后，第5节总结了本文并讨论了未来的研究方向。

2. 相关工作
2.1. 结构重建和结构推理
结构重建属于更广泛的结构推理领域，还包括人类姿态估计[7]和图像中的语义关系推理[8]等任务。这些任务都有一个共同的目标，即从输入数据中提取向量化结构表示。根据重建目标的不同，这些表示可能包括线段[9]、平面表面[10,11,12]、房间布局[13,14]和多边形环[15]。
从遥感图像中提取建筑物结构的研究可以追溯到20世纪90年代[16]。早期的方法主要将建筑物提取视为像素级别的图像分割问题。然而，这些方法通常会产生锯齿状、不规则和碎片化的建筑物边界，这对于实际应用来说是不够的。为了解决这个问题，引入了基于向量的重建方法，其中建筑物被表示为封闭的多边形环。最近，重建方法进一步关注于建模内部和更细粒度的结构细节，以获得更准确和完整的建筑物向量表示。建筑物拓扑的复杂性和变化性使得从遥感图像中提取建筑物结构既具有挑战性又具有重要意义。

2.2. 传统的结构重建方法
传统的结构重建方法主要依赖于基本的图像处理技术，如直方图[17]、霍夫变换、超像素分割和几何拟合。例如，Okorn等人[17]通过构建垂直点分布的直方图来检测3D点云中的垂直平面以生成平面图。Furukawa等人[10]和Silberman等人[11]使用图割公式进行平面重建。Cabral等人[18]通过动态规划恢复楼层布局，而Delage[19]使用贝叶斯网络估计房间布局。
这些传统方法严重依赖于启发式规则和手工制作的假设，使它们对噪声和复杂场景敏感。因此，当应用于具有不规则结构的真实世界数据时，它们的性能往往会下降。随着神经网络的发展，结构重建逐渐转向数据驱动的解决方案，使得更稳健地建模复杂结构成为可能。

2.3. 基于深度学习的遥感图像建筑物提取
近年来，基于深度学习的方法显著提高了从遥感图像中提取建筑物的准确性。早期的方法基于卷积神经网络（CNNs）[6]和全卷积网络（FCNs）[20]，通常将建筑物提取表述为语义分割问题，其中每个像素都被分配一个类别标签[21,22,23]。虽然这些方法可以识别建筑物区域，但它们无法区分单个建筑物实例。
为了克服这一限制，应用了实例分割方法，如Mask R-CNN[24]、SOLO[25]、YOLACT[26]和PANet[27]来执行建筑物提取任务。这些方法使用边界框或基于原型的表示来预测单个建筑物掩码。然而，实例分割方法仍然面临挑战，例如重叠实例之间的干扰和边界定位不准确[28]。此外，语义和实例分割方法产生的都是像素级别的输出，需要大量的后处理，仍然无法达到手动级别的边界划分。

2.4. 基于轮廓和拓扑感知的方法
另一条研究路线将建筑物提取视为轮廓回归问题，其中直接预测建筑物多边形的顶点坐标[29,30,31,32,33,34]。与基于像素的分割方法相比，基于轮廓的方法在理论上更高效，因为它们直接生成向量表示，并减少了诸如栅格到向量转换之类的后处理步骤的需求。然而，简单的轮廓表示通常无法捕捉复杂的建筑物形状，特别是在建筑物块碎片化、重叠或垂直变化的情况下。为了解决这些限制，最近的研究开始探索建筑物结构的内部拓扑。例如，Zhang等人[35]提出了一种卷积消息传递神经网络，该网络将建筑物建模为结构化图，并从卫星图像中提取建筑物平面组件的向量表示。这项工作强调了拓扑推理和基于图的建模在结构重建中的重要性。

2.5. 总结
尽管最近取得了进展，但由于存在任意和复杂的图拓扑，重建建筑物外部结构仍然具有挑战性。首先，基于神经网络的启发式优化方法通常需要大量的计算资源，因为它们依赖于在大搜索空间上的迭代优化。对于复杂的建筑物布局，这一过程可能变得计算成本高昂且耗时。其次，端到端的重建流程可能难以生成紧凑且封闭的结构表示。尽管这些方法可以直接从输入图像生成重建结果，但建筑物结构的多样性和复杂性可能导致冗余或过于复杂的输出。因此，在从遥感图像中结构化重建建筑物时，实现重建准确性、结构完整性和计算效率之间的平衡仍然是一个关键的研究方向。
最近的基于变换器的轮廓和图重建模型进一步探索了全局注意力机制。RegionGraph的不同之处在于它强调区域感知的图初始化和收缩，以实现结构紧凑性。

3. 方法
3.1. 总体架构
所提出的RegionGraph的总体架构如图2所示。该方法包括两个阶段：（1）图构建，其中ConPNet从输入的卫星图像中预测结构原始元素热图（区域、边界、角点和采样点），并初始化一个基于区域的拓扑图；（2）图优化，其中应用节点合并来收缩和细化图结构，生成最终的向量化建筑物重建。该方法将向量化重建结果表示为基于区域的拓扑图，其中节点对应于区域（类似房间的）原始元素，边编码相邻区域之间的邻接关系，如图3所示。这种图表示提供了建筑物拓扑的明确和结构化描述。
图3. 构建图结构的方法。(a) 首先使用ConPNet预测的采样轮廓点生成建筑物轮廓的三角剖分。(b) 每个三角形单元被视为一个图节点，相邻三角形之间的邻接关系被编码为图边。(c) 该过程将低级几何原始元素转换为结构化的拓扑图，作为后续图收缩阶段的输入。RegionGraph遵循两阶段流程。在第一阶段，通过原始元素提取获得轮廓采样点。基于这些采样点，应用三角剖分过程，每个三角剖分单元被视为一个节点，以构建初始图结构。这一步将低级几何原始元素转换为保留局部空间关系的图表示。
图4详细介绍了第一阶段中使用的ConPNet的内部架构。ConPNet包含一个结构提取模块，该模块由三个重建分支组成：区域重建网络（RRN）、边界重建网络（BRN）和点重建网络（PRN），随后是一个用于合成采样点热图的融合网络（FN）。预测的区域（R）、边界（B）和角点（CP）热图提供了结构线索，这些线索被整合起来生成采样点热图（WP），作为图初始化的基础。在第二阶段，应用节点合并策略对初始图进行图收缩。通过根据预定义的标准迭代合并节点，图被简化并细化，从而得到最终的重建结果。这种基于区域的图构建和优化策略有效地提高了从遥感图像中提取建筑结构的区域完整性和结构准确性。

3.2. 图构建：ConPNet
我们提出了ConPNet，这是一种新颖的基于上下文信息的原始估计网络。在图构建阶段，RegionGraph首先通过关键点热图回归任务来初始化图。对于从遥感图像中提取建筑结构，结构线对应于建筑屋顶组件的轮廓。因此，ConPNet专注于建筑屋顶的区域特征，并根据区域热图提供的上下文信息提取关键点信息。在关键点位置预测的几何原始点构成了后续拓扑图构建的基础。这些关键点包括角点和采样点，分别对应于轮廓交点和沿轮廓边缘均匀分布的样本。

ConPNet执行从遥感图像到建筑结构原始热图的转换，这可以被视为在受限场景下的图像到图像的平移任务。给定一个包含建筑的遥感图像X，该图像包含在不同环境条件下保持不变的内在结构信息。这种结构信息表示为S：
$$
\mathcal{S} = \{ \mathbf{E}, \mathbf{V} \}, \mathbf{V} = \{ (\mathbf{x}, \mathbf{y} \mid \mathbf{x}, \mathbf{y} \in \mathcal{S} \}, \mathbf{E} = \{ (\mathbf{v}_i, \mathbf{v}_j) \mid \mathbf{v}_i, \mathbf{v}_j \in \mathbf{V} \}
$$
(1)
这里，$\mathbf{V}$表示建筑角点的集合，$\mathbf{E}$表示轮廓边的集合。$\mathbf{V}$和$\mathbf{E}$的组合唯一确定了建筑结构。由于角点和边属于不同的几何类别，我们采用基于采样的表示方法来统一这些原始点，并使用$\mathcal{S}'$来近似：
$$
\mathcal{S}' = \{ \mathbf{P} \}, \mathbf{P} = \{ (\mathbf{x}, \mathbf{y} \mid (\mathbf{x}, \mathbf{y}) \in \mathbf{E} \}
$$
(2)
这里，$\mathbf{P}$表示沿建筑轮廓边缘均匀分布的采样点集合，且$\mathbf{W} \subseteq \mathbf{P}$。因此，对于给定的输入图像X，ConPNet的任务可以表示为：
$$
\mathbf{R}^2(\mathcal{S}') = \mathbf{F}(\mathbf{X})
$$
(3)
这里，$\mathbf{F}(\mathbf{X})$表示热图提取操作，$\mathbf{R}^2(\mathcal{S}')$表示从点集$\mathcal{S}'$生成的核化热图。基于这种公式和不同热图的结构属性，ConPNet将$\mathcal{S}'$的提取分为两个阶段：结构提取和渲染合成，定义为：
$$
\mathbf{F}(\mathbf{X}) = \mathbf{F}_\mathbf{F}(\mathbf{F}_\mathbf{V}(\mathbf{X}))
$$
(4)
$$
\mathbf{F}_\mathbf{F}(\mathbf{X}) = [ \mathbf{F}_\mathbf{F}(\mathbf{X}), \mathbf{F}_\mathbf{E}(\mathbf{X}) ]
$$
(5)
1. 结构提取操作 $\mathbf{F}_\mathbf{F}$：这一步旨在去除环境和外观变化，同时恢复向量化结构信息。具体来说，应用角点重建 $\mathbf{F}_\mathbf{F}$ 和边重建 $\mathbf{F}_\mathbf{E}$ 来抑制背景噪声和立面纹理，并恢复建筑轮廓的角点和边。$\mathbf{F}_\mathbf{F}$ 和 $\mathbf{F}_\mathbf{E}$ 的输出在传递到后续的渲染合成模块之前沿着通道维度进行连接。
2. 渲染合成操作 $\mathbf{F}_\mathbf{E}$：这一步根据检测到的角点对边界结构进行离散采样。根据角点位置沿着边界热图生成采样点，以产生最终的采样点表示。由于从遥感图像中重建建筑强调主要建筑区域，并且直接提取角点和轮廓具有挑战性，ConPNet将区域几何先验纳入结构提取过程中。因此，转换表示为：
$$
\mathbf{F}(\mathbf{X}) = \mathbf{F}_\mathbf{F}(\mathbf{F}_\mathbf{F}(\mathbf{F}_\mathbf{R}(\mathbf{X}))
$$
(6)
其中 $\mathbf{F}_\mathbf{R}$ 表示区域热图重建操作。

基于这种设计，ConPNet由两个主要组件组成：结构热图重建网络和渲染合成网络。结构热图重建网络包括区域重建网络（RRN）、边界重建网络（BRN）和点重建网络（PRN），分别对应于 $\mathbf{F}_\mathbf{R}$、$\mathbf{F}_\mathbf{E}$ 和 $\mathbf{F}_\mathbf{F}$。融合网络（FN）实现渲染合成操作 $\mathbf{F}_\mathbf{E}$。区分区域感知、边界感知和角点感知分支的动机在于它们在图初始化和收缩中的不同结构作用。

请注意，ConPNet中的所有重建模块，包括RRN、BRN、PRN和FN，都是使用监督热图回归损失进行端到端训练的。在结构提取或渲染合成阶段不使用预定义的操作符或手工制作的规则。

3.2.1. ConPNet的结构设计
如图4所示，ConPNet采用了一个由结构提取模块和渲染合成模块组成的双模块架构。结构提取模块处理输入图像以生成多个原始热图，而渲染合成模块将这些原始热图整合起来生成最终的采样点热图。每个模块的详细架构如图5所示。给定一个遥感图像 $\mathbf{F} \in \mathbb{R}^H \times \mathbb{W} \times 3$，一个主干网络首先提取低级特征，生成特征图 $\mathbf{F}_1 \in \mathbb{R}^H^2 \times \mathbb{W}^2 \times \mathbb{N}$。主干网络由一个3×3卷积层、一个残差ConvBlock和另一个3×3卷积层组成。提取的特征图 $\mathbf{F}_1$ 然后被输入到RRN中，以获得中间区域感知特征 $\mathbf{R}_i^n$ 和相应的区域热图 $\mathbf{R}$。图5. 提出的ConPNet的详细架构。区域热图 $\mathbf{R}$ 被上采样并与 $\mathbf{F}_1$ 和 $\mathbf{R}_i^n$ 通过残差融合结合起来生成 $\mathbf{F}_2$，作为PRN和BRN的输入。这两个网络分别生成角点感知特征 $\mathbf{T}_i^n$ 和边感知特征 $\mathbf{V}_i^n$，进一步转换为角点热图 $\mathbf{P}$ 和边界热图 $\mathbf{B}$。最后，$\mathbf{R}_i^n$ 和 $\mathbf{V}_i^n$ 沿着通道维度连接起来形成 $\mathbf{F}_3$，然后传递给融合网络以生成采样点热图 $\mathbf{W}$。虽然通道注意力在融合过程中改善了特征权重，但在未来的工作中也可以探索其他轻量级的融合策略。

以下小节详细描述了结构提取和渲染合成模块。

3.2.2. 结构提取
结构提取阶段的目标是生成多个编码建筑结构信息的原始热图。由于Hourglass网络[36]在多尺度特征提取和定位任务[37]中表现出强大的性能，我们采用Hourglass风格的架构作为结构提取模块的主干。基础卷积块的参数设置总结在表1中，选定的网络模块的配置显示在表2中。表1. ConPNet中基础卷积模块的参数化。表2. SpaceNet上角点/边/区域精度和召回率的比较。最佳结果以粗体显示，第二好的结果下划线标出。RRN旨在抑制复杂的背景信息并提取与建筑主体相对应的区域感知特征。它由一个三层Hourglass网络[36]和一个RegionHead组成。Hourglass网络生成一个区域感知特征图$\mathbf{R}_i^n$，然后由RegionHead进一步转换以生成区域热图$\mathbf{R}$。这个热图作为几何先验，限制了后续原始热图的生成。由于区域热图的空间分布平滑，RRN使用均方误差损失进行训练。RegionHead的配置显示在表2中。

PRN推断建筑轮廓上角点的空间分布。与RRN类似，PRN也采用三层Hourglass架构，后面跟着一个PointHead。结合区域先验的融合特征图被处理以生成角点感知特征和相应的角点热图$\mathbf{P}$。PRN使用?1损失进行训练，以鼓励角点的准确定位。PointHead的参数设置提供在表2中。

BRN旨在从融合的特征表示中恢复建筑轮廓边界。它与PRN共享相同的基于Hourglass的架构，并通过BoundaryHead输出边热图$\mathbf{B}$。为了处理边界像素和非边界像素之间的不平衡，BRN使用自适应Wing损失[37]进行训练。BoundaryHead的详细配置也显示在表2中。

3.2.3. 渲染合成
渲染合成阶段的目标是通过由角点线索引导的离散采样边界信息来生成采样点热图。这个过程由融合网络（FN）实现，它以角点感知和边感知特征图作为输入，然后输出采样点热图$\mathbf{W}$。为了有效地融合多尺度结构信息，FN结合了通道注意力机制。通道注意力为特征通道分配自适应权重，使网络能够强调信息量大的通道，同时抑制不太相关的通道。如图6所示，通道注意力模块遵循Squeeze–Excitation–Transform流程，其中全局平均池化用于特征压缩，全连接层模拟通道间的依赖性，Sigmoid激活函数对通道权重进行归一化。具体来说，FN应用了多个不同核大小的卷积层（从3×3到25×25）来捕获局部和全局结构信息。得到的多尺度特征被连接并通过通道注意力模块处理，以生成尺度自适应的特征权重。然后通过元素级乘法和加法融合加权特征，接着通过卷积层生成最终的采样点热图$\mathbf{W}$。融合网络使用自适应Wing损失[37]和?1损失的组合进行训练：
$$
\mathcal{L}(\mathbf{W}) = \lambda_1 \cdot \mathcal{L}_\mathbf{A}(\mathbf{W}) + \lambda_2 \cdot \mathcal{L}_1
$$
(7)
这里，$\mathbf{W}$表示真实采样点热图，$\hat{\mathbf{W}$表示预测的热图。自适应权重损失使用可学习的或预定义的缩放因子平衡不同的监督项。权重$\lambda_1$和$\lambda_2$平衡了相应损失项的贡献。它们是根据验证集实验选择的，以确保训练的稳定性和在区域、边界和角点重建任务及性能上的平衡表现。在所有实验中，参数$\lambda_1$、$\lambda_2$、$\lambda_3$、$\lambda_4$、$\lambda_5$和$\lambda_6$分别设置为14、1、2.1、0.5和0.5。

3.3. 图优化：通过节点合并进行图收缩
本节介绍了RegionGraph的第二阶段，即图优化。从ConPNet输出的初始基于区域的图被简化为一个表示完整建筑组件的目标图。RegionGraph中的优化阶段被构建为一个在三角化平面图上的几何简化问题，而不是作为一个关系表示学习任务。由于初始图是通过三角化采样轮廓点构建的，因此在原始级别自然会出现过度分割。因此，基于节点合并的图收缩在结构上与这种初始化是一致的：它将相邻的三角形区域合并成连贯的屋顶组件，同时保持平面性和连通性。与基于学习的图优化方法（如图神经网络）或全局分区技术（如谱聚类和最小割公式）相比，我们的方法强调确定性的、可解释的、计算效率高的结构细化，而在优化阶段不引入额外的可学习参数。

给定一个初始图$\mathbf{G} = \{ \mathbf{E}, \mathbf{V} \}$，其中$\mathbf{V}$表示节点，$\mathbf{E}$表示边，优化目标是最小化以下能量函数：
$$
\mathcal{E}_\mathbf{G}(\mathbf{R}) = \mathcal{E}_n \cdot \mathcal{O}(\mathbf{D}) + \mathcal{E}_\mathbf{E}(\mathbf{E})
$$
(8)
其中两个项分别衡量节点完整性和区域间关系，如图7所示。图7. 重建结果的图结构表示。(a) 由多个连接的结构组件组成的目标建筑重建示例。(b) 对应的转换为基于区域的图表示。每个结构区域被建模为一个图节点，区域之间的共享边界被编码为关系边。集合$\mathbf{E}$和$\mathbf{V}$展示了图结构中边和节点的组织方式，包括背景节点$\mathbf{v}_{bc}^k$。这种表示构成了后续图收缩过程的基础。能量公式侧重于强制局部区域完整性和邻接一致性。当前模型中没有明确编码更高阶的全局拓扑约束，如循环一致性或全局连通性规范化。实际上，平面三角化初始化和保持邻接性的收缩隐式地维护了足迹级重建的结构有效性。然而，结合明确的全局约束可能会进一步提高高度复杂建筑布局的鲁棒性。

节点项（$\mathcal{E}_n$）评估一个节点是否对应于一个完整的建筑屋顶组件。它结合区域热图$\mathbf{R}$和边界热图$\mathbf{B}$来衡量每个多边形节点的结构完整性：
$$
\mathcal{E}_n(\mathbf{R}) = \sum_{\mathbf{v} \in \mathbf{V}} \left( \sum_{\mathbf{e} \in \mathbf{V}\mathbf{E}_\mathbf{H}(\mathbf{e}) \cdot \mathbf{e} \right) / \mathbf{v}_n \cdot \mathbf{v}_m
$$
(9)
边热惩罚定义为：
$$
\mathcal{E}_\mathbf{H}(\mathbf{e}) = 1 | \mathbf{e} | \int_{1}^{10} (\mathcal{R}(\mathbf{e}) - \mathbf{B}(\mathbf{e}) \cdot \mathbf{e}) \cdot \mathbf{e}
$$
(10)
$$
\mathbf{e} = \mathbf{e}_1 \cdot \mathbf{e}^2 + (1 - \mathbf{e}) \cdot \mathbf{e}^2
$$
(11)
其中$|\mathbf{e}|$是边的长度，$\mathbf{e}_1 \cdot \mathbf{e}^2$是其端点。$\mathcal{E}_\mathbf{H}(\mathbf{e})$的较小值表示边更有可能对应于真实的结构边界。最小化$\mathcal{E}_n(\mathbf{R})$鼓励每个节点表示一个完整的建筑组件。在实现中，方程(10)中的连续积分通过沿每条边的均匀离散采样来近似。具体来说，沿着边缘段以一个像素的间隔对点进行采样，并使用双线性插值来获得亚像素位置的热图值。然后，将采样值乘以边缘长度得到积分。边缘项（?????????????）用于根据邻接关系衡量区域合并。沿着共享边界的较小平均????????????值表示真正的结构分离，而较大的值则表明两个区域属于同一个组件。其公式为：?????????????=∑????∈??(∑????∈?????????????????(????))/????????????（12），其中????表示关系边，????????????是与该边相关的三角边的数量。最小化?????????????可以减少不必要的区域合并并保持结构独立性。总体而言，最小化???????????????被构建为一个基于节点合并的图收缩问题，其中对应于相同建筑组件的区域被逐步合并。

区域合并策略的目标是在保持图连通性的同时减少节点和边的数量。收缩过程包括两个阶段：
- 三角区域合并：每个三角节点必须至少与一个相邻节点属于同一个组件。为了减少搜索空间，合并每个三角形中最长边所连接的节点。给定一个初始图?? ={??,??}，合并后的图??′ ={??′,??′}定义为：??′={??′,??′}（13），其中??′=??∪{??}?{??,??∣???????∈{??????????},??∈??}（14），??′={(??,??)∣(??,??)∈??,??≠??}∪{(??,??)∣(??,??)∈??,??≠??}（15），这里??????????是三角形t的最长边，T是三角形集合，w是合并后的节点。
- 基于关系边的合并：在三角区域合并之后，使用关系边的置信度进一步合并多边形节点。该过程包括三个步骤：
1. 计算每个关系边???? ∈??′的?????????????(????)。
2. 移除置信度大于阈值????????????????的边：??″=??′?{????∣?????????????(????)>????????????????}（16）。
3. 合并被移除边所连接的节点：??″=??′∪{??′}?{??′,??′∣????′???′∈??′???″}（17）。
图8展示了整个收缩过程。首先通过三角区域合并简化初始图，然后进行基于关系边的合并。最后，移除在图构建过程中引入的虚拟背景节点，以获得最终的向量化结构表示。

4. 实验与分析
4.1. 数据集和样本处理
4.1.1. 数据集
实验使用来自SpaceNet语料库[1]的高分辨率卫星RGB图像进行，该数据集托管在亚马逊网络服务（AWS）上，作为SpaceNet挑战赛的一部分。我们采用了Nauata等人[1]引入的基准数据集，其中包含来自三个城市（亚特兰大、巴黎和拉斯维加斯）的2001个建筑样本。每张图像被裁剪成256 ×256的RGB块。数据集总共包含2001个样本，分为1601/50/350用于训练、验证和测试。每个样本包括一张卫星RGB图像和相应的向量结构注释。向量图表示屋顶结构，其中顶点对应于角点，边对应于屋顶组件（图1）。在整个数据集中，角点和边的平均/最大数量分别为12.6/93和14.2/101。
4.1.2. 样本处理
RegionGraph基于ConPNet热图回归输出构建图结构。因此，我们为每个几何原语生成如下真实热图：
- 样本点热图：我们沿着每个注释的边以10像素的间隔均匀采样点，形成样本点集。每个采样点在热图中通过放置一个以像素位置为中心、标准差为?? =2的2D高斯核来表示，从而得到样本点热图。
- 角点热图：使用相同的高斯渲染程序对注释的角点集生成角点热图。
- 边界热图：将注释的边膨胀为3像素宽的线段，然后用标准差为?? =2的高斯滤波器平滑，形成边界热图。
- 区域热图：用1填充由注释的边围成的封闭区域，所有其他像素设置为0，从而得到区域热图。

4.2. 评估指标和实验设置
4.2.1. 评估指标
我们遵循Nauata等人[1]的评估协议。使用精确度、召回率和F1分数来计算三种原语类型（角点、边和区域）的指标。
- 角点指标：如果预测的角点与真实角点之间的距离在8像素以内，则计为真正例。每个真实角点最多只能匹配一个预测。召回率和精确度分别为：???????????????????=??????????????+???????，????????????????????????????=??????????????+???????（18）。
- 边指标：只有当边的两个端点都被正确重建时，才计为正确重建的边。召回率和精确度分别为：???????????????????=??????????????+???????，????????????????????????????=??????????????+???????（19）。
- 区域指标：如果预测的区域与真实屋顶区域的IoU至少为70%，则认为预测的区域是正确的。召回率和精确度分别为：???????????????????=??????????????+???????，????????????????????????????=??????????????+???????（20）。
- F1分数：我们报告F1分数以同时评估精确度和召回率：???1=2×??????????????×????????????????????????????????????????+??????????????????????????（21）。
我们采用标准的SpaceNet评估协议以确保与以往工作的公平比较。虽然角点、边和区域的F1分数提供了广泛接受的重建准确性度量，但它们并没有完全捕捉到更高层次的拓扑正确性。更明确的拓扑感知指标，如图编辑距离或组件级IoU，可以提供额外的洞察，并留待未来研究。

4.2.2. 实验设置
所有实验都在配备2.6 GHz CPU和NVIDIA RTX 3090 GPU的服务器上进行，训练大约需要10小时才能收敛。我们使用Python 3.8和PyTorch 1.9.0实现模型。训练使用Adam优化器，初始学习率为1 ×10?4，权重衰减为1 ×10?5。模型训练700个周期，在最后100个周期内学习率衰减0.1倍。除非另有说明，我们将方程（7）中的损失权重设置为??1 =0.5和??2 =0.5，并将方程（16）中的图收缩阈值设置为???????????????? =0.5。选择0.5的值是基于在[0.3, 0.7]范围内的验证实验，其中区域F1在0.5附近达到峰值，较低的值会导致过度合并，较高的值会导致合并不足。ConPNet由三个Hourglass风格的重建分支（RRN、PRN、BRN）组成，共享特征宽度?? =256，后面跟着一个轻量级融合模块。整个网络包含大约107个可训练参数（约30 M），与其他多分支架构相当，用于结构定位。尽管实验是在256 × 256的块上进行的，但RegionGraph可以使用滑动窗口或带有重叠的平铺策略扩展到大型卫星图像。ConPNet完全是卷积的，允许在推理时使用任意图像大小，并且图收缩是在初始化的图组件上局部应用的。因此，该方法可以通过标准的基于瓦片的聚合集成到大型场景处理流程中。

4.3. 对比评估
为了验证RegionGraph的有效性，我们将其与七个代表性基线进行比较：PolyRNN++ [38]、PPGNet [39]、Hamaguchi [40]、SDSC-UNet [41]、L-CNN [42]、Nauata [1] 和 ConvMPN [35]。
- 基于栅格的分割方法：Hamaguchi [40] 和 SDSC-UNet [41] 生成栅格掩码，需要将栅格转换为向量进行结构评估。
- 向量重建方法：其余五种方法直接预测向量结构。PolyRNN++ [38] 执行轮廓回归，PPGNet [39] 和 L-CNN [42] 专注于线框检测，Nauata [1] 是卫星建筑向量化的基准，ConvMPN [35] 也通过图表示重建建筑结构。
表2报告了角点、边和区域的精确度和召回率。RegionGraph在所有方法中实现了最佳的区域性能。这主要是因为我们的基于区域的图构建通过将采样点三角化为区域节点，保留了更多的区域级结构，从而提高了区域召回率。此外，通过节点合并进行图收缩明确强制了组件的完整性，提高了区域精确度。仅将结构表示为角点/边原语的方法通常忽略全局区域关系，导致相邻组件之间的重叠或不一致性以及较弱的区域指标。基于分割的方法提供二进制掩码，但对精确边界不太敏感，这也限制了区域性能。RegionGraph在角点/边指标上略低于L-CNN [42] 和 Nauata [1]，这可能归因于热图回归和基于峰值的向量提取，其中离散化可能会引入小的定位误差。
表3报告了F1分数。RegionGraph实现了最佳的区域F1和平均F1。与Nauata [1] 相比，RegionGraph提高了近8点的区域F1和约4点的平均F1，表明了更强的整体结构一致性。
表3. SpaceNet上的F1分数比较。最佳结果以粗体显示，第二好的结果用下划线标出。图9展示了定性比较。RegionGraph产生了更完整的区域结构，具有更少的悬挂顶点和更少的交叉边。PolyRNN++ [38] 通常只捕获最外层的轮廓，可能会错过内部结构。基于原语的方法经常出现碎片化，产生孤立的角点和边。基于分割的向量轮廓在共享边界处可能不明确，其中相邻区域由重复的边表示，降低了紧凑性。Nauata基线[1] 依赖于手工制作的约束，对曼哈顿布局更敏感；在非曼哈顿情况下可能会显示出明显的角度偏差。总体而言，RegionGraph实现了强大的区域完整性，并具有更清晰的结构关系。
图9. 不同方法在SpaceNet语料库数据集上的可视化结果。图10展示了中间热图和最终重建结果。图10展示了预测的区域、边界、角点和样本点热图的代表性示例，说明了学习操作符在样本图像上的行为。在图构建阶段，ConPNet预测区域（R）、边界（B）、角点（?????）和样本点（?????）热图。区域热图捕捉了占地面积的完整性，但在边界处不够清晰，而边界和角点热图细化了几何细节。样本点热图整合了这些线索以支持图初始化。在优化阶段，图收缩将嘈杂的初始结构转换为紧凑的向量表示，并可以使用全局一致性纠正局部错误。例如，可以纠正移位的角点，移除错误的内部边，恢复缺失的内部边界。
图10. RegionGraph在SpaceNet上生成的原始热图和重建结构。为了更好地说明重建的结构，我们使用选定的RegionGraph结果在SketchUp中手动创建了3D模型（图11）。重建的平面图对于具有庭院的复杂复合建筑和环形结构仍然准确，为下游3D重建提供了坚实的基础。请注意，建筑高度和屋顶类型是从阴影中手动推断的。
图11. 基于RegionGraph输出的部分3D重建结果。它们是从RegionGraph的2D向量输出手动构建的，以展示潜在的下游3D重建应用。所提出的方法本身执行2D结构重建，并不直接生成3D几何体。虽然RegionGraph提高了区域完整性和结构紧凑性，但仍存在一些失败情况。这些包括在紧密相邻的屋顶组件中的过度合并，在高度碎片化的结构中的欠分割，以及在弱边界响应下偶尔出现的缺失内部边界。这些限制反映了热图质量和图初始化中的挑战。

4.4. 消融研究
我们评估了不同的模块组合以验证RegionGraph的设计。表4总结了消融设置，表2和表3报告了定量结果。请注意，消融研究旨在评估RegionGraph的代表性配置，而不是穷尽所有可能的组合。因为图优化阶段是在ConPNet生成的图上操作的，所以这两个阶段在结构上是耦合的，无法在不修改流程的情况下完全分离。因此，我们采用了一种渐进式配置策略来评估主要组件的影响。
表4. RegionGraph的消融设置（?表示包含，/表示不包含）。
- Pointsample：使用采样点作为三角化输入；否则使用角点。
- Contracttri：启用三角区域合并；否则移除此收缩步骤。
- Contractheat：启用基于关系边的合并；否则移除此收缩步骤。
- R：在ConPNet中使用区域热图先验；否则移除RegionHead和DownsampleR。
- CA：在融合网络中使用通道注意力；否则用简单的通道求和替换它。
表2和表3显示，与仅使用角点初始化相比，使用样本点初始化提高了结构召回率（设置1 vs. 设置3），表明采样点捕获了更丰富的边界和区域线索。图优化显著提高了所有指标（设置2 vs. 设置5），证明了基于节点合并的收缩对于去除冗余和强制组件级一致性至关重要。设置3、4和5之间的比较突出显示了两个收缩阶段的重要性：三角合并提供了粗略的简化，而基于关系边的合并进一步使用全局线索细化了邻接关系。结合区域先验提高了热图质量（设置5 vs. 设置6），通道注意力进一步增强了多尺度融合（设置6 vs. 设置7）。
图12提供了与定量趋势一致的定性证据。基于样本点的初始化产生了更完整的边界和区域。三角合并移除了许多冗余边，基于关系边的合并进一步抑制了误报并提高了紧凑性。通过添加区域先验和通道注意力，预测结果能够持续地更接近手动标注的结果。图12展示了在不同消融设置下的重建结果可视化。所有实验都遵循SpaceNet的官方数据分割方式，并采用相同的训练协议，以确保公平比较。观察到的改进在多个结构指标上是一致的。5. 结论我们提出了RegionGraph方法，用于从自上而下的卫星图像中提取建筑物结构信息。RegionGraph包括两个阶段：（i）ConPNet通过热图回归预测采样的结构元素，并使用三角测量法初始化区域图；（ii）图优化将结构细化问题转化为图收缩问题，并通过三角形合并和基于关系边的合并方法生成紧凑的向量表示。我们使用标准的角点、边和区域评估指标（精确度、召回率和F1分数）来评估RegionGraph的性能。与传统的线框提取方法（PPGNet [39]、L-CNN [42]）以及代表性的遥感基线模型（PolyRNN++ [38]、Hamaguchi [40]、SDSC-UNet [41]、Nauata [1] 和 ConvMPN [35]）相比，RegionGraph在区域准确性和整体结构一致性方面表现更优。定性结果进一步表明，RegionGraph能够提高区域的完整性并清晰地展示结构关系。消融研究证实了所提出流程中每个组件的有效性。虽然所提出的图收缩策略有效提高了区域级别的结构一致性，但当前的能量函数主要关注局部完整性和邻接关系，并没有明确建模更高阶的全局拓扑约束。未来的工作可以探索整合全局连通性正则化或基于学习的结构细化方法，以增强对更复杂建筑布局和大规模城市场景的泛化能力。此外，当前的评估依赖于基准指标，并没有明确量化图级别的拓扑一致性，这可以通过专门的拓扑感知度量方法进一步研究。尽管在SpaceNet的数据集上，所设定的阈值表现稳定，但自适应阈值选择或跨数据集验证可能有助于在不同建筑类型和成像条件下提高模型的鲁棒性。更全面的组合分析、统计显著性测试以及与近期基于Transformer的模型的广泛比较、统一的运行时基准测试，以及对大场景运行时、内存占用和实时部署的分析，都可以进一步增强实证验证，这些将在未来的工作中予以考虑。在另一项未来的研究中，我们计划整合基于阴影的高度估计技术，以实现更加自动化的3D重建流程。