《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Directional geometric primitive segmentation and topological reconstruction for fine-grained roof structure extraction
编辑推荐：
多类型互补几何原语分割与拓扑重建方法，提出融合Scharr算子和Swin Transformer的特征背骨，设计方向性顶点和线段互补分割策略，结合端点-顶点匹配与混合拓扑追踪算法，有效解决屋顶结构提取中的漏检和连接错误问题。构建WHU-Roof10K数据集（10,575张高分辨率图像+矢量标注），通过ControlNet扩散模型生成候选图像与AdaAttN风格迁移模型优化标注效率，手动标注量减少92%。实验表明在VWB和自建数据集上，结构平均精度（sAP）分别提升9.7%和4.4%（顶点）及5.5%和3.2%（线段）。
余文玲|季顺平|张坤|罗慕英|詹玉杰|魏世清|龚建雅
东华理工大学测绘与地理信息工程学院，中国南昌330013
摘要
现有的细粒度屋顶结构提取方法通常使用点或线等单一类型的几何元素，但在遮挡区域和纹理较弱的场景中存在角点遗漏、连接错误以及图结构碎片化的问题。为了克服这些限制，我们设计了多种类型且互补的方向性几何元素，并利用它们重建完整的屋顶拓扑图。首先，我们引入了一种几何增强型特征骨架，该骨架结合了通过Scharr边缘运算符和Swin-Transformer提取的多尺度特征，以提高多元素分割性能。其次，我们设计了三种互补的几何元素：连接点（也称为方向性顶点）和由两个端点组成的线段。第三，我们提出了一种端点-连接点匹配和混合顶点-线段追踪算法，逐步从提取的几何元素重建出完整的多边形图。此外，为了解决高质量数据集的稀缺问题，我们提出了一种结合ControlNet扩散模型和基于自适应注意力归一化的风格迁移模型的交互式注释方法。这种方法在构建WHU-Roof10K数据集时将手动注释工作量减少了92%，该数据集包含10,575张带有矢量注释的高分辨率屋顶图像。综合实验结果表明，我们提出的屋顶结构提取方法性能优异，在VWB数据集上，其在顶点的结构平均精度（sAP）上比现有方法高出9.7%，在线段上的sAP高出5.5%；在WHU-Roof10K数据集上，顶点的sAP高出4.4%，线段的sAP高出3.2%。WHU-Roof10K数据集可访问地址为：http://gpcv.whu.edu.cn/data。
引言
从遥感图像中提取建筑物轮廓在城市规划、土地利用制图和数字孪生城市建设中起着关键作用（Awrangjeb等人，2013年；Wang等人，2022年；Wei等人，2023年；Raghavan等人，2022年；Sun等人，2023年）。除了建筑物外轮廓之外，细粒度屋顶结构的提取对于3D建模、拓扑结构分析和太阳能潜力评估也具有重要意义（Kong等人，2024年；Zhang等人，2024年；Shin，2024年；Tang等人，2025年；Yan等人，2022年）。然而，提取完整的屋顶结构比提取外轮廓更为复杂，因为需要恢复所有几何元素（包括内部和边界区域的顶点和线段）及其拓扑关系，以体现结构的完整性（Alexander等人，2009年；Wu等人，2022年）。
现有的提取建筑物外轮廓的方法缺乏细粒度拓扑推理的能力，无法用于详细的屋顶结构建模。当前的细粒度屋顶结构提取方法主要分为两类：基于点的方法和基于线的方法。基于点的方法检测顶点并推断其连接关系（Zhang等人，2020年；Chen等人，2022年；Zhao等人，2024年），但在遮挡区域或对比度低的区域常常会遗漏顶点，并且在复杂拓扑结构中无法建立正确的连接关系（例如多分支或交叉的屋顶）。基于线的方法使用线段重建结构（Xu等人，2021年；Xue等人，2020年；Zhou等人，2019年；Zhao等人，2022年5月），但经常出现顶点定位不准确和图结构碎片化的问题。以图1(a)为例，我们发现仅依赖点或线在阴影或纹理较弱的情况下会导致不理想的结果。然而，早期的混合解决方案（Nauata等人，2020年）缺乏有效利用点和线互补信息的机制。我们观察到，在现有的屋顶结构重建研究中尚未利用重要的方向信息。角点或线的方向有助于去除错误的线段或点，并发现缺失的组件，在完整的拓扑结构重建中起着关键作用。此外，由于缺乏高质量、多样化的细粒度屋顶结构数据集，屋顶结构重建研究的发展受到了阻碍。现有的主流数据集（例如VWB（Nauata等人，2020年）和RID（Krapf等人，2022年）通常存在尺度有限和结构多样性不足的问题。
为了克服这些限制，我们提出了一种基于互补几何元素的分割和拓扑重建框架。我们引入了两种类型的几何元素：线段（由两个端点表示）和方向性顶点。方向性顶点包括线段的交点（即连接点），其方向与相应线段平行；以及连接点，它们位于两个连接点之间，其方向与连接点的方向平行。如图1b所示，线和连接点的互补信息有助于在阴影中去除错误的线段，而连接点在相应线段缺失时可以进行必要的修复。然后，我们开发了一种端点-连接点匹配和混合顶点-线段追踪算法，从选择可靠的几何元素开始，逐步重建它们的拓扑关系，形成完整的屋顶结构图。这种增强方向性的多元素策略有效缓解了单一元素方法的局限性，平衡了局部几何特征表示和全局拓扑推理，从而显著提高了提取的屋顶结构的几何精度和拓扑完整性。此外，我们设计了一种几何增强型特征骨架，结合了通过Scharr边缘运算符和Swin Transformer提取的多尺度特征，以提高多元素分割性能。
为了解决对大规模、高质量标注数据的迫切需求，我们引入了一种高效的迭代注释策略，结合了ControlNet扩散模型（Zhang等人，2023年）和基于AdaAttN的风格迁移模型（Liu等人，2021年）。该方法首先使用ControlNet从标签和现有训练数据图像中合成大量图像，然后使用基于AdaAttN的风格迁移模型将生成图像的风格转移到目标图像上，从而实现精确的矢量形式屋顶结构标注的迭代训练和生成，几乎不需要人工干预（仅需大约8%的标注工作量）。利用这种策略，我们构建了WHU-Roof10K数据集，该数据集包含10,575张带有详细标注的精细屋顶结构的遥感图像，在规模、多样性和精度上均超过了现有数据集。
我们的贡献总结如下：
1.为了解决屋顶结构提取中部分线段或顶点不可避免的缺失和错误检测问题，我们设计了三种类型的互补几何元素：方向性连接点、连接点和线段。然后我们提出了一种端点-连接点匹配和混合顶点-线段追踪算法，从提取的多类型几何元素逐步重建出完整的多边形图，其性能在准确性和完整性方面均显著优于现有方法
2.我们提出了WHU-Roof10K，这是迄今为止最大的公开可用的高质量屋顶结构数据集。我们设计了一种迭代生成方法，利用扩散模型进行图像合成，并使用风格迁移模型进行领域适应。这使得我们仅用8%的人工标注成本就构建了WHU-Roof10K数据集。
部分摘录
屋顶结构提取方法
从遥感图像中提取细粒度屋顶结构面临重大挑战，因为屋顶结构的几何复杂性和拓扑多样性远高于建筑物轮廓的提取（He等人，2025年；Li等人，2024a；Li等人，2024b；Wei等人，2023年）。这项任务要求模型具备特征表示和拓扑推理能力。现有的方法都是基于学习的模型
方法
我们提出了一种基于方向性几何元素分割和拓扑重建的屋顶结构提取方法，如图2所示。该方法包括三个核心组成部分：一个具有几何感知能力的特征骨架、一个多类型几何元素提取器和一个混合几何元素拓扑重建器。该特征骨架通过结合Swin Transformer和Scharr运算符的特征来增强几何元素的表示能力，并输出多尺度特征
新数据集生成
现有的VWB数据集仅包含2,001张图像，样本数量有限且场景类型单一，这使得深度学习模型难以充分发挥其提取细粒度屋顶结构的潜力。本文提出了一种高效的交互式注释策略，用于构建新的大规模屋顶结构数据集。具体来说，在第3节提出的方向性几何元素分割和拓扑重建方法的基础上，我们进一步引入了
实验设置
我们使用VWB数据集和WHU-Roof10K数据集来验证我们的方法和性能。这些数据集的详细信息已在第4.4节中描述。接下来，我们将介绍实验细节。
结论
在本文中，我们通过提出的方向性几何元素分割和拓扑重建方法提取了细粒度屋顶结构。该方法创新性地结合了：一个结合了Scharr运算符和Swin-Transformer的几何增强型特征骨架；一种多元素（方向性连接点、连接点和线段）分割方法，克服了基于点或基于线的方法的局限性；以及一种端点-连接点匹配和混合顶点-线段追踪算法
CRediT作者贡献声明
余文玲：撰写——审稿与编辑、撰写——初稿、可视化、验证、监督、软件、资源、方法论、调查、形式分析、数据整理、概念化。季顺平：撰写——审稿与编辑、撰写——初稿、监督、软件、资源、项目管理、方法论、资金获取、形式分析、概念化。张坤：监督、数据整理。罗慕英：可视化、监督、数据
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
致谢
本工作得到了国家自然科学基金（42571412）和天津市科技计划项目（24YDPYSN00150）的支持。
