基于频率条件表征学习框架的材料辨识型建筑屋顶提取方法

《Expert Systems with Applications》：Material-Discriminative Building Roof Extraction via a Frequency-Conditioned Representation Learning Framework

　　

摘要

从遥感影像中准确提取城市屋顶信息并对其材质进行特征分析，对于城市分析与决策而言至关重要。然而，现有的建筑提取方法主要侧重于几何形态的界定，忽视了屋顶材质的差异性，这限制了它们进行精细分析的能力。此外，大多数方法依赖空间域表征，而这种表征方式难以捕捉结构相似但材质存在细微差别的区域。为解决这些局限，我们提出了具有材质辨识功能的建筑屋顶提取任务，该任务同时实现对屋顶的分割与材质辨识。我们还构建了一个名为HRMBRE的数据集，其中包含多种屋顶材质类别的像素级标注信息。基于该任务与数据集，我们提出了一种频率条件下的表征学习框架——FAMSNet，用于实现具备材质感知能力的图像分割。具体而言，该框架通过频率条件下的特征调制机制，利用频率响应对空间特征进行重新组织，从而更精准地区分结构相似但材质不同的区域。同时，多尺度上下文建模能够捕捉不同分辨率下的语义信息，而多层特征融合模块则可整合分层表征信息，以提高预测的准确性。大量实验表明，与现有最先进方法相比，所提方法在分割精度和材质辨识能力方面表现更优，尤其是在边界模糊、纹理复杂的场景中。研究结果还显示，频率条件建模能有效捕捉与材质相关的空间特征模式。本研究为基于材质感知的城市屋顶分析提供了新的任务定义、数据集以及频率条件学习框架。该数据集与代码将在论文被接受后公开发布。

引言

从遥感影像中识别建筑屋顶区域，对于太阳能评估（Qiu, Shao, Zhang, Qian, 2024；Wang, Liu, Wang, Song, Fu, Zhang, 2024）、城市管理（Yan et al., 2025）以及灾后分析（Liu, Sepasgozar, Zhang, Ge, 2022a；Wu, Tong, Wang, Li, Li, Li, Feng, 2024）等城市应用而言具有重要意义。由于人工调查需要耗费大量时间和资金，因此人们开发了基于遥感的技术（Bakirman, Komurcu, Sertel, 2022；Dixit, Chaurasia, Kumar Mishra, 2021），通过卫星影像自动识别屋顶区域，显著提升了工作的效率与可扩展性。

尽管近期的深度学习方法在建筑提取领域取得了显著进展（Neupane, Aryal, Rajabifard, 2024；Wang, Guo, Wang, Cao, Huang, Zhang, 2025），但现有方法大多仅关注几何分割，将屋顶视为同质区域。然而在许多现实场景中，屋顶材质存在较大差异，这类差异对于那些需要精细语义理解的应用而言至关重要。忽视材质差异会限制现有方法在精细城市分析中的适用性。从表征学习的视角来看，这一局限源于这些方法过度依赖空间域特征。虽然空间表征有助于捕捉几何结构，但对于那些在视觉上相似但材质和纹理存在细微差别的区域，空间表征往往难以做到有效区分。在复杂的城市环境中，不同的屋顶材质可能具有相似的形状，但其高频特征却存在明显差异，比如周期性纹理和结构不连续性。不过，这些有用的特征线索在大多数现有的分割框架中并未得到明确建模。

为应对这些挑战，我们提出了一种频率条件下的表征学习框架，即频率感知多尺度网络（FAMSNet），用于实现具有材质辨识功能的建筑屋顶提取。该框架同时开展空间-频率特征学习，并利用频率响应来指导空间特征的重新组织。此外，我们还设计了一种专门的频率条件特征调制机制，用以增强对细微纹理和边界结构的表征能力。同时，多尺度上下文建模能够捕捉多样化的空间特征模式，而自适应多层特征融合则可整合分层表征中的互补信息。另外，目前尚缺乏包含像素级材质标注的公共数据集，这也是该任务面临的主要瓶颈。为填补这一空白，我们构建了HRMBRE这一新数据集，其中包含了不同城市场景下多种屋顶材质类别的精细标注信息。该数据集可为联合开展分割与材质辨识分析提供有力的评估依据。

总体而言，本研究通过引入频率条件建模范式，架起了遥感影像中几何分割与材质感知理解之间的桥梁。除了这一具体应用之外，所提出的框架也为那些需要准确区分细微结构差异的视觉任务提供了提升特征辨识能力的通用思路。我们的主要贡献如下：

• 1.
  任务定义与数据集构建。我们提出了新的具有材质辨识功能的建筑屋顶提取任务，将传统的建筑分割扩展为对屋顶材质的空间-语义联合建模。为支持这一任务，我们构建了HRMBRE数据集，其中包含多种材质类别的像素级标注信息，为开展基于材质感知的城市分析研究提供了基础。
• 2.
  统一的频率条件表征学习框架。我们开发了一种统一的表征学习框架，该框架同时实现对空间-频率学习、多尺度上下文信息以及多层特征层次结构的建模。该框架利用频率响应作为条件信号来指导空间特征的重新组织，同时通过多尺度建模与自适应多层融合机制，提升对多样化城市场景的表征能力。
• 3.
  频率条件空间调制机制。我们提出了一种全新的频率条件空间调制机制，即波let频率感知块机制，通过该机制可以利用频域响应对空间特征进行显式调制。该机制将空间-频率联合特征提取与频率引导的全局特征重组织相结合，从而更精准地表征细微纹理和边界结构，实现不同材质区域的区分。
• 4.
  全面的实验验证与实证分析。大量实验结果表明，所提方法在建筑屋顶提取任务上的性能始终优于现有最先进方法。除了在定量指标上表现更优之外，我们的研究还提供了实证证据，证明频率条件建模能够提升具有材质辨识能力的空间表征效果，同时有助于实现跨数据集的适配。

章节节选

基于深度学习的建筑提取

从遥感影像中提取建筑信息本质上是一个结构化预测问题，既需要准确界定边界，也需要对相关上下文依赖关系进行有效建模。早期的基于深度学习的方法主要依赖于全卷积网络（FCNs）（Ji, Wei, Lu, 2019；Long, Shelhamer, Darrell, 2015），这类网络能够实现端到端的像素级预测，大幅提升了建筑提取的性能。此后，又出现了U-Net等编码器-解码器架构

方法

在本节中，我们将介绍用于建筑屋顶提取的频率条件框架——FAMSNet。首先会介绍FAMSNet的整体架构，随后详细阐述其核心组成部分，包括用于频率条件空间调制机制的波let频率感知块、用于多尺度上下文建模的多尺度上下文块，以及用于自适应多层特征融合的多层自适应头部。最后，我们会介绍所构建的HRMBRE数据集。

实验设置

所有模型均在Ubuntu 22.04操作系统上运行，使用的深度学习框架为PyTorch 1.13，计算硬件为单块NVIDIA RTX 4090显卡（内存容量为24GB）。为确保公平比较，除非另有说明，其他竞争方法所使用的数据划分方式、输入分辨率、优化器以及学习率调度策略均与本方法保持一致。训练过程中采用AdamW优化器，配合余弦学习率调度策略，同时运用随机尺寸调整、随机裁剪、随机翻转等数据增强技术，训练迭代次数设置为16万次，以确保模型能够稳定收敛。所有竞争方法也均采用相同的优化策略进行训练

结论

本文通过引入包含精细屋顶材质标注的新数据集HRMBRE，以及提出的频率条件表征学习框架FAMSNet，解决了建筑屋顶材质辨识提取的问题。所提方法能够学习空间-频率特征表征，整合多尺度上下文信息，并融合多层特征，从而在复杂的城市环境中实现具备材质感知能力的图像分割。大量实验表明，FAMSNet在材质辨识能力方面表现优异

CRediT作者贡献声明

Wenyuan Ying：概念构思、方法设计、资金筹集、初稿撰写、研究实施、软件开发、论文审阅与修改。 Wei Lv：方法设计、软件开发、研究实施、初稿撰写、数据整理。 Qingxiao Guo：软件开发、数据整理。 Xin Zhou：论文审阅与修改。 Yin Gao：资金筹集。 Yuan Yang：资源协调。 Ling Zhang：概念构思、资源协调、项目管理工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

Wenyuan Ying|Wei Lv|Qingxiao Guo|Xin Zhou|Yin Gao|Yuan Yang|Ling Zhang