推进屋顶材料制图：一种基于超高分辨率航空影像的多类别深度学习方法

《Journal of Applied Remote Sensing》：Advancing roof material mapping: a multi-class deep learning approach on very-high-resolution aerial imagery

　　

屋顶材料的准确分类对于城市规划、环境监测和循环经济应用具有重要意义。我们研究了利用非常高分辨率（5厘米）红绿蓝（RGB）航空影像对12种屋顶材料进行多分类的深度学习方法的分类性能，该影像采集于比利时纳穆尔，代表了实际业务环境中常见可获得的数据。在有限训练数据的条件下，评估了一种结合对比度增强、面向纹理的预处理、轻量级卷积神经网络和集成建模的分类框架。所提出的方法达到了0.80±0.01的F1分数，各类别的F1分数范围为0.68±0.04至0.93±0.05。模型变异性和类别混淆得到了减少。空间不确定性分析进一步通过识别与不确定或不合理分类相关的区域，提供了关于预测可靠性的见解。尽管训练数据有限且类别复杂度增加，结果仍在最先进性能的范围内。本研究建立了从非常高分辨率RGB影像进行多类别屋顶材料分类的方法学基线。

1. 引言

屋顶是建成环境的重要组成部分，在城市可持续性中发挥着关键作用。屋顶材料的退化可能成为环境污染的主要来源，对人类健康产生潜在影响。^{1,2}石棉、重金属（锌、铅和镉）和多碳酸酯等有害物质可能会随时间释放，导致空气、土壤和水的污染。这些材料的磨损以及建筑规范的演变（例如关于屋顶隔热的相关规定）可能意味着效率的丧失和更换的义务。这些翻新会产生大量需要适当估算和管理的废物，以满足城市采矿的应用需求。^{3–5}此外，表面和建筑光谱特性的利用对于广泛的应用日益重要。城市材料的发射率是城市气候建模中计算表面能量预算所必需的。^{6}该发射率也是从卫星图像计算表面温度所必需的，并且是热遥感中最大的不确定来源。^{7}这些产品随后可用于评估城市材料在城市热岛缓解策略中的加热/冷却效应，^{8,9}以及评估屋顶隔热材料的短缺。因此，准确且最新的信息对于支持环境监测、风险评估和城市规划政策至关重要。

为解决这些问题，已开发了各种屋顶材料识别方法，主要基于地球观测数据。已建立了众多光谱库^{10}和分类方法^{11–15}用于映射和编目屋顶材料，检测石棉等危险材料，^{16–20}识别太阳能电池板，^{21}或映射金属屋顶。^{22,23}这些方法利用多光谱和高光谱遥感数据以及人工智能（AI）技术对屋顶材料进行分类。

第一个观察结果是，现有研究仍局限于二分类问题或聚焦于有限的材料类别数量，最多仅九个类别。^{11–21}此外，尽管高光谱数据为材料鉴别提供了丰富的光谱信息（如石棉检测），^{16–19}但大多数广泛可用的非常高分辨率（VHR）航空数据集仅限于红绿蓝（RGB）和近红外波段。另一方面，此类VHR数据集的高空间分辨率（5至25厘米分辨率）可以提供有价值的空间细节，从而可能增强分类性能，^{19,20}而航空或卫星高光谱数据的空间分辨率通常较低（多米级分辨率）。在设计分类模型时，必须仔细考虑光谱分辨率和空间分辨率之间的权衡。

近年来，人工智能已成为遥感应用中的强大工具，为多分类任务提供了强大的潜力。虽然传统机器学习（ML）算法（如支持向量机和随机森林）在屋顶材料分类中已展现出稳健的性能，^{11,13,18,19,21,22}但深度学习方法——尤其是卷积神经网络（CNN）——可以自动提取相关的空间和光谱特征，这可能提高分类准确率。^{12,14,15,24–28}然而，深度学习方法需要大量更多的训练数据，通常需要数千个样本，这与传统机器学习算法相比可能成为制约因素，尤其是在标注数据集稀缺时。当仅有有限数量的训练数据可用时，可能采取若干策略来提高模型泛化能力。

本研究旨在调查深度学习方法在现实操作约束下（包括有限训练数据、高类别数量、材料异质性和受限的光谱信息）进行详细屋顶材料分类的潜力。使用非常高分辨率RGB影像作为唯一数据源，开发并评估了一种轻量级分类框架，以应对数据稀缺以及城市遥感应用中通常遇到的语义复杂性。目的是建立一个方法学基线，以便未来的研究可以在此基础上展开。

本工作的主要贡献可总结如下：

1. 屋顶材料分类被构建为一个12类别问题，仅使用RGB影像，从而在保持与广泛可获取影像兼容性的同时，增加了相比大多数现有研究的主题细节水平。

2. 评估了一种结合面向纹理的特征学习、轻量级卷积神经网络架构和集成策略的方法学框架，以缓解与小型训练数据集相关的局限性。

3. 所提出的方法通过全面的实验方案进行评估，包括迁移学习基线的评估以及类别不平衡、模型稳定性、类别级F1分数、精确率和召回率、混淆模式和空间不确定性的分析，从而在现实操作条件下对其性能进行稳健的评估。

4. 为促进可重复性并便于未来研究，完整的源代码和训练好的模型已公开提供。

2. 材料与方法

2.1 研究区域

研究重点聚焦于比利时南部瓦隆尼亚地区的纳穆尔市（图1）。纳穆尔面积为176 km2，拥有114,047名居民（2024年）和89,500座建筑，人口密度为648人/km2，平均建筑密度为508座建筑/km2。建筑密度因区域而异。中心区域是最古老的且建筑最密集的区域，其特点是有大量排屋。相反，外围区域的建筑密度较低：四立面房和大型独立工业建筑的数量更多。

图1 下载 全尺寸图像 研究区域（纳穆尔）的地理位置。

纳穆尔的建筑屋顶具有各种各样的屋顶材料。在本研究中，它们被分为12个类别（图2）：太阳能电池板、棕色瓦片、橙色瓦片、黑色瓦片、深色膜材、白色膜材、含石棉板岩、不含石棉板岩、波纹石棉水泥板、砾石、植被、金属。这些类别是通过对瓦隆屋顶材料光谱库^{10}的分析，并结合RGB正射影像的光谱丰富度获得的。

图2 下载 全尺寸图像 研究的屋顶材料类别。

2.2 处理流程

分类流程基于文献28中提出的方法（图3）。所有实验都在一台配备NVIDIA GeForce GTX 1060（6 GB）GPU、56 GB RAM和Intel Core i7-8700K处理器（3.70 GHz）的工作站上进行。

图3 下载 全尺寸图像 处理流程。

2.2.1 数据收集

数据由纳穆尔市提供。^{29}其内容包括：(a) 2017年的航空正射影像市政覆盖，由5厘米空间分辨率的3波段RGB影像组成；(b) 基于2017年正射影像的摄影测量处理生成的界定屋顶区域的矢量多边形文件。

该屋顶区域掩膜使我们能够按屋顶区域开发分类方法，避免了进行分割步骤的需要。进行随机分层抽样以将屋顶与材料类别关联，同时确保数据集的广泛空间覆盖。我们通过对这些正射影像进行目视解译，并考虑图2中呈现的12种屋顶材料类别来产生这种关联。每个类别大约获取了140个样本点（图1和表1）。只有"10-植被"类别的样本数量较少（47个样本），这反映了研究区域内绿色屋顶的实际稀缺性。为表征采样屋顶区域的空间分布，随后计算了每个屋顶区域质心与其最近邻采样屋顶区域之间的欧几里得距离。所得距离分布将在4.7节中讨论。

2.2.2 预处理

面积小于5 m2的屋顶区域从屋顶区域掩膜中移除，因为其有限的面积通常缺乏足够的视觉信息以进行可靠的材料分类。随后，使用所得屋顶区域掩膜对正射影像中的非屋顶区域进行掩膜处理。

然后使用每个屋顶区域的质心作为提取点，从正射影像中提取图像瓦片。选择了3.2 m2×3.2 m2（64×64像素）的瓦片大小，以确保每个瓦片仅包含一个屋顶区域的信息。这种配置保证了仅捕获目标屋顶区域的颜色和纹理，同时避免了纳入邻近屋顶和悬垂植被等外围元素。屋顶被悬垂植被遮挡是城市遥感中反复出现的挑战。尽管所提出的策略并未完全消除这一问题，但在许多情况下有助于减轻其影响。数据集中部分被遮挡屋顶的存在不能完全排除，可能会引入一定程度的分类不确定性。然而，这反映了现实世界条件，因此有助于更真实地表示数据。由于缺乏所需的输入数据（例如数字表面模型DSM、数字地形模型DTM和类似日期获取的多光谱波段），无法使用冠层高度模型来显式掩膜植被。因此创建了一个包含1601个图像瓦片的数据集，用于12个屋顶材料类别的标注。^{30}

另一个众所周知的挑战是阴影和过曝屋顶的存在，因为此类光照条件会改变屋顶材料的表观颜色和纹理。图像采集通常规划以最小化这些效应，本研究也是如此，通过偏好太阳高悬的时段（例如正午附近和夏季期间）来减少阴影和极端光照条件的范围。可以考虑若干策略来解决这一问题：(i) 保留此类样本并接受增加混淆，(ii) 为阴影或过曝屋顶定义专门类别，或(iii) 将其排除在训练数据集之外。在本研究中，采用了后一种方法，因为这些条件被发现会误导人工标注者和分类模型，从而降低了训练数据的可靠性和一致性。因此移除了对应于阴影或过曝屋顶区域的瓦片。可见RGB波段的通道被转换为色调-饱和度-值（HSV）空间。第三个分量V（代表亮度）被用作掩膜的标准。亮度值低于0.2（阴影）或高于0.9（过曝）的图像部分被掩膜。这些阈值是经验设定的，移除了<1%的样本（表1）。

表1 不同处理阶段的数据集组成：原始样本（原始）、后处理样本（预处理后）、训练/验证集（训练/验证）、增强后的训练/验证集（训练/验证(增强)）和测试集（测试）。

| 类别 | 原始 | 预处理后 | 训练/验证 | 训练/验证(增强) | 测试 |
|------|------|----------|----------|----------------|------|
| 0 - 太阳能电池板 | 140 | 140 | 112 | 448 | 28 |
| 1 - 棕色瓦片 | 140 | 140 | 112 | 448 | 28 |
| 2 - 橙色瓦片 | 140 | 140 | 112 | 448 | 28 |
| 3 - 黑色瓦片 | 140 | 140 | 112 | 448 | 28 |
| 4 - 深色膜材 | 141 | 140 | 112 | 448 | 28 |
| 5 - 白色膜材 | 141 | 130 | 104 | 416 | 26 |
| 6 - 含石棉板岩 | 150 | 150 | 120 | 480 | 30 |
| 7 - 不含石棉板岩 | 140 | 135 | 108 | 432 | 27 |
| 8 - 波纹石棉水泥板 | 140 | 140 | 112 | 448 | 28 |
| 9 - 砾石 | 142 | 140 | 112 | 448 | 28 |
| 10 - 植被 | 47 | 45 | 36 | 144 | 9 |
| 11 - 金属 | 140 | 135 | 108 | 432 | 27 |
| 总计 | 1601 | 1575 | 1260 | 5040 | 315 |

此外，引入了两个处理步骤来帮助分类器学习纹理信息。3.3节展示了这一阶段的相关性。

首先，使用对比度有限的自适应直方图均衡化（CLAHE）滤波器增强了图像的对比度。^{31}该技术基于全色波段反射率值的直方图增强图像对比度。在实际操作中，每个瓦片被分为8×8像素的64个子块以增强局部对比度。在相邻子帧之间应用双线性插值以防止引入人工边界，使用相邻块的最近两个像素进行插值。

其次，应用了定向梯度直方图（HOG）算法来确定每个屋顶区域的主导方向。^{32}所得角度使得在屋顶区域被认为各向异性时（即其纹理信息是方向依赖的）可以对其进行旋转。事实上，某些屋顶材料表现出各向异性纹理，具有一个或多个优先方向（例如平行于金属板的波纹线）。这种纹理方向的变化使类别区分复杂化，尤其是在标记样本数量有限时。通过旋转属于各向异性类别的瓦片，分类器可以学习每个类别的单个代表性模式。

HOG算法将每个图像瓦片分为8×8像素（0.4 m2×0.4 m2）的块——与CLAHE滤波器使用的窗口大小相同。每个块独立处理。

在一个区块内，每个像素的梯度分别以幅值和方向（范围为0到180度）进行了计算。随后，方向相同的像素幅值以5.625度的角分辨率进行累积，对应于0到180度之间的32个方向。累积后的幅值在所有区块内的瓦片中取平均值，最大幅值对应的方向被定义为屋顶区域的纹理方向。如果该最大值至少是其他值的两倍，则根据HOG返回的角度对相应的瓦片进行旋转（图4）。对于各向同性屋面材料，避免进行旋转，因为生成旋转图像所需的插值可能导致少量信息损失。图4：(a) 从屋顶区域中提取的图像瓦片（3.2 m2 × 3.2 m2）。展示了两个示例：一个具有各向同性纹理的屋顶区域（陶瓷瓦）和另一个具有各向异性纹理的屋顶区域（波纹石棉水泥板）。(b) 对于每个区块（0.4 m2 × 0.4 m2），显示了每个方向（°）的累积梯度幅值。(c) 所有区块的累积幅值平均值。

最后，瓦片中的数据通过最大值进行了归一化处理，以确保所有特征在分类过程中贡献相等。随后，瓦片被划分为训练/验证集和测试集，比例为80%和20%（表1）。两个数据集均包含分布在整个研究区域内的瓦片，以确保屋面材料的多样性得到充分代表。仅关注局部区域将无法提供这样的代表性。

2.2.3 数据增强

随后对训练/验证瓦片进行了数据增强。每幅图像分别通过水平对称、垂直对称和转置对称进行了三次复制。因此，训练/验证数据集的规模扩大了四倍（从1260张增加到5040张图像），以避免分类器的过拟合（表1）。这一数据增强步骤的相关性将在3.3.2节中进行论证。

2.2.4 训练

如表1所示，各类屋面材料的样本数量相对均衡，只有植被类是明显欠代表的类别。所有实验采用了标准训练策略，使用分类交叉熵损失。此外，还进行了30次独立的分类加权交叉熵实验，以评估类别平衡是否有助于改善欠代表类别或常被混淆类别的分类效果。这些实验仅提供了微小的性能提升，并未减少类别间的主要混淆模式（见3.2节）。因此，研究全程保留了标准训练策略。

2.2.5 分类器

该任务被构建为一个有监督的多类分类问题，其中每个输入图像瓦片（64像素×64像素×3波段）对应一个屋顶区域，并关联0到11之间的类别标签。不进行逐像素分割，因为屋顶区域已通过外部掩膜预先定义。目标是通过在训练数据集上最小化分类交叉熵损失，学习一个将输入图像映射为类别概率的函数。

最初测试了三种复杂度递增的CNN：具有4层和246,988个参数的Conv2、具有6层和1,194,572个参数的VGGNet，以及具有4个残差块和1,465,226个参数的ResNet（表2）。此外，还评估了一个在ImageNet上预训练的MobileNetV2架构作为迁移学习基线。预训练的骨干网络首先作为冻结的特征提取器使用，随后在屋顶图像数据集上进行微调。这一初步比较的目的是评估增加的架构复杂度或迁移学习是否能提升分类性能，以选择合适的基线网络用于后续实验。测试在进行CLAHE和HOG预处理（2.2.2节）之前执行，但考虑了数据增强（2.2.3节）。如3.1节所述，Conv2的分类性能与更深的CNN架构相当，并优于迁移学习方法，同时所需的计算资源和训练时间大幅减少。因此，它被选为所有后续实验的基线架构。

表2：所调查的CNN及其参数数量、宏平均F1分数和训练时间（分钟）。

| 模型 | 参数数量 | 宏平均F1分数 | 训练时间（分钟） |
|------|----------|-------------|-----------------|
| Conv2 | 246,988 | 0.68±0.03 | 13 |
| VGGNet | 1,194,572 | 0.67±0.03 | 65 |
| ResNet | 1,465,226 | 0.68±0.07 | 80 |
| MobileNetV2 | 2,423,500 | 0.64±0.03 | 85 |

选定的CNN——Conv2——使用Python中的Keras库实现（图5）。网络的输入由64×64的RGB图像瓦片组成。分类器包含4个卷积层，使用3×3卷积核，滤波器数量分别为32、64、128和128。每个卷积层使用ReLU激活函数、步幅为1的卷积分隔和有效填充，后面跟随一个步幅为2的2×2最大池化层。得到的特征图经过展平后通过一个丢弃率为0.5的dropout层。最终输出层是一个具有12个神经元的稠密层，使用softmax激活函数产生类别概率。输出层上应用了L2正则化项（λ=1×10??）。使用了Keras默认初始化器（稠密层使用Glorot uniform，卷积层使用He normal）。网络总共包含246,988个参数。

图5：所选CNN的架构。

训练前，通过将图像像素值除以256进行归一化处理，使其值域为[0, 1]。类别标签使用keras.utils.to_categorical进行独热编码。数据集使用分层随机划分分为训练子集和测试子集，其中20%的样本保留用于测试（test_size = 0.2, random_state = 2, stratify=Y）。随后进行了100个epoch的训练，批量大小为128个图像瓦片，并在训练集上应用了0.1的验证划分。

模型使用Adam优化器及其默认参数（β?=0.9, β?=0.999, ε=1×10??）进行优化，学习率为0.001。使用的损失函数为分类交叉熵。除输出层的L2正则化外，未施加额外的正则化。实现基于TensorFlow 2.9.1/Keras 2.9.0和Python 3.10.6。模型训练过程中未设置显式的TensorFlow或NumPy随机种子，使集成中的每个CNN从不同的随机初始化开始。

为降低单一分类器固有的结果变异性，训练了多个相同的模型，使用不同的随机初始化进行并行训练。所有模型在相同的训练数据集上训练，以确保模型性能在完全独立的测试集上评估。由于超过12个分类器后未观察到进一步改善，最终模型集成由12个相同的CNN组成（图6）。它们的输出通过对原始softmax概率向量进行无权平均进行聚合。这种简单的聚合策略是为了保持方法学的简洁性和可复现性。对12个模型中各类别F1分数变异性的分析显示，离散程度有限（标准差范围为0.04至0.11），表明单个模型的性能水平相近，更复杂的加权方案可能只有微小的影响。

图6：加权F1分数随集成中包含的CNN数量变化的演变过程。

集成策略的相关性将在3.3.2节中论证。

2.2.6 消融研究

进行了四项实验，测试不同变体的深度学习处理链（2.2节），以评估本方法中引入的各组件的附加价值（表3）。

表3：实验及其在宏平均F1分数、类别F1分数范围和训练时间（分钟）方面的结果。

| ID | 模型 | 宏平均F1分数 | 类别F1分数 | 训练时间（分钟） |
|----|------|-------------|-----------|-----------------|
| DL_0 | 无数据增强，无CLAHE和HOG，单个网络 | 0.63±0.02 | 0.37±0.06 至 0.83±0.08 | 4 |
| DL_1 | 数据增强，无CLAHE和HOG，单个网络 | 0.68±0.03 | 0.39±0.07 至 0.85±0.05 | 13 |
| DL_2 | 数据增强，CLAHE和HOG，单个网络 | 0.75±0.02 | 0.58±0.08 至 0.92±0.04 | 14 |
| DL_3 | 数据增强，CLAHE和HOG，12个网络 | 0.80±0.01 | 0.68±0.04 至 0.93±0.05 | 143 |

DL_0实验排除了数据增强、CLAHE和HOG步骤，并仅依赖单个CNN。DL_1实验整合了数据增强的使用。在DL_2中，将CLAHE和HOG纳入工作流。最后，DL_3引入了12个并行CNN的使用。

每个实验使用不同的训练数据集重复30次，以评估结果的变异性。结果将在2.7节和3.3.2节中呈现。

2.2.7 推理

通过消融研究确定的最佳深度学习分类器（2.2.6节）被应用于整个那慕尔市，共计215,470个屋顶区域待分类。对于每个屋顶区域，分类器计算了其属于所调查的12个类别中每一类的概率。通常，最终分配给某个屋顶区域的类别是分类器计算的最高概率所对应的类别。

2.3 性能评估

使用多个指标对整体分类性能进行了评估：

• 加权F1分数 [公式(1)]，用于考虑类别间的不平衡情况。

公式(1)：加权F1分数 = (Σ_{i=1}^{k} n?·F1?) / (Σ_{i=1}^{k} n?)

其中k为类别数量，n?为属于类别i的样本数，F1?为类别i的F1分数。

• 宏平均F1分数 [公式(2)]，对每种屋面材料赋予同等重要性，无论其在评估数据集中的频率如何。

公式(2)：宏平均F1分数 = (1/k)·Σ_{i=1}^{k} F1?

其中k为类别数量，F1?为类别i的F1分数。

• 各类别的精确率 [公式(3)]，衡量被分配给某个类别的样本中实际属于该类别的比例。

公式(3)：Precision? = TP? / (TP? + FP?)

其中TP?和FP?分别为类别i的真阳性数和假阳性数。

• 各类别的召回率 [公式(4)]，衡量属于某个类别的样本中被模型正确识别的比例。

公式(4)：Recall? = TP? / (TP? + FN?)

其中FN?为类别i的假阴性数。

• 各类别的F1分数 [公式(5)]，通过精确率和召回率的调和平均来综合评估类别特定性能。

公式(5)：F1? = 2 × (Precision? × Recall?) / (Precision? + Recall?)

• 归一化混淆矩阵，用于分析类别间的混淆情况。混淆矩阵按列进行归一化（即每列之和为1），因此对角线值代表每个预测类别的精确率。

使用Mann-Whitney U检验来评估各实验间性能差异的统计显著性，因为结果来自具有不同随机划分的独立运行。应用Holm校正来考虑多重比较，并报告效应量（r）以量化差异的程度。

此外，这些统计量无法捕捉精度的空间变异。从类别成员概率向量派生的屋顶区域级主题不确定性可以提供这种空间明确的信息。

• 最大概率[MP；公式(6)]，传统上用于此目的，其计算方法为：

公式(6)：MP = max(p)

其中p为概率输出向量p = (p?, …, p?)，满足Σ_{i=1}^{k} p? = 1，k为类别数量。

• 等效参考概率[ERP；公式(7)和(8)]也为每个屋顶区域进行了计算。与MP不同，ERP考虑了完整的概率集合，并表明分类器对某个屋顶区域是否在多个类别间犹豫不决。

公式(7)：EDI = [ln(p_max) ? Σ_{p?>0, p?≠p_max} p?·ln(p?)] / (1 ? p_max)

公式(8)：ERP = e^(EDI) / [e^(EDI) + (k?1)]

其中EDI为观测到非最大概率类别时的期望信息差，p_max为最大概率，p?为类别i的概率，k为类别数量。

MP和ERP越接近1，预测越可靠，表明分类不确定性越低。

3. 结果

3.1 CNN选择

表2显示，三种自定义CNN架构（2.2.5节）实现了相似的性能水平，宏F1分数约为0.68，标准差在0.03至0.07之间。基于在ImageNet上预训练的MobileNetV2架构的迁移学习实验实现了较低的性能（0.64±0.03），低于自定义CNN架构，尽管使用了预训练权重和随后的微调。

然而，训练时间随着模型复杂度的增加而大幅增加，从Conv2的13分钟增加到VGGNet和ResNet的约1小时或更长，同时迁移学习模型也需要额外的计算资源。

鉴于其可比的分类性能、较低的计算成本和较短的训练时间，Conv2被选为所有后续实验的基线架构。

3.2 训练策略选择

尽管数据集总体相对均衡（表1），但进行了实验以评估分类加权交叉熵是否能改善欠代表类别或常被混淆类别的分类（见2.2.4节）。对于两种训练策略，宏平均和加权F1分数几乎相同，仅在第三位小数处存在差异，这表明类别支持量的差异对整体性能估计的影响很小。分类加权训练使两项指标略有增加，从0.63±0.02上升至0.64±0.02（图7）。然而，这种增加不具有统计显著性（p = 0.175）。

图7：使用和不使用分类加权训练获得的类别F1分数比较。每个实验报告了宏平均F1分数。

在有限的类别中观察到改善，最显著的是黑色瓦类，其F1分数从0.57增至0.64。这种改善主要由召回率从0.58增至0.74驱动，而精确率仅略有增加，从0.56升至0.57。

然而，这些增益部分被其他类别性能下降所抵消，包括不含石棉的板岩和砾石。对于不含石棉的板岩，尽管精确率从0.39略微上升到0.40，但召回率从0.36下降至0.32，导致F1分数从0.37降至0.36。对于砾石，精确率几乎不变（0.67至0.68），而召回率从0.69下降至0.64，F1分数从0.68降至0.66。类别加权还改变了部分类别精确率与召回率之间的平衡，但并未提升其F1分数。例如对于金属，精确率从0.56上升至0.68，而召回率从0.55下降至0.47，F1分数维持在约0.55不变。混淆矩阵（未展示）表明，主要的混淆模式基本保持不变，尤其是对于瓷砖和板岩等视觉上相似的类别。这些结果表明，类别加权并未提供一致或具有统计学意义的分类性能提升，说明类别不平衡并非该数据集误差的主要来源。因此，类别加权训练未保留在后续实验中。

**3.3 消融研究**

**3.3.1 全局F1分数**

所获得的宏平均F1分数范围为0.63±0.02至0.80±0.01，取决于实验配置，其中DL_3达到了最高性能（表3）。加权F1分数也进行了计算，在所有实验中与宏平均F1分数几乎相同，表明类别支持度数的差异对整体性能估计影响甚微。

基线配置（DL_0）产生的宏平均F1分数为0.63±0.02。使用数据增强（DL_1）将宏平均F1分数提高了5%，达到0.68±0.03。在预处理阶段整合CLAHE滤波器和HOG算子（DL_2）将宏平均F1分数提高了7%，达到0.75±0.02。最后，结合12个并行CNN并平均其预测结果（DL_3）带来了进一步的5%提升，达到0.80±0.01。

在后续实验之间的成对统计比较（DL_0与DL_1、DL_1与DL_2、DL_2与DL_3）证实，所有观察到的改进均具有统计学显著性（Holm校正后p值范围为10??至10?1?）。相关的效应量较大（r在0.72至0.86之间），表明每个后续配置之间存在显著的性能增益。

这些结果突显了数据增强、对比度增强、纹理方向信息纳入以及通过模型集成实现的稳定化所带来的累积效益。

**3.3.2 类别级F1分数**

各实验中的类别级F1分数普遍有所改善，其中DL_3优于其他配置，并且各类别间的性能范围最为紧凑（图8）。类别级F1分数的范围从DL_0中的0.37至0.83，变为DL_1中的0.39至0.85、DL_2中的0.58至0.92，以及DL_3中的0.68至0.93。

图8 各实验中DL_0、DL_1、DL_2和DL_3获得的类别级F1分数对比。

在DL_1中引入数据增强后，所有类别均有所改善。相较于DL_0，改善最大的是深色卷材，其F1分数提高了0.13；棕色瓷砖和含石棉的板岩也有改善，均提高了0.11。砾石（+0.07）和植被（+0.05）的改善较为温和，而其他类别仅有有限变化。白色卷材（0.85±0.05）和波纹石棉水泥板（0.83±0.06）达到了最高的F1分数，而不含石棉的板岩（0.39±0.07）和金属（0.56±0.11）仍为表现最差的类别。

在引入对比度和纹理导向的预处理策略后，DL_2中观察到了更广泛的改善。相较于DL_1，改善最大的是不含石棉的板岩（+0.19）、金属（+0.17）、太阳能电池板（+0.14）、植被（+0.12）和黑色瓷砖（+0.09）。砾石和深色卷材分别改善了0.07和0.06。相反，波纹石棉水泥板和含石棉的板岩的F1分数均略有下降，各减少0.02。DL_2中太阳能电池板达到了最高的F1分数（0.92±0.04），其次是白色卷材（0.86±0.06）、植被（0.82±0.11）和砾石（0.82±0.04）。尽管改善显著，不含石棉的板岩仍为表现最差的类别（0.58±0.08）。

DL_3中实施的集成配置进一步提高了类别级F1分数。相较于DL_2，增益最大的是不含石棉的板岩（+0.10）、黑色瓷砖（+0.09）、含石棉的板岩（+0.08）以及金属、波纹石棉水泥板和深色卷材（各+0.07）。橙色瓷砖和太阳能电池板的改善较为有限（各+0.01），因为它们已在DL_2中达到了较高的F1分数。与之前的转换不同，DL_2到DL_3之间没有任何类别出现F1分数下降。

最终，DL_3中12个屋顶材料类别中的7个达到了0.80或以上的类别级F1分数：太阳能电池板（0.93±0.04）、白色卷材（0.89±0.03）、植被（0.88±0.06）、波纹石棉水泥板（0.88±0.04）、砾石（0.86±0.04）、橙色瓷砖（0.81±0.04）和金属（0.80±0.06）。深色卷材和黑色瓷砖分别获得了略低的F1分数0.79±0.04和0.77±0.03。含石棉的板岩（0.73±0.03）、棕色瓷砖（0.69±0.05）和不含石棉的板岩（0.68±0.05）仍为表现最差的类别。

在所有实验中，不含石棉的板岩始终是识别最具挑战性的类别，尽管其F1分数从DL_0中的0.37±0.06大幅提升至DL_3中的0.68±0.05。相反，白色卷材和波纹石棉水泥板在DL_0中已达到类别级F1分数>0.80。太阳能电池板在基线实验中也表现较好，随后在DL_3中达到了最高F1分数。

**3.3.3 类别级精确率与召回率**

在四个实验中，精确率和召回率在各屋顶材料类别间存在显著差异，揭示了类别特有的假阳性或假阴性误差倾向，而F1分数无法完全捕捉这些倾向。

对最终DL_3配置的详细分析表明，太阳能电池板兼具高精确率（0.90）和最高召回率（0.96），从而获得了最高的类别级F1分数（0.93）（图9）。白色卷材、波纹石棉水泥板、砾石和植被的精确率和召回率均超过0.85。然而，植被的结果应谨慎解读，因为该类别在评估数据集中仅包含9个观测值。

图9 最终DL_3配置的类别级精确率和召回率。数值为重复运行的平均值。

精确率与召回率之间最大差异出现在黑色瓷砖和金属上。黑色瓷砖精确率为0.86但召回率仅为0.71，表明分配给该类别的预测通常可靠，但有大量实际黑色瓷砖未被检测到。金属呈现类似模式，其精确率达0.88但召回率仅0.74。深色卷材呈现相反模式，召回率超过精确率（0.83对0.75），表明大多数深色卷材样本被检测到，但该类别也吸引了较多假阳性预测。

最低精确率和召回率出现在不含石棉的板岩（0.66和0.70）和棕色瓷砖（0.70和0.69），证实这些材料仍是分类难度最大的之一。含石棉的板岩表现略好但仍相对有限，精确率为0.71，召回率为0.75。相比之下，橙色瓷砖和砾石呈现相对平衡的精确率和召回率（橙色瓷砖0.82和0.80；砾石0.87和0.86）。

总体而言，DL_3为大多数类别提供了假阳性和假阴性误差之间的满意平衡，尽管黑色瓷砖和金属的较低召回率以及深色卷材的较低精确率凸显了F1分数本身无法完全反映的类别特定局限性。

**3.3.4 模型变异性**

DL_3配置在重复运行中的降低的变异性证实了其鲁棒性。将DL_0、DL_1和DL_2实验重复30次，显示出各类别精确率存在较大变异性，反映了从有限训练数据集和单一网络中学习12个屋顶材料类别的难度。DL_0中标准差高达0.12，DL_1和DL_2中为0.11。相比之下，DL_3中实施的多网络策略显著稳定了预测结果，标准差未超过0.06。

**3.3.5 混淆矩阵**

混淆矩阵表明，错误分类主要发生在颜色和纹理相似的材料之间，但随着分类器的优化，这些混淆逐渐减少（图10）。例如，不含石棉的板岩与含石棉的板岩、深色卷材和黑色瓷砖发生混淆。棕色瓷砖、橙色瓷砖、波纹石棉水泥板和砾石之间也观察到额外混淆。

图10 (a) DL_0、(b) DL_1、(c) DL_2和(d) DL_3实验的混淆矩阵。对角线上给出各类别的精确率。

**3.3.6 计算成本**

为提供运营适用性指示，评估了所提出方法的计算成本。训练时间因实验而异，从最简配置（DL_0）的约4分钟到最复杂配置（DL_3）的143分钟（表3）。在整个研究区域（纳穆尔215,470个屋顶片段）上的推理时间约为6小时（基于第2.2节所述的硬件）。

**3.4 空间与材料依赖性不确定性**

ERP和MP的空间分布无空间组织或类别依赖性结构（图11）。对于相同屋顶片段，ERP比MP更保守，即使对于由单一材料构成的屋顶，ERP值也可能在不同片段间有所变化。

图11 使用DL_3的屋顶材料分类结果，放大至三个感兴趣区域(a)、(d)和(g)，包括其对应的ERP (b)、(e)、(h)和MP (c)、(f)、(i)空间分布。

三个案例研究说明了这些发现：一个以卷材和金属为主的大型独立建筑工业区[图11(a)–11(c)]；一个以瓷砖、板岩和太阳能电池板为屋顶的郊区独立住宅区[图11(d)–11(f)]；以及一个以板岩、深色卷材和太阳能电池板覆盖的小型半独立住宅的历史市中心[图11(g)–11(i)]。尽管屋顶形态和材料存在显著差异，ERP和MP显示出相似的值范围和频率，证实了它们与类别和空间背景无关。

由于ERP是基于隶属概率向量分布的MP的惩罚形式3?，ERP值通常比MP值更具对比性。因此，ERP能更有效地捕捉模型的犹豫程度。例如，分类器将图11(d)中的屋顶归类为波纹石棉水泥，但该场景实际上不存在此材料。对于这些屋顶片段，ERP范围为0%至50%[图11(e)]，而MP范围为25%至75%[图11(f)]。

在由单一材料构成的屋顶片段间ERP值的变化也有所观察到，特别是在图11(a)–11(c)中。这可能源于光照变化改变了材料的表观特征。

**4. 讨论**

本研究的主要目标是评估轻量级CNN方法在现实运营约束条件下的潜力，包括有限训练数据、大量类别、材料异质性和受限的频谱信息。这些条件反映了运营城市制图应用中常见的数据配置。互补策略的实施，特别是扩充训练数据集和支持多类别学习，使宏平均F1分数达到了0.80，其中12个屋顶材料类别中的7个类别级F1分数达到或超过0.80，并为大多数类别提供了假阳性和假阴性误差之间的满意平衡。这一结果可以被视为有希望的，并突显了此类方法的潜力。替代CNN架构的比较进一步表明，增加模型复杂度并未转化为分类性能的改善。Conv2、VGGNet和ResNet获得了相似的准确率，而ImageNet预训练的MobileNetV2基线尽管需要大量计算资源，性能却略低。这些结果表明，屋顶材料识别可以使用相对轻量的CNN架构有效解决。除分类准确率外，空间不确定性分析有助于识别可疑或不合理的预测，从而支持对复杂城市环境中分类输出更加明智的解读。训练和推理时间在现有硬件和预期运营使用方面仍可接受。综合来看，这些结果表明轻量级CNN方法在现实运营约束条件下进行详细屋顶材料分类是可行的解决方案，同时也指出了仍需解决的主要挑战。

**4.1 预处理与集成在现有方法中的效果**

结果表明，基于VHR RGB影像的屋顶材料分类在对比度增强、纹理描述符和集成学习方面受益匪浅。CLAHE和HOG均改善了各向同性材料的可分离性，证明了局部对比度和纹理算子在详细城市制图中的有效性2?。基于集成的配置（DL_3）提供了最高且最稳定的性能，F1分数为0.80±0.01，与深度集成降低预测方差的公认效益一致??。这些结果证实，当使用有限训练样本和视觉上相似的城市材料时，结合增强的纹理线索与多个CNN尤为有利。

使用CNN进行屋顶材料分类的类似研究仍然有限，但报告的性能表明，尽管条件更具挑战性，所提出的方法仍取得了具有竞争力的结果。

例如，文献15使用约每类1000张标注图像，在9类屋面材料上评估了13种CNN架构，报告的总体最高准确率由ResNet50达到80%。类似地，文献12使用了一个12层CNN，在4类共11,620张RGB卫星图像上训练，测试准确率低于73.3%±1.0%。最近，文献14采用了一种ResNet-18-D与DeepLabv3+相结合、融合航空影像（8 cm）和LiDAR数据的框架，覆盖8类样本，平均??1得分达到84.2%。其模型在砾石、薄膜、金属和瓦片上表现最佳，??1得分最高可达90%，这与本研究中表现最好的类别相当。

相比之下，本文提出的方法在使用更小数据集、更多类别数量以及仅RGB影像的情况下，仍取得了有竞争力的性能。此外，这些研究均未明确处理有无石棉的石板屋顶之间的区分，而这正是本研究中最具挑战性的分类任务之一。

尽管如此，在解读这些比较时，应考虑数据集、研究区域、采集条件和评估协议的差异，这些因素均可能影响所报告的分f1结果。

4.2 类别不平衡的影响

尽管数据集在大多数屋面材料类别上相对平衡，但植被类别明显代表性不足，经过预处理后仅保留45个标注屋面片区，在每个评估划分中对应36个训练样本和9个测试样本（表1）。这种有限的测试样本规模增加了类别特定性能估计的不确定性。因此，最终DL_3配置中植被的??1得分（0.88±0.06，精确率为0.89，召回率为0.87）应谨慎解读。不过，这一局限在一定程度上由评估协议所缓解，即所有实验均使用不同的随机训练/测试划分重复30次。所报告的指标因此代表多次独立评估所得的均值和标准差，而非单次测试划分的结果。

尽管如此，植被类别在所有研究类别中仍取得了较高的性能之一。在现有数据范围内，这一结果表明，尽管训练样本数量相对较少，植被仍具备足够的光谱和纹理独特性，可被可靠地区分于其他屋面材料。

类别不平衡影响有限这一点也体现在各实验中宏平均与加权??1得分之间的密切一致性上。由于宏??1得分对所有类别赋予同等重要性，而加权??1得分考虑类别样本量的差异，二者数值相近表明总体性能并未被样本最丰富的类别所主导。为进一步评估在训练过程中考虑类别频率是否能改善分类性能，我们使用类别加权的分类交叉熵进行了额外实验。该策略仅使宏平均和加权??1得分略有上升，但差异未达统计显著水平（??=0.175）。尽管少数类别（尤其是黑色瓦片）在类别加权下有所获益，但这些提升被其他材料性能下降所抵消，主要混淆模式也基本未变。

总体而言，上述结果表F11类别不平衡并非剩余分类误差的主要来源。相反，持续存在的混淆更可能由多种屋面材料之间较强的光谱和纹理相似性所致，尤其是在石板和瓦片类别内部。

4.3 走向更高级的数据增强

在训练数据有限的情况下，数据增强在提升模型性能方面发挥了关键作用。简单的几何变换（水平和垂直翻转以及转置操作）的应用使训练集规模扩大了4倍。仅此一项措施便带来约5%的宏??1得分提升，凸显其在增强模型泛化能力方面的有效性。这些结果表明，在低数据环境下，即使是最基本的数据增强策略也能显著提升分类性能。

更高级的方法——如任意旋转、颜色扰动、噪声注入或弹性变换——有望进一步提高对现实世界变异的鲁棒性，是未来工作的一个有前景的方向。

4.4 辅助数据以缓解语义重叠

若干材料仍存在分类困难，尤其是无石棉的石板，由于其与含石棉石板及深色薄膜之间存在较强的光谱和纹理相似性，持续表现出较低的性能。这反映了语义重叠如何导致类别间可分性下降。这种模糊性已被确认为遥感分类中尚未解决的挑战之一。

将建筑物元数据和建筑形状描述符等辅助信息引入光谱与纹理特征，可能有助于提升类别可分性，从而提高屋顶材料制图的可靠性。一方面，诸如建造年份、翻修历史或建筑功能等信息可能具有参考价值。例如，含石棉材料与禁令实施前的建造时期（通常为1970年代至1990年代）密切相关，而现代薄膜和金属板则是近期翻修的特征。另一方面，由密集LiDAR测量得到的屋面坡度也提供了强有力的约束条件，因为平屋顶通常承载砾石、薄膜或植被，而斜屋顶一般铺设瓦片或石板。

多模态融合可在深度学习的不同阶段实现，包括输入层级的早期融合、中间特征表示的中层融合、模型输出的后期融合，以及基于这些额外信息源的后处理。

4.5 走向多尺度与滑动窗口方法

本研究采用以屋面片区质心为中心提取固定尺寸（3.2 m × 3.2 m）影像切片的方式，旨在将分类任务聚焦于光谱和纹理特征，同时限制屋面几何形状的影响。尽管该方法取得了令人满意的性能，但它本质上限制了模型可用的空间上下文，尤其对大型或异质性屋面片区而言。航空影像分析的最新进展凸显了滑动窗口和多尺度推理策略的潜力，例如切片辅助超推理（SAHI）框架。SAHI最初为小目标检测而开发，通过将高分辨率影像划分为重叠切片，进行独立推理后再合并预测结果。此类方法可使模型处理更大的空间范围而不损失分辨率，从而在保留精细纹理信息的同时纳入更广泛的上下文线索。将SAHI类方法应用于屋面材料分类可带来若干优势，特别是可以对同一屋面片区在不同位置和尺度上进行多次观察，从而提高对复杂或不规则结构的鲁棒性。然而，这也会引入额外的方法学复杂性，并可能将研究重点从纯粹的光谱和纹理信息转向几何特征，而这正是本研究有意避免的方向。未来研究可探讨多尺度或滑动窗口策略的整合，以评估其对分类性能的影响，尤其是在涉及大型和多样化城市环境的业务化场景中。

4.6 光谱分辨率与空间分辨率之间的权衡

本研究凸显了一个经典权衡：极高（VHR）RGB影像具备高空间细节，而高光谱数据则提供更优越的材料判别能力。高光谱成像已被证明在检测石棉等危险屋面材料方面效果显著，但其较粗的空间分辨率限制了其在密集城市区域的应用。将高光谱信息丰富性与VHR空间细节相结合的数据融合策略是一个有前景的解决方案，在城市遥感中已显示出强大潜力。

4.7 模型的泛化与可复现性

由于采集条件、传感器特性以及本地材料异质性的差异，泛化能力一直是机器学习和深度学习面临的重大挑战。在此背景下，当训练数据有限时，迁移学习和域适应对于提升跨区域鲁棒性尤为相关。缓解过拟合因此至关重要，可通过增加标注数据的数量与多样性，或采用适当的正则化策略来实现。本研究探索了若干此类策略，包括数据增强、Dropout和早停。此外，还评估了一个迁移学习基线，以考察预训练表示能否在有限训练数据条件下进一步提升泛化能力。增加训练数据的地理多样性仍然是未来工作的重要方向。

在此背景下，所提出的方法基于单一城市案例研究，在现实业务条件下进行了评估。如图所示，该方法在研究区域内不同城市形态下表现出一致的性能，包括密集城市中心、工业区和郊区环境。这表明在类似屋面材料存在的情况下，该方法是具备一定泛化潜力的。要确认其在多样化城市背景下的泛化性，仍需在独立区域上进行进一步验证。

每个抽样的屋面片区均以单一影像切片表示，因此同一屋面片区不会同时出现在训练集和测试集中。还通过屋面片区质心之间的最近邻距离对样本的空间分布进行了刻画。该分布的10%分位数为19 m，表明90%的抽样屋面片区与其最近的抽样邻居相距至少19 m。这些结果表明，数据集并非由高度聚集的屋面片区主导。尽管这种相对分散的抽样策略降低了强局部空间聚集的可能性，但在同一研究区域内的随机训练/测试划分无法完全消除样本之间的空间依赖性。基于空间分块、街区、建筑群或独立研究区域的验证协议，能够对空间与地理迁移性提供更加严格的评价，并可能得出比本研究所用随机划分更为保守的性能估计。

因此，结果应在本研究所探讨的实验条件下加以解读。本工作旨在提供一个方法学基线，而非证明普适性的地理迁移能力。除了直接应用之外，本研究开发的轻量级CNN还可作为未来迁移学习应用中的领域专用源模型。利用来自新城市环境的少量标注样本对该模型进行微调，可能是一条优于从通用图像数据集预训练模型进行迁移的有前景的替代方案。未来工作应通过空间独立的验证协议、更多城市、不同传感器以及更广泛的采集条件来验证这一假设。

4.8 对城市规划和环境监测的启示

改进后的屋顶材料制图可支撑石棉风险评估、能源建模、识别适合部署太阳能或绿色屋顶的表面、以及与屋顶颜色和材料相关的城市热缓解策略等应用。DL_3配置在鲁棒性和性能上的提升，为在业务化工作流中生成最新的屋顶材料清单奠定了坚实基础。

尽管如此，在投入业务化部署前仍需进一步的细化，尤其是对于那些仍难以区分的材料以及缺乏辅助数据的场景。引入模型不确定性（例如使用ERP）有助于识别存疑的预测结果并指导有针对性的核查。结合上下文约束，此类方法可支持市政风险评估、翻修规划以及大规模环境监测项目。

5 结论

本研究证明，即使仅有有限的训练数据（1600张图像），也可基于轻量级CNN方法，从极高分辨率（5 cm）RGB影像中实现可靠的多类屋顶材料分类。通过将分类框架扩展至12种不同的屋面材料，本工作处理了一个比以往研究更为常见情景更复杂、也更贴近现实的城市场景。所提出的预处理策略——结合对比度增强与纹理导向算子——显著提升了类别可分性，尤其是对于那些光谱或结构变化微妙的材料。

基于从头训练的轻量级卷积神经网络的集成配置进一步提升了分类精度并降低了模型变异性，确认了聚合互补表示是弥补训练数据稀缺的有效策略。尽管初始条件更具挑战性，所获得的结果仍与文献中报告的类似屋顶材料分类任务相媲美，凸显了所提方法的鲁棒性。

除总体性能指标之外，扩展的评估协议通过联合考察类别级??1得分、精确率和召回率、混淆模式、模型稳定性以及空间不确定性，为模型可靠性提供了更深入的理解。特别是空间不确定性分析有助于识别存疑或不可信的预测，支持在复杂城市环境中对分类输出进行更细致的解读，并便利其业务化使用。

总体而言，本工作提供了一个在现实数据约束下进行多类屋顶材料分类的方法学基线。已识别出若干改进方向，包括高级数据增强、替代推理策略、融合额外数据源、在空间独立及多城市数据集上进行验证，以及将所提出的轻量级CNN作为迁移学习的领域专用源模型进行评估。

公开源代码和训练好的模型有望促进所提出方法的可复现性，并支持屋顶材料分类领域的未来发展。