域自适应生成式数据增强用于建筑立面分类:将合成数据与跨城市情境的性能关联

《Developments in the Built Environment》:Domain-Adaptive Generative Data Augmentation for Building Fa?ade Classification: Linking Synthetic Data to Performance Across Urban Contexts

【字体: 大 中 小 】 时间:2026年07月23日 来源:Developments in the Built Environment 8.7

编辑推荐:

  标记数据的有限可用性仍然是部署计算机视觉模型用于建筑立面材料分类的主要障碍。本研究提出了一种域自适应生成式数据增强框架,该框架将建筑感知提示设计与基于LoRA(Low-Rank Adaptation,低秩适配)的扩散模型微调相结合。该框架生成保留材料特定纹理和

  
标记数据的有限可用性仍然是部署计算机视觉模型用于建筑立面材料分类的主要障碍。本研究提出了一种域自适应生成式数据增强框架,该框架将建筑感知提示设计与基于LoRA(Low-Rank Adaptation,低秩适配)的扩散模型微调相结合。该框架生成保留材料特定纹理和区域依赖视觉模式的合成立面图像。与先前主要评估视觉真实性的研究不同,本研究将生成式增强策略直接与下游分类性能联系起来。实验考察了生成超参数和LoRA训练数据量的影响,并使用来自韩国和英格兰的地理上不同的数据集对该框架进行了验证。与传统增强相比,所提出的方法在韩国将分类准确率从85.00%提高到93.67%,在英格兰从71.67%提高到83.67%。结果表明,域自适应生成式增强减少了合成-真实数据差距,并在数据稀缺条件下提高了城市尺度建成环境分析的实际分类鲁棒性。
**论文解读:域自适应生成式数据增强用于建筑立面分类**

**研究背景与问题**
建筑立面材料分类是城市尺度建筑分析的关键任务,能够支持建筑存量评估、能源性能估算、维护规划及数字孪生开发。然而,标记数据的有限可用性严重制约了计算机视觉模型在该领域的部署。传统的数据增强方法(如几何和光度变换)仅能修改现有样本,无法引入新的材料纹理、建筑布局或环境条件,导致模型在陌生环境下的泛化能力不足。近年来,生成式人工智能(如扩散模型)被用于扩展训练数据集,但零样本生成(zero-shot generation)往往无法保留类判别性特征(如砖的砌合模式、混凝土表面粗糙度、石材颗粒度及表面老化),且生成图像可能缺乏任务相关的区域视觉属性(如窗户排列、立面节奏)。此外,提示词生成多依赖手动选择的关键词,缺乏系统性和可重复性。针对这些问题,研究人员提出了一种域自适应生成式增强框架,旨在通过低秩适配(LoRA)微调扩散模型,并结合结构化的建筑感知提示设计,生成保留材料特性和区域特征的合成图像,从而缩小合成-真实数据差距,提升下游分类性能。该研究发表在《Developments in the Built Environment》。

**主要技术方法**
研究采用以下关键方法:使用Google Street View API(GSV API)收集韩国首尔Mapo-gu和英格兰选定城区的建筑立面图像,经手动筛选和标注分为砖、混凝土、石材三类,每类500张图像,每个区域共1500张。通过LoRA(Low-Rank Adaptation)对Stable Diffusion模型(sd-v1-5)进行参数高效微调,分别针对不同区域、材料类别和训练图像数量(50、100、150、200张)训练独立模型。结构化提示系统包含材料、建筑、环境和表面条件四个描述符,生成合成图像。使用MobileNetV3和ResNet-50作为分类器,评估指标包括准确率、F1分数、核初始距离(KID)、特征空间距离及t-SNE可视化。

**研究结果**

**4.1 生成图像的质量与特征空间评估**
通过定性比较,研究人员发现LoRA微调后的扩散模型生成的合成图像在视觉上反映了材料特性和区域特征,如砖的砌合模式、混凝土表面粗糙度、石材颗粒度及表面风化。定量分析中,KID(核初始距离)显示,与标准扩散相比,LoRA方法在所有材料类别上均降低了合成-真实分布差距:砖从0.129降至0.083(降低35.77%),混凝土从0.145降至0.074(降低48.71%),石材从0.116降至0.079(降低31.44%)。特征空间距离(基于CLIP嵌入)也一致降低,砖从0.782降至0.482(降低38.34%),混凝土从0.769降至0.490(降低36.30%),石材从0.766降至0.491(降低35.74%)。t-SNE可视化显示,LoRA生成图像与真实图像的特征分布更接近,但仍存在部分分离。

**4.2 训练与生成设置确定**
研究人员通过200轮训练监测F1分数和学习率,确定50个训练周期为收敛性最优设置,避免过拟合。在超参数调整中,对比了不同无分类器引导(CFG)尺度(7、8、9)和采样步数(20、30、40)的组合,结果显示CFG=9、采样步数=20(9_20)配置在英格兰数据集上取得最高准确率(83.67%)和F1分数(83.42%),并用于后续所有生成。在韩国数据集上,LoRA训练图像数量从50增至150时,准确率从91.00%提升至93.67%,F1分数从91.02%提升至93.68%;但增至200时性能下降(准确率90.00%,F1分数90.10%),表明存在最优范围(150张)。混淆矩阵显示,150张图像时砖、混凝土、石材的准确率分别为96%、93%、92%,实现最平衡表现。在英格兰数据集上,100张LoRA训练图像达到最优性能(准确率83.67%,F1分数82.91%),进一步增加图像数量导致性能饱和或下降;混淆矩阵显示100张时砖和混凝土准确率均为95%,石材为61%,但150张时混凝土达98%,石材仍较低。

**4.3 增强策略与基线比较**
与传统增强方法相比,LoRA生成式增强在韩国数据集上显著提升性能:传统增强准确率85.00%、F1分数84.82%,LoRA方法准确率93.67%、F1分数93.68%;在英格兰数据集上,传统增强准确率71.67%、F1分数71.08%,LoRA方法准确率83.67%、F1分数82.91%。混淆矩阵显示,LoRA方法大幅减少了混凝土和石材之间的误分类,尤其提高了石材的识别率(韩国)和混凝土的识别率(英格兰)。视觉对比表明,传统增强仅产生简单的亮度、旋转变化,缺乏纹理细节,而LoRA生成图像真实再现了材料表面粗糙度、阴影和反射特性。统一基线比较显示,传统增强、标准扩散(无LoRA)和LoRA扩散在两国数据集上性能依次递增,LoRA方法在纹理保真度、数据多样性和领域适应性方面均优于其他方法。

**4.4 框架鲁棒性与组件验证**
使用ResNet-50作为替代分类器,验证了LoRA增强效果不限于MobileNetV3:ResNet-50下,基线准确率58.28%,标准扩散64.25%,LoRA扩散77.67%,排名一致。组件消融实验将LoRA微调和建筑感知提示系统分别组合:无LoRA时,一般提示准确率75.67%,建筑感知提示77.67%;有LoRA时,一般提示准确率82.67%,建筑感知提示83.67%。结果表明LoRA微调是主要性能贡献者,结构化提示提供额外互补增益。

**讨论与结论**
讨论部分指出,砖类材料因结构化重复模式而表现稳定,石材类因表面异质性而最难识别,混凝土类表现受区域特征影响。LoRA训练图像数量与性能并非单调关系,存在最优值。生成增强在视觉复杂类(混凝土、石材)上改善显著,而传统增强仅能通过几何变换提升砖类性能。LoRA方法在KID、特征空间距离和分类性能上均优于标准扩散,但合成-真实差距未被完全消除。结论部分(5.2节)翻译如下:所提出的基于LoRA的生成式增强框架生成了更接近真实数据集材料特性和区域特征的合成立面图像。KID、特征空间和分类结果表明,LoRA扩散减少了合成-真实差异,并优于无增强、传统增强和标准扩散。组件消融结果显示,LoRA参数适应和建筑感知提示系统提供了互补优势,其组合实现了最高下游分类性能。MobileNetV3和ResNet-50上的一致性趋势表明,增强效果不限于单一分类器架构。然而,剩余的特征空间分离和材料依赖误差表明,合成-真实差距被缩小而非消除。该框架为数据稀缺条件下扩展立面图像数据集提供了实用方法,可支持建筑存量评估、维护规划和城市数字孪生应用。未来研究应考察更多材料、城市和生成架构,以及跨区域迁移实验,以评估框架的泛化性和鲁棒性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号