《Buildings》：A Hybrid Deep Learning and Physics-Informed Framework for UAV-Based Cleanliness Assessment of Glass Curtain Walls: Operational Limits Revealed by a Tethered Cleaning Drone
编辑推荐：
玻璃幕墙主导了当代高层商业建筑的围护结构，但其长期的光学、热工与美学性能对表面洁净度高度敏感。高层立面的手工洁净度检测具有危险性、劳动密集且结果不一致，促使研究人员开发基于无人机（UAV）的评估框架。然而，现有基于UAV的研究主要聚焦于结构缺陷检测，忽视了视觉
玻璃幕墙主导了当代高层商业建筑的围护结构，但其长期的光学、热工与美学性能对表面洁净度高度敏感。高层立面的手工洁净度检测具有危险性、劳动密集且结果不一致，促使研究人员开发基于无人机（UAV）的评估框架。然而，现有基于UAV的研究主要聚焦于结构缺陷检测，忽视了视觉洁净度评估在物理上保持可靠的运行条件，且很少将学习到的特征表征与可解释的光学退化机制相关联。本文提出了一种用于UAV玻璃幕墙洁净度评估的混合深度学习与物理信息框架，部署于QX-90A系留清洗无人机（UEV，中国南京），并在GCW-429上进行验证，该数据集为新构建的现场数据集，包含429个专家标注的立面图块，采集自中国南京一栋商业办公建筑。ResNet-50二分类器区分可接受状态与需清洗状态，在测试集上达到ROC-AUC为0.620、准确率为0.645、需清洗类别的F1为0.571。关键的是，分层评估揭示了推理可靠性对采集条件的强烈依赖：在多云光照下AUC达到0.681，但在晴天直射光照下降至0.394，该情形下低辐射（Low-E）涂层的镜面反射主导了传感器信号。CNN倒数第二层主成分与五个物理信息光学指标（Otsu污染覆盖率、K-means离散度、Sobel边缘密度、Gabor纹理能量、SSIM清晰度）之间的Spearman相关性产生九对rho ≥ 0.30（p < 0.001）的结果，表明网络学习到的是具有物理意义的表征而非虚假线索。Grad-CAM分析证实了上述发现，并将晴天光照推理的失效模式明确归位于镜面高光区域。该框架在单一UAV平台上闭合了检测-评估-清洗回路，并为立面清洗作业提出了具体的操作协议建议。
**研究背景与问题**
玻璃幕墙已成为全球高层商业建筑的主导围护系统，其建筑表现力、日光透射能力及整合低辐射（Low-E）涂层以改善热工性能的能力备受重视。然而此类围护结构的功能性能并非静态：大气颗粒物、城市沉积、雨痕及水渍造成的表面污染会逐步 degrading 玻璃的光学与能源性能。实证研究表明，表面污染可显著降低玻璃系统的日光透射率与光学性能，进而影响建筑能源性能。从资产管理角度看，洁净度并非 cosmetic 问题，而是介导建筑设计性能与实际服役性能之间关系的关键状态变量。尽管具有如此功能意义，高层幕墙的洁净度评估仍是一项机械化程度不足的作业。主导做法是由认证绳索作业人员定期目视检测，按固定间隔安排而与实际污染状态脱钩，该做法危险、劳动密集且产生的评级主观、记录稀疏、不可机器读取。建筑维护行业近期的伤亡与未遂事故统计凸显了以更安全、传感器驱动的替代方案取代绳索作业洁净度检测的紧迫性。
无人机已迅速成为自动化立面检测的领先平台，近期研究展示了混凝土立面裂缝检测、幕墙密封胶接缝缺陷识别、围护结构热桥测绘及面砖脱粘检测等基于UAV的流程。然而存在三个关键空白尚未解决。第一，洁净度——相对于结构缺陷而言——几乎未受到专门关注。结构缺陷的视觉检测依赖于检测局部化、形态学上独特的几何异常，这些几何特征对环境光照变化相对稳健；相比之下，玻璃洁净度是一种分布式光学属性，表现为纹理、色度与光散射的细微变化，这些特征对环境光照高度敏感，尤其在Low-E涂层上镜面反射易掩盖表面沉积物。因此，为结构缺陷检测设计的传统黑箱CNN在应用于玻璃洁净度时易于学习虚假环境线索。这一物理表现的根本差异要求从纯形态学特征提取转向将深度学习表征数学植根于光学物理的混合方法。现有立面检测研究通常仅将表面洁净度作为更广泛多缺陷评估的一个方面，而非将其作为独立工程变量加以研究。第二，现有UAV检测研究很少表征自身的运行包络：分类器在聚合测试集上验证，其性能对光照、视距与污染物类型的依赖性鲜有报告。第三，学习到的CNN表征与污染玻璃 underlying 光学物理之间的联系基本缺失。此外，系留清洗无人机的近期出现提供了有利机遇：与自由飞行多旋翼平台不同，系留清洗无人机由地面供电、配备清洗工具头、设计为在距玻璃表面分米级距离悬停数分钟，提供连续供电实现长时低振动定点悬停、亚分米级抗风位置稳定性以及与清洗工具头的共位，构成检测-评估-清洗闭环的物理基础。尽管该构型具有明显工程吸引力，此前尚无研究报道专门部署于系留清洗无人机的洁净度评估框架。
**研究内容与结论**
研究人员提出并验证了一种用于UAV玻璃幕墙洁净度评估的混合深度学习与物理信息框架。主要贡献包括：构建了GCW-429现场数据集，采集自QX-90A系留清洗无人机在中国南京一栋商业办公幕墙上的作业，包含429个专家标注的立面图块，按四种污染类型、三种光照条件与三种检测距离分层，采用四级有序洁净度评分标准并量化了评分者间信度（线性加权Cohen's kappa = 0.630）；建立了基于迁移学习ResNet-50骨干的二分类洁净度分类器，采用类别平衡采样、MixUp正则化与阈值优化训练，测试ROC-AUC为0.620、准确率0.645、需清洗类别F1为0.571；实证表征了UAV洁净度推理的运行包络，分层评估揭示分类器可靠性在不同采集条件下并非均匀：多云光照下AUC = 0.681，晴天直射光照下崩溃至AUC = 0.394；建立了物理信息可解释层，定量关联CNN倒数第二层表征与五个光学退化指标。该框架在单一UAV平台上闭合了检测-评估-清洗回路，并为立面清洗作业提出了具体操作协议建议。
**关键技术方法**
研究采用QX-90A系留多旋翼无人机（UEV，南京）搭载DJI格式双通道成像载荷（广角W相机与变焦Z相机）于三轴稳定云台上，于2024年5月22日在南京一栋在役商业办公玻璃幕墙上开展单日现场检测采集，数据集GCW-429含429个立面图块，由两名领域专家按四级有序评分标准标注，采用分层随机划分分为训练集（n = 289）、验证集（n = 64）与测试集（n = 76）。分类骨干为ImageNet-1K预训练的ResNet-50，替换为dropout层（p = 0.4）加二类线性层，端到端微调，采用AdamW优化器、余弦退火、混合精度训练与梯度累积，辅以类别平衡采样与MixUp正则化。物理信息指标包括Otsu污染覆盖率、K-means离散度、Sobel边缘密度、Gabor纹理能量与SSIM清晰度五项。可解释层提取倒数第二层2048维特征经PCA降至8个主成分，与五项物理指标计算Spearman秩相关，并生成Grad-CAM可视化。
**研究结果**
评分者间信度：两名专家间简单一致率为0.585，线性加权Cohen's kappa为0.630，Krippendorff's alpha为0.798，均属实质性一致区间；全部评分者间分歧均局限于相邻等级（|A ? B| ≤ 1），语料中未出现相差两级及以上的分歧。
整体二分类性能：在留出测试子集（n = 76）上，测试ROC-AUC为0.620，需清洗类别平均精度为0.549；Youden最优工作点阈值tau = 0.537时，准确率0.645、需清洗类别F1为0.571、Matthews相关系数0.279、Cohen's kappa为0.274；混淆矩阵TP = 18、TN = 31、FP = 10、FN = 17。
分层性能——运行包络：最显著发现是性能对光照条件的强烈依赖。多云光照下分类器AUC = 0.681、F1 = 0.696，接近可用运行性能；阴影条件下AUC保持0.662；晴天直射光照下性能崩溃至AUC = 0.394，低于随机水平，归因于Low-E涂层镜面反射饱和广角传感器像素并破坏分类器所依赖的纹理信息。污染类型方面，雨痕模式最易分类（F1 = 0.667），水渍模式最具挑战性（AUC = 0.491）。
CNN表征与物理指标：CNN预测的需清洗概率与五项物理指标中三项呈统计显著相关：A_otsu（rho = +0.296，p < 0.001）、rho_edge（rho = +0.182，p < 0.001）、E_gabor（rho = ?0.154，p = 0.001）。CNN特征主成分与五项物理信息指标间的Spearman相关热图显示，40对主成分-指标对中九对|rho| ≥ 0.30（p < 0.001），最强为PC1-rho_edge（rho = ?0.56）、PC2-A_otsu（rho = ?0.50）、PC5-rho_edge（rho = +0.52），证实物理根基。上述相关确认网络分类信号与物理可解释退化特征对齐：更高污染覆盖率、更高边缘密度与更低纹理能量均与更高预测清洗需求相关。
Grad-CAM可视化：在成功分类样本中，Grad-CAM注意力图持续与视觉可识别的沉积区域或洁净区域重叠；在误分类样本中——尤其晴天光照下采集者——注意力图汇聚于镜面高光区域而非沉积特征，证实晴天光照失效模式源于反射主导的传感器饱和而非学习特征表征本身的缺陷。
**讨论与结论**
分层性能结果对使用系留UAV的立面清洗作业具有直接操作意义。首要建议是UAV洁净度评估应在漫射光照条件（多云或阴影）下进行；当晴天条件下检测不可避免时，应使用视场较窄的变焦（Z）相机以最小化镜面反射区的角度范围。晴天光照下性能剧烈退化可由Low-E玻璃的光学反射特性结合UAV检测系统的成像几何解释：现代幕墙玻璃的低辐射涂层设计为反射大部分近红外太阳辐射同时透射可见光，直射太阳光照下该反射的非镜面分量强度足以饱和反射区广角传感器像素，以不携带洁净度信息的均匀高强度信号有效替代污染纹理。除Low-E涂层自身光学性质外，镜面反射严重程度受太阳入射角、立面朝向与UAV观察方向间几何关系共同支配：朝向远离直射太阳暴露或暂时被周边建筑几何遮挡的立面通常经历较弱镜面反射，产生更稳定的图像对比度；反之当入射阳光、立面朝向与相机观察方向接近镜面反射几何时，反射太阳辐射主导捕获图像并掩盖污染特征。该几何依赖性解释了为何光照条件应被视为UAV立面检测中的基本运行参数而非仅仅环境变量。CNN特征与物理指标间的显著Spearman相关提供了定量证据，表明ResNet-50骨干尽管纯粹通过监督分类训练而无显式物理约束，仍学习到部分与已知光学退化机制对齐的表征；最强相关（A_otsu，rho = +0.296）将预测清洗概率与表面沉积物面积覆盖率相联系，后者是洁净度最直接的物理代理；与E_gabor的负相关（rho = ?0.154）与重度污染表面因沉积层空间相干性而趋于呈现更均匀、更低频纹理模式的观察一致。
局限性方面：GCW-429数据集取自单一建筑与单次检测会话，限制了结果对其他气候、玻璃类型与污染状况的泛化性；但研究人员强调，对于本概念验证性运行研究，数据集经严格策划以高度代表亚热带湿润气候下典型高层城市维护作业，通过严格按四种主导城市污染类型、三种光照条件与三种工作距离分层，捕获了真实场景中遇到的核心光学退化机制，对于验证混合架构概念与揭示系留UAV传感器运行边界极限的特定目的，该高度受控、深度分层的单次作业数据集提供了纯随机多建筑网络抓取数据集所缺乏的必要分析分辨率。为应对泛化性局限，计划开展大规模多建筑验证活动作为直接下一步，未来数据采集将纳入多个K?ppen气候带、不同玻璃规格（透明、着色与高反射Low-E玻璃）及季节变化。其次，二分类方案虽对清洗/不清洗决策具有实用合理性，但丢弃了各组内的有序信息。第三，四级有序标注呈现中等评分者间一致性（kappa = 0.630），表明评分标准边界（尤其等级1与2之间）或可受益于仪器洁净度测量的额外校准。第四，ResNet-50骨干虽架构现代，但并非专为立面纹理判别设计，领域适应架构（如具有立面特定预训练的Vision Transformer）可能产生更优性能。所提出的概念验证框架依赖标准ResNet-50分类骨干，相较于近期先进计算机视觉架构存在一定技术局限；未来运行系统可受益于多层面架构升级：骨干可替换为EfficientNet以平衡网络深度、宽度与分辨率，在保持UAV边缘部署所需计算效率的同时提取更稳健光学特征；超越整图块二分类，可利用DeepLab架构进行像素级语义分割以精确描绘污染类型；应对环境变异挑战需领域适应技术，类似于应用于变化施工现场情境稳健识别的领域适应Faster R-CNN；整合先进多尺度目标检测架构（如基于YOLOv10的变体）可显著改善模型在复杂立面环境中检测多类别、多尺度异常的泛化能力。
结论部分翻译：本文提出了一种用于UAV玻璃幕墙洁净度评估的混合深度学习与物理信息框架，并在GCW-429现场数据集上验证。该框架以ResNet-50二分类器实现测试ROC-AUC = 0.620，并通过分层评估证明UAV洁净度推理的运行包络强烈受光照条件制约：漫射光照产生可靠评估（AUC = 0.681），而直射太阳光照导致失效（AUC = 0.394）。物理信息可解释性分析确认CNN学习到具有物理根基的表征，深层特征与五项光学退化指标中三项呈显著相关。关键实践贡献为：（i）GCW-429数据集填补了公开可用立面图像语料的空白；（ii）提出推荐漫射光照检测条件的具体操作协议；（iii）建立可复用的可解释性流程，桥接污染玻璃的深度学习与物理基础分析。未来工作将把数据集扩展至多建筑与多气候，探索有序回归与Vision Transformer架构，并将分类输出与系留UAV清洗工具头整合以实现自动化评估-清洗循环；未来研究还可纳入物理信息计算机视觉、深度学习图像分析、领域适应目标检测与多尺度目标检测架构的最新进展，以进一步提升UAV玻璃幕墙洁净度评估的稳健性与泛化性。
