基于BIM信息的贝叶斯事后校正方法在深度学习混凝土缺陷分类中的应用：通过元素类型先验消除跨元素误分类问题

《AUTOMATION IN CONSTRUCTION》：BIM-informed Bayesian post-hoc correction for deep learning-based concrete defect classification: eliminating cross-element misclassifications through element-type priors

　　• BIM元素上下文消除了三种卷积神经网络（CNN）架构中100%的跨元素分类错误。
• 贝叶斯事后校正仅需要softmax输出和IFC元素标签：无需重新训练。
• 提出的错误分解框架区分了元素内错误和跨元素错误。
• 错误分解显示94%的错误是元素内的，这限制了BIM校正的效果。
• 优化的BIM空间映射速度提高了57.5倍，实现了实时的30 FPS检测。

**引言**
过去十年中，使用深度学习对混凝土结构进行自动化视觉检测的技术发展迅速。卷积神经网络（CNN）在基准数据集上的裂缝检测准确率已超过95%，无论是通过专门训练的CNN分类器[1,2]还是通过迁移学习的实时检测器[3]。多类别缺陷分类器能够区分裂缝、腐蚀斑点、泛碱、暴露的钢筋和剥落，其宏观F1分数在0.60–0.85范围内[4,5]。这些模型是新兴数字检测框架的核心组成部分，这些框架整合了建筑信息模型（BIM）、增强现实（AR）和计算机视觉，用于施工质量管理，从基于本体的缺陷捕捉[6]到端到端的视觉到BIM检测[7]，属于更广泛的建筑环境中的AR和虚拟现实研究议程[8]。然而，一个根本性的限制仍然存在：CNN分类器在处理裁剪后的图像块时，不知道图像来自哪种结构元素。桥面表面和内墙表面可能显示出视觉上相似的裂缝图案，但工程影响、预期的劣化机制以及适当的维护措施可能有很大差异[9,10]。这种缺乏上下文意识的情况导致了系统性的跨元素错误，即分类器将一种元素类型的标签分配给另一种类型元素捕获的图像。

跨元素错误的重要性不仅体现在分类准确率上。在集成BIM的检测工作流中，每个检测到的缺陷都会通过其IFC全球唯一标识符（GUID）[6,11]被空间映射到特定的建筑元素。将典型的路面缺陷模式错误地分配给墙体元素会影响到数字孪生的维护优先级、维修成本估计和结构评估记录。与缺陷相关的返工占总施工成本的2–6%[12]，并且已经详细量化了民用基础设施项目中返工的成本预测因素[13]；因此，这种数据错误会带来直接的财务后果。跨元素错误的实际严重性与其数量频率不成比例。虽然它们仅占总分类错误的6%（在我们的实验中为400个错误中的24个），但每个跨元素错误都会在数字孪生中产生结构上不可能的条目，例如将路面冻融损坏错误归因于内墙。这些条目不仅仅是不准确的；它们在物理上是没有意义的，并且会立即破坏从业者对自动化检测系统的信任。当设施经理审查一个集成BIM的缺陷报告时，如果发现路面类型的缺陷被分配给了墙体，他们合理地会质疑其他所有条目的可靠性，这可能会完全抵消自动化的效率优势。相比之下，元素内错误（例如，在正确元素内将细小裂缝误分类为无裂缝）在操作上是可以容忍的；它们影响的是严重性评级，而不是元素归属，而且不会产生逻辑上不可能的记录。

这一观察激发了本文的核心问题：能否将BIM元素元数据作为事后统计校正应用于CNN的softmax输出，从而消除跨元素错误，而无需重新训练模型？

我们提出了基于BIM的贝叶斯事后校正（BIM-BPC），这是一种在贝叶斯框架内形式化的语义一致性强制方法。BIM-BPC解决了分类器的隐式元素预测与BIM模型权威元素类型标签之间的冲突。给定一个训练有素的分类器，它会产生一个针对??个缺陷类别的softmax概率向量????????，以及一个BIM派生的先验向量??，该向量编码了在给定元素类型条件下每个缺陷类别的概率，校正后的后验计算如下：???(????∣??,??) = ????·????∑????=1????·????。最终预测为：??? = arg?max??????(????∣??,??)。这种公式是确定性的，无需梯度计算或权重更新，并且作为一个即插即用的后处理层，适用于任何产生校准或未校准softmax输出的分类器。需要强调的是，BIM-BPC并不提高底层分类器的视觉识别能力；CNN从图像内容中检测裂缝、剥落或泛碱的能力保持不变。它的贡献在于确保缺陷记录与元素类型一致，即确保根据图像来源的结构元素，分配给缺陷的标签是物理上合理的。在集成BIM的检测工作流中，这种区别至关重要：操作要求不仅仅是总体分类准确率高，而且数字孪生的元素级缺陷数据库中不存在结构上不可能的条目。

本文的贡献有三方面。首先，我们形式化了BIM-BPC并比较了三种实现方式：基于工程标准先验的软贝叶斯校正、确定性规则校正和受元素约束的贝叶斯校正。其次，我们在两个基准数据集（SDNET2018 [14]的重组版本，保留了桥面、墙体和路面的元素类型信息，以及CODEBRIM [4]）上使用严格的统计测试（McNemar检验、自举置信区间）验证了该方法。第三，我们将分类错误分解为跨元素和元素内两部分，提供了一个清晰的分析框架，以理解BIM上下文校正的范围和限制。

本文的结构如下：第2节回顾了与BIM集成缺陷检测和上下文分类相关的工作。第3节介绍了BIM-BPC方法。第4节描述了实验设计。第5节报告了结果。第6节讨论了发现、局限性和影响。第7节进行了总结。

**相关工作**
本节回顾了与BIM辅助缺陷分类相关的三部分文献：深度学习方法在混凝土缺陷检测中的应用（第2.1节）、BIM在缺陷管理中的集成（第2.2节）以及分类中的上下文先验（第2.3节）。第2.4节总结了激发本文研究的已识别差距。

**方法**
本节形式化了BIM-BPC。出发点是一个区分跨元素错误和元素内错误的分类法，因为只有前者在物理上是不可能的，因此仅凭元素类型信息就可以纠正。在此基础上，形式化涵盖了BIM派生的先验的构建、贝叶斯校正规则及其基本假设、校正对先验错误指定的敏感性，以及...

**实验设计**
评估旨在确定两点：事后校正能够消除跨元素错误而不会降低底层分类器的性能，并且任何改进都归因于BIM派生的先验，而不是特定的数据集或网络架构。满足这些条件需要元素类型信息明确的标准数据集、在所有校正策略中保持不变的基线分类器，以及以数字形式给出的先验。

**结果**
结果包括六项实验，前五项在SDNET2018测试集上进行，第六项在第4.5节描述的空间映射基准（即合成IFC模型）上进行，随后是在CODEBRIM上的补充演示。实验顺序从效果的规模到其解释，再到其适用条件。实验A至C确定了校正相对于仅基于图像的基线所取得的改进，以及观察到的增益中有多少能够持续。

**讨论**
研究结果提出了一个数字本身无法解决的疑问：为什么确定性约束应该优于软贝叶斯变体，后者实际上可以访问更多的信息。回答这个问题澄清了BIM-BPC的贡献和不足之处，即它在缺陷记录层面的一致性，而不是改进的视觉识别能力。这种区别决定了该方法应该如何与具有元素感知能力的多模态、多任务方法进行对比。

**结论**
本文提出了BIM-BPC，一种无需重新训练模型即可将BIM元数据集成到深度学习缺陷分类器输出中的方法。该方法将分类器的softmax概率向量乘以BIM派生的先验并进行重新归一化，从而产生校正后的预测。我们形式化、实现并比较了三种校正策略：基于EN 206先验的软贝叶斯校正、确定性规则校正和受元素约束的贝叶斯校正。

**关于生成式AI和AI辅助技术的手稿准备过程声明**
在准备本作品的过程中，作者使用了OpenAI的ChatGPT工具进行语言编辑、代码调试和手稿校对。使用该工具后，作者根据需要审阅和修改了内容，并对出版物的内容负全责。

**作者贡献声明**
Janusz Sobieraj：写作——审阅与编辑、写作——初稿、可视化、验证、监督、方法论、调查、形式分析、数据整理、概念化。
Dominik Metelski：写作——审阅与编辑、写作——初稿、验证、软件、方法论、形式分析、概念化。

**资金**
本研究未获得公共、商业或非营利部门的任何特定资助机构的资助。

**利益冲突声明**
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

**致谢**
计算实验使用的是带有GPU资源的Google Colab。SDNET2018数据集由犹他州立大学的Dorafshan等人提供[14]。CODEBRIM数据集由Mundt等人提供[4]，并托管在Zenodo上。作者对这些资源的开放访问表示感谢。