面向RGB-IR立面缺陷语义分割的自适应类别条件模态调控方法

《Buildings》：Diagnostic-Gap-Driven Class-Conditional Modality Regulation for Multimodal Building Defect Segmentation

　　

摘要

RGB–IR 多模态检测可以结合可见光表面信息与热响应特征来进行建筑缺陷评估，但联合学习可能会导致各模态分支上的类别特定信息发展不均衡。本研究提出了面向 RGB–IR 立面缺陷语义分割的自适应类别条件模态调控方法。通过匹配的单一模态模型，为每个模态-缺陷对建立经验诊断参考。在多模态训练过程中，周期性诊断分支评分与这些参考值进行比较，由此产生的诊断差距重新分配辅助监督信号，同时保持融合推理路径不变。在建筑立面缺陷检测数据集的留出测试子集上，普通双分支融合相比仅使用 RGB 仅提供了有限的提升，而校准集诊断显示 IR 分支存在较大的差距。在五次匹配的测试运行中，所提方法将 mIoU 从 提升至 ，边界 F1 从 提升至 ，超过了早期融合以及所选的全局平衡方法 OGM-GE 和 AGM。消融实验结果表明，最大的分量差异与类别特定分配相关。该方法增加了训练时的计算量，但不改变部署的网络或其前向计算。