C-PGS：面向中国古代建筑的因果先验引导风格感知半监督语义分割

《Computers & Graphics》：C-PGS: Causal prior-guided style-aware semi-supervised semantic segmentation for ancient Chinese architecture

　　

• 我们揭示了建筑样式在半监督中国古代建筑语义分割中的双重作用：它既是一种外观混杂因素，也是一种结构约束。• C-PGS 利用基于超图的风格先验来减少伪标签中的样式诱导偏差，从而提升类间区分度和分割可靠性。• C-PGS 引入基于 SAM2 的实例级几何先验以细化局部结构并改善边界一致性。• C-PGS 具有即插即用特性，可集成到多种半监督分割基线方法中。• 实验表明，在 ACA 数据集上，C-PGS 在不同基线方法和标注比例下均表现出一致的性能提升。引言中国古代建筑（ACA）是人类历史与文化的重要载体，蕴含着丰富的结构信息、艺术价值和鲜明的地域风格。中国古代建筑的语义分割[1]为三维重建[2]、损伤检测[3]和修复规划[4]等下游任务提供了可靠的部件级先验。然而，与自然场景图像相比，ACA 数据更难获取，且标注成本远高于自然场景。这一挑战使得半监督语义分割尤为适用于 ACA 场景，因为它能够有效利用有限的标注数据与大量无标注样本。现有方法主要包括基于伪标签的方法[5]、[6]和基于一致性正则化的方法[7]、[8]，二者在各种视觉任务中均展现出强劲的性能[9]、[10]。尽管如此，它们在 ACA 场景中的有效性仍然有限。半监督中国古代建筑语义分割面临的主要挑战不仅来自标注稀缺，还源于数据固有的视觉特性，特别是类内变异大和类间相似度高。这些特性使得模型难以依赖稳定的语义线索，反而可能在有限监督下倾向于利用不稳定的外观模式。为提供这一歧义性的实证依据，图1从特征构建到统计与视觉观察呈现了一个统一分析。具体而言，图1(a)展示了如何从基于 SAM2 的区域特征构建类别感知的区域嵌入，用于特征空间分析。基于这些嵌入，图1(b)比较了每个类别的平均类内距离 dintra 与最近的类间距离 dnearest。结果显示，在18个类别中有12个类别的 dintra 超过 dnearest，表明许多 ACA 部件的类内变异与甚至超过其最近的类间分离程度。这种脆弱性主要源于两个因素：首先，柱等类别在不同建筑群中的材质、纹理、颜色和几何形态上存在显著差异（图1(c)）；其次，某些石类类别，如石狮子、石象和石碑，共享相似的局部纹理和石基座结构，这可能导致特征表示混淆。这些特性使得半监督语义分割在 ACA 场景中尤为困难。该挑战在有限监督以及模型倾向于依赖与材质、纹理、颜色和建筑风格相关的外观混杂因素而导致的样式诱导偏差下进一步加剧。在半监督训练过程中，此类不稳定的相关性可被引入教师模型生成的伪标签过程中，并逐渐累积为样式诱导的伪标签偏差传播。尽管近期的半监督语义分割方法[7]、[11]主要在自然场景设定下开发和验证，但它们仍缺乏明确的机制来抑制 ACA 数据中的此类偏差。近期研究[12]、[13]、[14]表明，因果推理有助于减少对虚假相关性的依赖并提升语义分割的鲁棒性。这一视角对 ACA 场景同样具有相关性，因为样式诱导的外观混杂因素可能会干扰有限监督下的稳定伪标签学习。现有的因果方法主要针对自然场景中的背景偏差、上下文依赖或一般特征混杂，而半监督中国古代建筑语义分割中样式诱导的伪标签偏差传播在很大程度上尚未被探索。在 ACA 场景中，样式体现为材质、纹理、颜色和装饰细节等外观属性，以及类别共现、布局规律性和局部结构组织。此外，同一类别在不同建筑群中可能表现出截然不同的视觉形态，而某些视觉上相似的类别在特定样式下仍可能遵循相对稳定且互斥的共现或排斥模式。这些观察表明，样式同时影响着类别分布、视觉表现和伪标签可靠性。因此，半监督中国古代建筑语义分割的核心挑战在于：在有限标注数据条件下，缓解样式诱导的外观混杂因素的持续传播。为解决这一问题，我们提出了一种因果先验引导的半监督语义分割方法（C-PGS），这是一种基于偏差传播因果分析而设计的、面向 ACA 的样式感知半监督语义分割框架。C-PGS 融合了两个互补的先验。在类别层面，我们基于 ACA 部件之间的高阶共现与排斥关系构建了一个风格超图。该超图编码了结构化的风格约束，用于调控伪标签的生成与更新。在实例层面，我们引入由视觉基础模型 SAM2[15] 生成的实例掩膜作为外部几何先验，以提升细粒度部件的局部结构完整性和边界一致性。本文的主要贡献总结如下：• 我们从因果视角揭示了建筑样式在半监督中国古代建筑分割中的双重作用：它可能引发损坏伪标签学习的外观捷径，同时又提供结构线索以缓解此类偏差。基于这一洞察，我们设计了即插即用的先验模块，在中国古代建筑任务上一致地提升了通用分割模型的性能。• 我们提出了一种风格超图表示方法，用于建模建筑部件之间的高阶共现与排斥关系，从而提升伪标签可靠性并减少中国古代建筑场景中的类间混淆。• 我们引入了一种基于 SAM2 的实例级几何先验，以增强细粒度建筑部件的边界一致性和结构完整性，减少分割结果中的局部遗漏和碎片化。• 在中国古代建筑数据集上的大量实验表明，C-PGS 与模型无关，可轻松集成到五个代表性的半监督分割框架中，并在不同的标注比例下持续改善性能。本文其余部分组织如下。第2节回顾与本文最相关的研究，包括半监督语义分割、因果推理和基于超图的结构化表示。第3节介绍因果动机以及基于结构因果模型的 ACA 半监督语义分割中偏差传播分析。第4节描述所提出的 C-PGS 框架。第5节呈现实验和结果。最后，第6节总结全文。章节片段半监督语义分割半监督语义分割旨在利用少量像素级标注和大量无标注数据来训练分割模型。现有方法主要通过伪标签学习、一致性正则化或两者的结合来提升性能。基于伪标签的方法利用对无标注图像的高置信度预测作为监督信号，而基于一致性的方法则在不同扰动或视图下强制稳定的预测。在这些方法中，建筑风格作为偏差与约束的来源与自然环境相比，ACA 图像通常表现出更大的类内变异和更高的类间相似性。如图1所示，同一语义部件在不同建筑群中可能在材质相关的外观、纹理、颜色和几何形态上存在显著差异，而不同类别可能共享相似的外观。在有限监督下，这些特性使得模型难以建立稳定的语义决策边界。在方法基于第3节的分析，我们引入 C-PGS 作为面向中国古代建筑的样式感知半监督语义分割框架。如图3所示，该框架在教师-学生学习范式下结合了类别级风格先验 πsp 与实例级几何先验 πip。前者通过将类别级结构约束注入教师预测来正则化伪标签生成，有助于减少外观驱动的错误类别传播。实验本节首先概述用于训练和评估的数据集、实验环境和超参数设置。然后我们通过定量指标和定性可视化呈现所提方法的整体性能。此外，我们验证了所提框架在不同基线模型上的即插即用能力。最后，进行了广泛的消融实验以突出各组件的贡献。结论在本文中，我们研究了中国古代建筑图像中的半监督语义分割，重点关注样式诱导的伪标签偏差传播。我们发现该任务的难点来自有限监督以及模型在类内变异大、类间相似度高时倾向于依赖不稳定的外观线索。为解决这一问题，我们提出了 C-PGS，它将类别级风格先验与实例级几何先验相结合，前者提升伪标签可靠性，后者改善局部结构。作者贡献声明CRediT六鑫辰：写作—审阅与编辑，写作—初稿，验证，软件，方法论，调查，数据管理，概念化。苏兰张：写作—审阅与编辑，指导，方法论，调查，资金获取，形式分析，概念化。馨文：写作—审阅与编辑，可视化，验证，形式分析。卉源周：写作—审阅与编辑，可视化，验证。富荣彭：写作—审阅与编辑，资源。利花胡：利益冲突声明作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。六鑫辰 | 苏兰张 | 馨文 | 卉源周 | 富荣彭 | 利花胡