《Journal of Imaging》：MonuSegFormer: A Hybrid Swin-Transformer Architecture for Semantic Segmentation of Moroccan Cultural Heritage Monuments
编辑推荐：
文化遗产古迹中建筑元素的语义分割处于计算机视觉与数字保存的交叉领域。摩洛哥历史古迹涵盖非斯、拉巴特、马拉喀什、梅克内斯和得土安等城市的清真寺、宗教学校、皇家城门（bab）和陵墓，其独特挑战包括：风化墙面与背景之间极端的纹理模糊性；从单个门窗洞口到跨越数十米的完
文化遗产古迹中建筑元素的语义分割处于计算机视觉与数字保存的交叉领域。摩洛哥历史古迹涵盖非斯、拉巴特、马拉喀什、梅克内斯和得土安等城市的清真寺、宗教学校、皇家城门（bab）和陵墓，其独特挑战包括：风化墙面与背景之间极端的纹理模糊性；从单个门窗洞口到跨越数十米的完整屋顶表面的显著多尺度变化；以及严重的类别不平衡。研究人员提出了MonuSegFormer，一种特定于遗产的混合架构，将预训练Swin-B编码器（ImageNet-22K）与多尺度空洞融合（Multi-Scale Atrous Fusion，MSAF）模块以及CBAM增强的渐进式解码器相结合。在摩洛哥古迹数据集（Moroccan Monuments Dataset，MMD，2686张标注RGB图像，5个语义类别，5个城市）的留出测试集（403张图像）上评估，MonuSegFormer取得了平均交并比（mean Intersection over Union，mIoU）为81.7%，优于SegFormer-B5（76.4%）、Mask2Former（78.9%）和DeepLabV3+（71.3%）。带有类别平衡权重的复合交叉熵（Cross-Entropy，CE）+Dice+焦点（Focal）损失解决了严重的类别不平衡问题，在少数类别门（+5.3个百分点）和窗（+5.3个百分点）上相较于次优的Mask2Former获得了最大提升。所有定性结果均由真实训练模型在留出测试图像上的推理产生。
论文解读：MonuSegFormer在摩洛哥文化遗产语义分割中的应用
摩洛哥的建筑遗产是地中海和伊斯兰世界中最丰富多样的建筑集合之一，其历史跨越十二个世纪，包含非斯的Fes el-Bali、马拉喀什历史城区、梅克内斯的Bab Mansour城门和Merinid王陵、得土安的安达卢西亚风格麦地那以及拉巴特的陵墓等。这些古迹采用特色材料词汇，如zellige马赛克、雕刻灰泥（jiss）、雪松木格栅（mashrabiyya）、马蹄形拱门、穹顶屋顶（qubba）和夯土墙（pisé）。数字文档化和自动化保护规划需要精确的像素级建筑表面类别理解。语义分割能够支持语义丰富的建筑信息模型（Building Information Model，BIM）、自动化损伤检测、增强现实旅游叠加以及大规模三维重建。然而，将现代分割架构应用于摩洛哥古迹数据集（MMD）面临三大挑战：纹理模糊（C1），即墙灰、天空和地面具有相似像素级统计特征；多尺度变化（C2），目标从紧凑门窗洞口到跨越数十米的完整屋顶表面；严重类别不平衡（C3），墙和背景合计超过70%像素，而门和窗仅约12%。标准交叉熵训练往往以牺牲建筑上重要的少数类为代价最大化多数类准确率。因此，研究人员提出了MonuSegFormer，专门针对这些挑战设计。该研究在MMD上取得了最佳性能，为摩洛哥文化遗产保护提供了高效的自动化工具，具有重要的应用价值。论文发表在《Journal of Imaging》。
在方法方面，研究人员采用了几个关键的技术方法。首先，使用在ImageNet-22K上预训练的Swin-B编码器（88M参数）作为骨干，利用其窗口自注意力提供长程上下文，以应对纹理模糊。其次，在编码器顶部添加多尺度空洞融合（Multi-Scale Atrous Fusion，MSAF）模块，该模块由六个并行分支组成：1×1卷积、膨胀率为3、6、9、12的深度可分离空洞卷积以及全局平均池化，以覆盖13至49像素的有效感受野，应对多尺度变化。第三，使用CBAM（Convolutional Block Attention Module）增强的渐进式解码器，在每个解码阶段应用通道和空间注意力，改善少数类边界精度。训练采用复合损失函数，结合带类别平衡权重的交叉熵（CE）、Dice损失和Focal损失，并辅以深度监督和OneCycleLR调度。样本队列来自摩洛哥古迹数据集（MMD），由Ouail Choukhairi发布，包含2686张标注RGB图像，覆盖5个城市和5个语义类别。
研究结果方面，论文分多个小节报告了实验发现。
在6.1节“最先进比较”中，MonuSegFormer在MMD留出测试集（403张图像）上取得了mIoU=81.7%，比次优的Mask2Former高2.8个百分点，比SegFormer-B5高5.3个百分点，比DeepLabV3+高10.4个百分点。跨5个随机种子的配对t检验证实了差异的显著性。
在6.2节“每类IoU分析”中，MonuSegFormer在门和窗这两个像素稀少的少数类别上获得了最大提升，分别比Mask2Former高5.3个百分点，表明其对类别不平衡问题的有效处理。
在6.3节“定性分析”中，对四个留出测试场景的真实模型推理结果显示了MonuSegFormer的优越性，它能够正确恢复暗阴影拱形壁龛、拱门隧道、绿色瓦片屋顶等结构，而FCN、U-Net等基线模型则出现混淆。
在6
