MAFNet: 一种基于多模态自适应融合网络的倾斜摄影测量单体建筑提取方法

《International Journal of Applied Earth Observation and Geoinformation》：MAFNet: A multi-modal adaptive fusion network-based approach for individual building extraction from oblique photogrammetry

　　

倾斜摄影测量是生成高精度三维城市模型的关键技术。然而，生成的模型通常呈现壳状、仅表面结构，缺乏单体建筑之间的物理分离和语义区分。这一限制制约了其在数字城市应用中支持查询、分析和属性管理的能力。为解决现有方法在精度、效率和自动化方面的不足，本文提出了一种多模态自适应融合网络（MAFNet）。通过采用双分支编码器和创新的双模态动态特征融合（DDFF）模块，MAFNet实现了有效的跨模态特征交互，从而在复杂城市场景中显著提升了分割精度和鲁棒性。在MAFNet的基础上，研究人员进一步设计了一套系统化的自动处理流程，通过边缘检测、轮廓提取与简化、地理坐标映射以及三维可视化，将二维分割结果与倾斜摄影测量模型关联。该框架由此建立了一条完整的二维到三维单体化流水线。为验证所提方法，研究人员构建了一个倾斜摄影测量建筑物数据集，包含三维模型、数字正射影像（DOM）、数字表面模型（DSM）以及像素级掩膜标注。实验结果表明，MAFNet在该数据集上达到了90.75%的交并比（IoU）和95.08%的F1分数（F1 score），优于现有最先进模型，从而证明了该方法的有效性及其在三维地理信息系统（3D GIS）和数字孪生系统中实际部署的巨大潜力。

倾斜摄影测量技术能高效生成高精度三维城市模型，但模型通常呈连续表面结构（"one-skin"），缺乏单体建筑间的物理分离与语义区分，无法支持数字城市中的查询、分析和属性管理。现有方法（如物理单体化、逻辑单体化、点云聚类）在精度、效率和自动化方面存在不足，而深度学习方法虽在遥感分割中表现优异，但针对倾斜摄影测量单体化的专用数据集和完整流程仍匮乏。为此，研究人员提出了一种多模态自适应融合网络（MAFNet）及配套的二维到三维单体化流水线，旨在实现自动、高精度的建筑提取。该研究在《International Journal of Applied Earth Observation and Geoinformation》上发表。

研究人员通过构建双分支编码器（分别处理数字正射影像（DOM）和数字表面模型（DSM））与双模态动态特征融合（DDFF）模块，实现了跨模态特征深度交互；并设计了包含边缘检测、轮廓提取与简化、地理坐标映射及三维可视化的自动单体化流程。在自建的济南数据集（596张0.05m分辨率、2048×2048像素的影像，含DOM、DSM、TFW文件及像素级掩膜）上开展实验，同时在国际摄影测量与遥感学会（ISPRS）的Vaihingen与Potsdam公开数据集上验证泛化能力。实验结果表明，MAFNet在三个数据集上综合性能最优，交并比（IoU）分别达到90.75%、88.94%和92.30%，F1分数（F₁ score）分别为95.08%、94.02%和95.94%，显著优于U-Net、DeepLabV3+、TransUNet、FTransUNet等十二种对比方法。消融实验证实DDFF模块的模态内增强、多尺度跨模态交互和四方向注意力机制发挥关键作用，且单向DSM→RGB的反馈策略优于双向反馈。鲁棒性分析表明，MAFNet在8像素平移和8°旋转错位下仍保持较高IoU，优于FTransUNet。复杂度分析显示，MAFNet在50.31M参数量、69.04G浮点运算次数（FLOPs）下达到26.36帧每秒（FPS），在精度与效率间取得良好平衡。应用可视化演示了通过单体化流程将分割结果转换为地理参考的GeoJSON文件，并在WebGL平台中实现建筑实例的属性查询与空间分析。

讨论部分总结了五个关键发现：（1）DDFF模块实现高效融合与强泛化能力，在济南、Vaihingen、Potsdam三个数据集上均取得领先性能，且对平移和旋转错位具有更优鲁棒性；（2）单向DSM→RGB几何引导策略优于双向融合，说明几何信息在融合中起主导作用，可避免光谱噪声污染DSM特征纯度；（3）当前2D-to-3D单体化流程对规则建筑高效，但对悬挑、裙房等不规则结构存在几何偏差，未来需集成多视影像和分组优化方法；（4）低矮弱特征建筑（图8中红色框区域）仍易被漏检，需通过DSM梯度增强和注意力机制改进；（5）DDFF模块可扩展至其他遥感任务（如变化检测、土地覆盖分类、光学-合成孔径雷达（SAR）融合），且公开的济南数据集为后续研究提供基准。

结论部分翻译：本文提出了一套完整的倾斜摄影测量单体建筑提取与单体化框架，包括双分支多模态融合网络（MAFNet）、自动化2D-to-3D单体化流水线以及自建的倾斜摄影测量数据集（济南数据集）。核心贡献在于双模态动态特征融合（DDFF）模块，该模块通过三个顺序阶段——模态内增强、多尺度跨模态交互和四方向注意力——融合DOM与DSM特征。结合后处理流程（通过地理坐标映射和基于WebGL的可视化将2D分割掩膜与3D模型关联），所提框架为自动化建筑单体化提供了端到端解决方案。在济南数据集和两个公开基准（ISPRS Vaihingen和Potsdam）上的大量实验表明，MAFNet在不同建筑风格下具有强泛化能力，并对跨模态错位具有稳健容忍性。同时，所提出的单体化流水线使建筑能够携带语义信息，支持数字孪生和智慧城市等应用中的属性查询与空间分析。尽管MAFNet在检测低高度对比的弱特征建筑时存在局限，且当前单体化流水线在处理悬挑或曲面等复杂几何结构时面临挑战，未来工作可通过DSM梯度增强和多视立面重建来解决这些问题。希望本研究能为多模态遥感和倾斜摄影测量单体化的研究与应用提供基础框架。