MRIo3DS-Net：一种用于模型适配室内三维重建的相互增强图像至三维表面类 RNN 框架

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：MRIo3DS-Net: a mutually reinforcing images to 3D surface RNN-like framework for model-adaptation indoor 3D reconstruction

　　

摘要
目前，深度神经网络（DNNs）在摄影测量和计算机视觉的局部区域特征提取、困难条件下的图像匹配以及点云表面优化方面取得了一些进展。然而，目前尚无关于集成点云生成（即密集图像匹配）和 3D 表面优化的端到端高精度 3D 重建网络的报道。此外，基于深度学习的 3D 重建网络通常难以应用于新的数据集任务。因此，本文首次提出了一种用于模型适应室内 3D 重建的相互增强的图像到 3D 表面类循环神经网络（RNN-like）端到端框架（MRIo3DS-Net），其中多视图密集匹配和点云表面优化通过类 RNN 结构相互增强，而不是作为单独的问题处理。该框架的特点和优势如下：(1) 在多视图密集匹配模块（MVDMM）中，采用模型适应策略来微调和优化基于 Transformer 的多视图密集匹配 DNN，使其具有更高的图像特征匹配能力和细节表达能力；(2) 在点云表面优化模块（PCSOM）中，使用模型适应策略优化基于 3D 隐式场的 3D 表面重建网络，解决了在不知道 3D 表面法向量的情况下进行点云表面优化的问题。特别地，为了改进和精细重建点云的 3D 表面，提出了带有边缘保留策略的平滑损失函数并添加到该模块中；(3) 提出的 MRIo3DS-Net 是一个类 RNN 框架，它利用 PCSOM 获得的精细优化 3D 表面来递归增强可微扭曲以优化 MVDMM。这种细化导致获得更好的密集匹配结果，而更好的密集匹配结果又递归且相互地导致获得更好的 3D 表面结果。因此，模型适应策略可以更好地协同两个网络模块之间的差异，使它们互补以达到更好的效果；(4) 为了加速从源域到目标域的迁移学习和训练收敛，使用基于贝叶斯不确定性的多任务损失函数来自适应调整 MVDMM 和 PCSOM 两个网络损失函数之间的权重；(5) 在这个多任务级联网络框架中，理论上，上述两个模块具有被任意相应的最先进（SOTA）网络替换的内在潜力，以实现更好的 3D 重建结果。我们通过比较实验和消融实验，在 DTU、Tanks and Temples 数据集上测试了 MRIo3DS-Net 与 SOTA 网络的性能。结果表明，MRIo3DS-Net 实现了最佳性能，能够可靠、完整且准确地重建各种室内场景。MRIo3DS-Net 可以为高精度室内 3D 重建提供一个新的端到端框架，并且对于新的目标域任务具有一定的潜力。

引言
在数字时代，3D 重建（Yin 等，2023）是一项具有不可或缺应用的基础技术。它通过实现地球自然和文化信息的全面获取、分析和可视化，支撑数字和智能地球倡议，推动环境监测、资源管理和灾害预防的进步（Tachella 等，2019）。此外，它作为虚拟世界和现实世界之间的关键桥梁，服务于数字孪生城市和元宇宙，为城市规划、智能交通和虚拟现实应用提供动力（Caldarelli 等，2023）。在中国，自然资源部的“国家 3D 实景”倡议利用人工智能和深度学习为自然资源管理提供高精度 3D 模型，促进室内外重建的自动化并推动地理信息产业的发展。

虽然室外 3D 重建通过卫星和无人机摄影测量取得了显著进展，但室内 3D 重建更为关键，因为大多数人类活动发生在室内。作为一项基础且具有高度挑战性的任务，它支撑着包括室内定位和导航（Tang 等，2024）、应急管理和 3D 制图（Liu 等，2023）在内的核心基于位置的服务。然而，当前的室内 3D 技术仍然不成熟：传统方法虽然能够实现高精度的无监督重建，但对照片重叠和交会角有严格要求。这产生了对于高效和准确的基于深度学习的室内 3D 重建方法的迫切需求，以满足不断增长的应用需求。

现有的基于深度学习的 3D 重建研究通常将多视图密集匹配和点云表面优化作为单独的任务处理（Li 等，2024，Liu 等，2023，Liu 和 Ji，2020，Wang 等，2024）。事实上，它们是相互增强的：高质量的密集匹配产生更好的点云，从而改进表面重建；反过来，精细化的表面增强后续的匹配（Li 等，2023）。此外，当前模型对新数据集的泛化能力弱，领域适应仍然具有挑战性（Ganin 等，2016，Pinheiro 等，2019）。

尽管深度网络即使在无纹理的室内场景中也推进了匹配和表面优化，但基于深学习的 3D 重建网络在以下几个方面仍有改进空间：
(1) 端到端 3D 重建网络：尚无关于在网络中将点云生成（密集图像匹配）和 3D 表面优化统一在端到端流水线中的报道。现有方法将这些任务视为独立，未能利用其固有的相互增强关系，即优化的密集匹配改进表面重建，而精细化的表面反过来提高匹配精度。
(2) 密集匹配和表面质量挑战：多视图密集匹配往往因匹配失败导致表面间隙，以及因亚像素精度不足导致点云误差。这些缺陷引入了法线扰动，导致重建表面失真和不规则。
(3) 泛化能力受限：在特定数据集上训练的模型通常在未见数据上表现出性能下降，限制了它们在多样化现实场景中的应用。

为此，我们提出了一种具有多视图密集匹配模块（MVDMM）和点云表面优化模块（PCSOM）的相互增强多任务级联网络框架，以自动和智能地重建 3D 场景。此外，我们提出的框架具有重建新目标域 3D 模型的潜力。因此，我们的贡献如下。
(1) 首次提出了一种端到端相互增强的图像到 3D 表面类 RNN 框架，即 MRIo3DS-Net。该框架级联了两个任务，多视图密集匹配和点云表面优化，具有以下优势：
1) 实现相互增强的端到端高精度 3D 重建结果；
2) 采用基于 Transformer 的 MVDMM，具有更高的图像特征匹配和细节表达能力；
3) 使用具有 3D 隐式场的 PCSOM 来优化点云表面，而无需知道 3D 表面的法向量；
4) 建立了一个类似 RNN 的框架，其中两个模块（即 MVDMM 和 PCSOM）相互增强，递归获得密集匹配结果和三维表面结果；
5) 理论上可被任何更先进或 SOTA 网络替换，以获得更好的 3D 重建结果。
(2) 设计了一种基于贝叶斯不确定性的多任务损失函数，以自适应调整 MVDMM 中的焦点损失和 PCSOM 中的二元交叉熵损失及带有边缘保留策略（EPS）的平滑损失之间的权重，而无需在此多任务级联网络中手动微调权重超参数。
(3) 提出了从源域到目标域的模型适应策略，这不仅使基于深度学习的 3D 重建更具普适性，使其能够应用于新的目标数据集，而且还加速了 MVDMM 和 PCSOM 的收敛。此外，它还促进了 MRIo3DS-Net 中两个模块之间的持续迭代和相互促进，实现了比单个模块更好的性能。

章节片段
基于 CNN 的方法
自 MVSNet（Yao 等，2018）首次提取图像特征并通过卷积神经网络进行匹配以来，基于 CNN 的多视图立体（MVS）方法取得了显著进展。为了解决其高内存消耗问题，CasMVSNet（Gu 等，2020）、CVP-MVSNet（Yang 等，2020）、UCS-Net（Cheng 等，2020）和 R-MVSNet（Yao 等，2019）提出了级联或递归正则化策略。为了增强几何一致性，GoMVS（Wu 等，2024）引入了几何...

概述
MRIo3DS-Net 是一个相互增强的多任务级联网络，其中 MVDMM 和 PCSOM 串联连接。这种设置允许它们递归或相互增强。首先，多视图图像使用成熟的自动空中三角测量进行处理，包括稀疏图像匹配和自定标光束法平差。其次，结果作为 MRIo3DS-Net 框架的输入。提出的 MRIo3DS-Net 框架包括一个多视图密集匹配网络...

实验结果
在本节中，我们展示了实验的数据集和训练细节。给出了不同数据集上的定性和定量实验结果。首先，为了分别验证本文中的 MVDMM 和 PCSOM 的性能，我们分别在 4.3 基于深度学习的多视图密集匹配和 4.4 基于深度学习的点云表面优化中进行了经典网络与本文 DNN 之间的比较实验。然后，在 4.5 节中，...

讨论
本节讨论了影响重建质量的因素、基于深度学习的 3D 重建的泛化能力、消融实验见解、参数敏感性和实验设计原理。

结论
基于现有的 3D 重建方法，重点关注室内场景，本文主要研究了 3D 重建的两个关键方面：多视图密集匹配和点云表面优化，并提出了一种基于 DNN 的用于 3D 室内场景重建的端到端相互增强类 RNN 框架。此外，我们为该框架设计了一种基于贝叶斯不确定性的多任务损失函数。该网络级联了两个相互增强的模块，即...

CRediT 作者贡献声明
Chang Li：写作 – 审查与编辑，写作 – 初稿，监督，项目管理，方法论，调查，资金获取，形式分析，概念化。Jiao Guo：写作 – 审查与编辑，写作 – 初稿，验证，调查。Yufei Zhao：写作 – 初稿，可视化，验证，软件，调查。Yongjun Zhang：写作 – 审查与编辑，监督，项目管理，资金获取。Gang Xiong：可视化，

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系，这些可能会影响本报告中的工作。

致谢
作者感谢编辑、匿名评审员和编辑组成员的评论和贡献。这项工作得到了国家自然科学基金重点项目（批准号 42030102）、国家自然科学基金（NSFC）（批准号 42201474、41771493 和 41101407）以及中央高校基本科研业务费（批准号 CCNU25JCPT001 和 CCNU22QN019）的支持。

Chang Li|Jiao Guo|Yufei Zhao|Yongjun Zhang|Gang Xiong
湖北省地理过程分析与模拟重点实验室，华中师范大学城市与环境科学学院，中国武汉