一种新的稀疏重建框架,将并行摄影技术与激光共面方向控制相结合,适用于受限的地下空间

《International Journal of Applied Earth Observation and Geoinformation》:A new sparse reconstruction framework integrating parallel photography with laser-coplanar directional control for constrained underground spaces

【字体: 大 中 小 】 时间:2026年02月17日 来源:International Journal of Applied Earth Observation and Geoinformation 8.6

编辑推荐:

  张荣春|赵杰|程亮|易学峰|葛亮|陈松|王东川|江毅 天津城建大学地质与地理信息学院,中国天津300384 **摘要** 在地下工程领域,特别是在水利、水电和交通隧道项目中,对深埋长隧道及其他受限地下空间进行高分辨率重建是精确、高效和安全测量地质参数的基本数据来源。

  张荣春|赵杰|程亮|易学峰|葛亮|陈松|王东川|江毅
天津城建大学地质与地理信息学院,中国天津300384

**摘要**
在地下工程领域,特别是在水利、水电和交通隧道项目中,对深埋长隧道及其他受限地下空间进行高分辨率重建是精确、高效和安全测量地质参数的基本数据来源。由于缺乏控制点和GNSS,重要的定向数据(如地质空间姿态)难以测量。并行摄影可以快速获取高度重叠的图像数据,但在长隧道重建中仍存在显著的累积模型漂移和缺乏绝对真实地理参考的问题。为了解决这些挑战,提出了一种新的稀疏重建方法,该方法将并行摄影与激光共面方向控制相结合。首先,建立了一个绝对定向控制系统,通过结合地质罗盘和激光水平仪来确定具有真实方向地理参考的地下空间,即使用地质罗盘测量绝对方向,使用激光水平仪确定垂直和水平姿态角参数。通过由投影激光线引导的深度卷积匹配网络,从垂直和水平激光平面中提取激光特征对应关系。这些绝对定向参数与全局平面约束一起作为新的几何约束用于束调整优化。所提出的方法不仅在没有GNSS的情况下提供了绝对方向参考,有效减轻了模型漂移,并提高了稀疏重建的准确性。

**1. 引言**
在水利、水电、交通和采矿项目的调查、设计和施工阶段,及时获取隧道等地下空间场景的地质结构信息至关重要。基于图像的3D重建直观地展示了隧道表面的细节,并为隧道及其他项目的设计和施工提供了及时的数据支持。结构从运动(SfM)通过特征提取和匹配来估计相机参数和3D点位置。在早期研究中,SfM依赖于严格的场景假设来估计两个和三个视图的几何形状。随后几年中,视觉重建技术的研究取得了进展(Carlo Tomasi, 2011)。随后,SfM能够从大规模结构化图像(如图像序列(Ferrari et al., 2004)或视频流(Pollefeys et al., 1999)中进行稳健的稀疏3D重建。关键进展包括采用随机样本一致性(RANSAC)进行稳健的几何估计(Fischler and Bolles, 1981),开发高效的特征检测器和描述符(Harris and Stephens, 1988, Lowe, 1999, Drummond and Rosten, 2006, Bay et al., 2008, Rublee et al., 2011, Leutenegger et al., 2011, Alahi et al., 2012),以及大规模图像匹配技术(Nister and Stewenius, 2006)。通过增强特征跟踪和并行计算策略,进一步提高了性能(Snavely et al., 2008, Agarwal et al., 2009, Frahm et al., 2010)。SfM可以分为增量式、全局式、混合式、分层式和语义式。其中,增量式SfM方法具有较好的稳健性,目前被广泛使用。大多数增量式SfM都是在(Moulon et al., 2012, Wu, 2013, Sch?nberger and Frahm, 2016)的基础上改进的。SfM方案通常包括检测特征点(例如使用尺度不变特征变换SIFT(Lowe, 2004))、匹配(例如使用近似最近邻ANN(Arya et al., 1998))、应用几何验证(例如使用八点法(Hartley, 1997)),并逐步恢复相机参数和场景结构。

近年来,SfM技术在复杂场景和算法框架方面取得了显著进展。例如,混合式LiVisSfM(Jiang et al., 2024)整合了LiDAR和视觉线索;分层方法如即时SfM(Zhan et al., 2024)实现了准实时处理;语义反馈级联模型(Bao and Savarese, 2011)结合了语义子模块以提高重建稳定性。在传感器融合方面,LiDAR-视觉-惯性SLAM系统(Shan et al., 2021, Lin and Zhang, 2022)在GNSS不可用的环境中表现出色。然而,它们对昂贵硬件的依赖以及在极端受限空间中的操作限制不容忽视。明确整合线或平面约束的SfM流程与本文讨论的几何约束方法具有核心概念(Bartoli and Sturm, 2001, Furukawa et al., 2009, Zhou et al., 2015)。然而,它们通常依赖于在自然场景图像中自动检测和匹配这些几何元素。在低纹理、光照不均匀的环境中(如受限地下空间),可靠准确地提取这些自然特征极具挑战性。最近,计算智能的快速发展为解决复杂的空间建模问题提供了新的视角。例如,神经网络(Jin et al., 2025, Lu and Mokarram, 2025)在模拟复杂非线性系统方面显示出巨大潜力;高斯过程回归(Ghosh et al., 2023, Jin et al., 2025)有效量化了空间预测的不确定性;图形技术为理解和优化复杂系统内的结构关系提供了强大工具(Xu and Zhang, 2023a, Xu and Zhang, 2023b, Alkhazraji et al., 2024)。集成或复合方法通过结合多个模型的优势,在提高稳健性和准确性方面取得了显著成果(Luo and Su, 2025, Xu, 2017)。现有的基于学习的SfM或深度估计方法可以应用于一般低纹理场景(Guizilini et al., 2020),但需要大量多样化的标记数据进行模型训练。此外,这些方法不适用于所提出的半绝对定向SfM。对于像地下工程这样的特殊领域,其数据分布独特且公共数据集稀缺,我们需要展示地质细节(如微小裂缝)以精细建模工程地质。Slam在建模过程中具有很好的适用性,但在精细表征地质细节方面不足。

总体而言,卫星遥感和机载LiDAR在自然资源清查和环境管理的大规模表面测绘中表现出色。然而,由于信号遮挡和可访问性限制,它们在隧道等受限地下环境中的效果受到严重限制。这一差距阻碍了获取地下工程应用所需的关键地理信息。虽然基于UAV的结构从运动(SfM)已被探索为潜在解决方案(Mikhailov and Goryachkin, 2020),但在隧道环境中面临两个根本限制:狭窄空间中短基线导致的模型漂移,以及由于控制点部署不切实际而缺乏绝对定向——这两者都影响了工程决策所需的地理参考数据质量(Westoby et al., 2012)。为了解决这一挑战,本研究提出了一种专为受限地下空间设计的新型激光共面约束稀疏重建方案。该方法创新地用并行图像采集替代了效率低下的水平基线摄影,同时引入了全局激光共面约束以减轻短基线引起的漂移。此外,它使用地质罗盘和激光水平仪建立了绝对定向控制系统,消除了对物理控制点的依赖。这种集成方法不仅恢复了绝对定向信息,还显著减少了建模漂移,最终推进了一种新的数据处理范式,将地球观测能力扩展到具有挑战性的地下工程场景。

**主要贡献如下:**
(1) 建立了罗盘-激光空间参考框架,消除了绝对定向对地面控制点的要求。
(2) 在复杂的受限地下空间中,通过VGG-NCC集成实现了精确的激光特征匹配。
(3) 将绝对定向参数与共面约束结合在束调整中,有效抑制了模型漂移。
(4) 为GNSS不可用的地下工程应用开发了完整的高精度地理参考解决方案。

**文章其余部分组织如下:**
第2节详细介绍了针对隧道场景的稀疏重建方法,涵盖了其核心技术程序。第3节通过实验和比较讨论验证了该方法的可行性和工程适用性。第4节提出了结论。

**2. 方法**
本研究将稀疏重建过程分为两个阶段。在第一阶段,建立隧道的半绝对定向模型。该模型利用激光在垂直和水平方向上的共面约束关系,以及摄影测量中图像空间坐标系与图像空间辅助坐标系之间的变换关系。然后通过结合地质罗盘的真北方向来估计隧道的绝对定向。在第二阶段,使用绝对定向参数和平行摄影图像序列作为稀疏重建的输入。传统方法通常使用基于Levenberg-Marquardt(LM)的稀疏束调整(SBA)来优化模型参数。根据重投影误差建立目标函数,并通过迭代方式最小化重投影误差来优化目标函数。首先识别图像中的激光像素,然后使用深度卷积特征匹配方法提取激光垂直平面和水平平面的激光特征点对。根据平面约束和重投影误差的综合效应重建和优化目标函数,以提高建模精度并减少模型漂移。所提出方法的工作流程如图1所示。

**图1. 所提出的稀疏重建方法的基本流程。**

**2.1. 隧道方向控制系统的构建**
首先,使用激光水平仪为隧道场景提供辅助的水平和垂直标记。然后,获取一系列平行图像。此外,使用地质罗盘测量绝对方向,提供真实的地理参考。这种组合实现了隧道模型的绝对定向控制。图2左侧表示由激光轴定义的隧道坐标系P-XtYtZt。右上角的图像显示了水电项目隧道的激光投影平面与X轴和Y轴之间的几何关系。激光垂直平面与水平平面交线的正确方向由地质罗盘确定。

**图2. 隧道方向控制系统的示意图。**

**2.2. 激光特征智能引导匹配**
与传统的深度学习方法不同,所提出的方法借鉴了摄影测量中的极线约束匹配思想(Hartley and Zisserman, 2003)。此外,通过VGG-Net从模板和输入图像中提取尺度自适应的深度卷积特征向量,然后使用归一化互相关(NCC)来测量模板特征与图像特征之间的距离,以检测目标图像块(Simonyan and Zisserman, 2014, Yoo and Han, 2009)。与其他基于深度学习的匹配方法相比,VGG的规则结构确保了感受野与图像坐标之间的清晰反向映射,这对于保证激光特征匹配的定位精度至关重要。VGG网络用于从图像对中提取深度卷积特征层。根据图像中的投影激光像素索引,构建模板候选区域和匹配引导的候选区域。使用高效的NCC来测量模板候选区域和匹配引导区域之间的激光像素块的相似性,从而获得激光特征对应关系。具体过程如图3所示。

**图3. 激光特征智能引导匹配的流程图。**
设置源图像IL和待匹配的图像IR,并分别在图像上检测隧道表面激光垂直和平行激光平面的激光投影像素。根据激光像素沿水平和垂直方向的投影分布,将它们分为四个激光像素特征集Phl、Phr、Pvt、Pvb,并生成标签索引图像ILlabel和IRlabel。将源图像中的IL激光像素集作为模板候选区域的像素集,记录为PLhl、PLhr、PLvt、PLvb。在激光特征像素匹配之前,通过RANSAC从模板候选区域的像素集中随机选择一定数量的像素,生成模板区域的图像块M。待匹配图像的激光像素集被用作匹配引导区域像素集,分别表示为PRhl、PRhr、PRvt、PRvb,用于在深度卷积特征层中生成匹配引导候选区域图像块Si。VGG网络被用来自适应地识别源图像IL和待匹配图像IR的目标层,并从目标层提取深度特征向量。对于CNN的每一层,都有一个大小为RFk×RFk的感受野,第l层的感受野宽度由公式(1)定义。(1)RFk=RFk-1+Fk-1∏i=1k-1sik>13k<1其中,层索引由卷积层的顺序决定,例如,conv1_1表示第一层,conv1_2表示第二层,pool1表示第三层。Fk表示第k层的滤波器大小,i表示步长。目标层的索引k?由公式(2)确定(Kim J等人,2017年)。(2)k?=maxk-t,1s.t.RFk≤min(w,h)其中,t≥0。在处理可变大小的模板时,取t=3以保持选择的一致性。由于t=3,第k-3层的感受野大小是图像宽度和高度中的较小值,因为在第k-3层和第k层之间有一个池化层。然后,可以分别提取与模板候选区域和匹配引导候选区域的激光像素块对应的特征FM和FS。属于匹配引导区域的像素块Si是通过NCC确定的,其深度卷积特征与模板区域中的像素块Mi具有最高的相似性。这可以通过公式(3)计算。(3)NCCi,j=〈FM,FS~〉FMFS~其中,FS~=FSi:i+hF-1,j:j+wF-1,从FM中提取的宽度hF和高度wF是与FM相同大小的候选特征匹配区域。待匹配原始图像上的区域是通过反向传播确定的。最后,优化特征域的匹配图像块位置以获得准确的匹配结果。首先,设置初始图像块位置((x10,y10),(x20,y20)),然后通过深度卷积特征层的最大NCC位置(i?,j?)将其反向传播到图像空间。初始图像块的左上角是(x10,y10),右下角是(x20,y20)。在(i?,j?)附近,优化匹配图像块的左上角和右下角的像素坐标。公式(4)是x1的优化公式,x2、y1和y2的优化公式与公式(4)类似。(4)x1=∑u=-11∑v=-21NCCi?+u,j?+v?(x10+v?∏i=1l?-1si)/∑u=-11∑v=-21NCCi?+u,j?+v以下是算法伪代码算法1,逐步解释了从激光像素检测到最终匹配点优化的完整过程。算法1算法1激光特征智能引导匹配伪代码要求:源图像IL和目标图像IR。来自IL的激光投影像素集PLhl、PLhr、PLvt、PLvb。来自IR的激光投影像素集PRhl、PRhr、PRvt、PRvb。预训练的VGG网络。步骤:1. 检测激光像素并将其分为四组:Phl、Phr、Pvt、Pvb,分别对应IL和IR。2. 生成模板块Mi:从模板候选集PLhl、PLhr、PLvt、PLvb中随机采样像素。3. 构建匹配引导区域:使用引导像素集PRhl、PRhr、PRvt、PRvb在特征空间中生成候选块Si。4. 选择目标层:使用公式(1)和(2)确定目标层索引k?,使得RFk≤min(w,h),并且k?=maxk-t,1,其中t=3。5. 提取深度特征:使用VGG从k?层的模板和引导区域提取FM和FS~。6. 重复7. 对每个模板块Mi执行以下操作:8. 提取特征块FM。9. 对每个候选区域Si执行以下操作:10. 提取FS~(大小为hF ×wF)。11. 使用公式(3)计算NCCi,j。12. 结束循环。13. 使用最大NCC找到最佳匹配位置(i?, j?)。14. 将(i?, j?)反向传播到图像空间,得到初始块角x10,y10和(x20,y20)。15. 使用公式(4)在(i?, j?)周围的3×3邻域内通过加权NCC优化块位置x1、x2、y1、y2。16. 继续优化,直到所有模板都匹配成功。17. 返回:精炼的激光特征对应关系。2.3. 绝对外部定向参数的确定在激光平面定向控制下确定图像的绝对姿态参数需要建立图像点与其在隧道中相关联的空间点之间的对应关系。这个过程包括两个主要阶段:(1) 通过单应关系估计图像之间的相对外部定向参数,从而推导出隧道模型的坐标;(2) 为隧道空间定义一个辅助坐标系,以建立隧道模型坐标系和隧道坐标系之间的连接。基于激光垂直和平面提供的约束,可以解决激光平面控制下图像的绝对姿态参数。解决模型坐标需要足够的对应特征点,而确定绝对姿态参数依赖于激光平面施加的约束。由于激光平面内的激光点满足几何单应性约束,并且激光平面可以在SfM建模期间作为平面连接约束,因此有助于缓解在狭长隧道环境中的模型漂移问题。因此,选择激光平面内的像素作为对应特征点。使用从激光平面得到的单应关系解决图像之间的相对位置和姿态参数,从而能够获取隧道模型坐标。由于单应矩阵H包含了两个相机之间的旋转和平移参数,可以使用相机的内参对其进行分解,以恢复相对旋转和平移。在获取隧道图像时,提供了激光垂直和平面约束(图4a),这些约束为解决单应矩阵提供了已知的平面条件(图4b-c)。根据这些约束,可以恢复图像之间的相对姿态,从而重建隧道模型坐标。下载:下载高分辨率图像(416KB)下载:下载全尺寸图像图4. 隧道图像中激光特征点的平面分布和单应变换。定义了隧道空间辅助坐标系S1-XYZ。在图5中,建立了隧道坐标系和隧道模型坐标系之间的关系。基于此,推导出绝对姿态参数解模型。下载:下载高分辨率图像(177KB)下载:下载全尺寸图像图5. 绝对定向坐标系的空间关系示意图。以平行摄影图像序列中的第一张图像为例,建立了隧道空间辅助坐标系S1-XYZ。坐标原点定义为摄影中心S1,三个坐标轴分别平行于隧道坐标系P-XtYtZt的Xt轴、Yt轴和Zt轴,因此隧道空间辅助坐标系和隧道坐标系也有绝对姿态,如图5所示。隧道空间辅助坐标系S-XYZ下空间点与隧道模型坐标系S1-U1V1W1的坐标变换关系。例如,第一张图像的图像空间坐标系表示为公式(5):(5)XYZ=a1a2a3b1b2b3c1c2c3UVW其中,a1a3、b1b3、c1c3是从隧道模型坐标系到隧道空间辅助坐标系变换的旋转角度φ、ω、κ的方向余弦;(X,Y,Z)和(U,V,W)分别表示隧道空间辅助坐标系和隧道模型坐标系中空间点的坐标。根据图6,激光水平面和垂直面分别垂直于隧道空间辅助坐标系的Y ?轴和Z轴。设激光在辅助坐标系中的任意两个空间点PiV和PjV的坐标分别为(XiV,YiV,ZiV)和(XjV,YjV,ZjV),激光在水平面中的任意两个空间点PkH和PlH的坐标分别为(XkH,YkH,ZkH)和(XlH,YlH,ZlH)。根据平面中的坐标约束关系,可以得到公式(6):(6)XiV-XjV=0YkH-YlH=0结合公式(5)和公式(6),以及公式(7):(7)XiV-XjV=a1a2a3·UiV-UjVViV-VjVWiV-WjVT=0YkH-YlH=b1b2b3·UkH-UlHVkH-VlHWkH-WlHT=0具体非线性方程的线性化如(Ghilani, 2017)所示。设ΔUijV=UiV-UjV,ΔVijV=ViV-VjV,ΔWijV=WiV-WjV,ΔUklH=UkH-UlH,ΔVklH=VkH-WlH,ΔWklH=WkH-WlH,则公式(7)可以简化为公式(8):(8)FmvVφ,ω,κ=a1ΔUijV+a2ΔVijV+a3ΔWijV=0FnHHφ,ω,κ=b1ΔUklH+b2ΔVklH+b3ΔWklH=0公式(8)是解决绝对定向参数的数学模型。显然,公式(8)是一个非线性方程,需要根据泰勒公式展开并取线性项来线性化最小二乘解。下载:下载高分辨率图像(177KB)下载:下载全尺寸图像图6. 白河滩水电站的大坝施工现场地图。如果从垂直和平面激光平面分别通过RANSAC选择了m和n个激光像素,则可以在公式(9)中表示:(9)FVφ,ω,κ=F1VF2V?FmVVTFHφ,ω,κ=F1HF2H?FnHHT其中,mV=m(m-1)/2, nH=n(n-1)/2。在公式(7)中,i, j和k, l满足i< />相反,当图像拍摄条件难以保证时,容易出现图像不匹配和模型漂移等问题。通过设置较大的τ值,可以增强旋转矩阵约束项的效果。3. 实验与讨论实验数据来自白鹤滩水电站大坝区域的一个特定巷道,如图6所示。使用Fuji X-T10数码相机拍摄了分辨率为4896×3264像素的平行序列隧道图像。相机配置的焦距为16毫米,ISO值为400,光圈为F/8。投影的激光线在距离达50米的范围内仍保持足够的对比度,以便可靠地提取特征。图7展示了平行图像序列的代表性示例,证明这种成像模式能够全面捕捉隧道内部的空间和文本信息。通常,在施工环境中,为了确保人员安全,除了数据采集人员和设备外,其他人员一般需要撤离拍摄区域。对于具有急剧弯曲的隧道或横截面变化较大的部分,可以结合隧道形态学应用所提出的方法进行数据采集和建模。下载:下载高分辨率图像(287KB)下载:下载全尺寸图像图7. 白鹤滩水电站隧道中的激光投影平行序列图像。在图8中,平行摄影可以有效降低拍摄难度,提高拍摄效率,并获得高度的图像重叠。下载:下载高分辨率图像(132KB)下载:下载全尺寸图像图8. 摄影示意图。(a) 隧道示意图。(b) 传统摄影。(c) 平行摄影。(d) 图像重叠。对于实验,选择了一组10张平行序列图像。图9展示了一对隧道平行图像的示例,其中绿色像素表示激光投影,主点附近的明显绿色点标记了激光水平仪的位置。在图9中,左右图像分别作为源图像和目标图像进行匹配。在这些图像中检测到水平和垂直激光平面内的激光像素。在检测过程中,包含激光水平仪投影的主点周围的区域被视为无效并通过掩蔽去除。提取的激光像素的二值化结果如图10所示,其中水平和垂直激光像素根据其在图像中的空间分布被分为四组。下载:下载高分辨率图像(223KB)下载:下载全尺寸图像图9. 水电站隧道激光投影平行序列图像的示例。下载:下载高分辨率图像(16KB)下载:下载全尺寸图像图10. 由激光特征点引导的初始匹配位置图。一些激光像素的匹配结果如图11所示。每对同名激光像素用彩色直线连接。所提出的方法成功识别并提取了绿色激光像素,并准确实现了激光像素匹配,为后续解决隧道模型坐标和图像绝对姿态参数提供了可靠的输入数据。下载:下载高分辨率图像(111KB)下载:下载全尺寸图像图11. 部分激光像素匹配结果的可视化。图12a和图12b是使用SIFT方法进行特征点提取和匹配的结果。使用传统方法难以准确识别和提取激光像素特征点,而相应的激光像素是所提出方法执行外部定向元素计算的前提。图11和图12分别显示了激光像素特征提取和传统SIFT特征提取的方法结果。可以看出,所提出的方法能够准确识别有效的同质激光像素特征。下载:下载高分辨率图像(751KB)下载:下载全尺寸图像图12. (a) SIFT特征提取和 (b) 匹配结果可视化。从立体图像对中提取的所有激光特征匹配像素用于通过随机采样一致性(RANSAC)求解单应性矩阵,并将其分解为旋转和平移参数,即图像之间的相对外部定向参数。在本实验中,重投影像素误差阈值设置为1像素,匹配像素对被分为内点和外点。使用单应性矩阵分解获得了四组旋转和平移参数,如表1所示。根据空间点与相机之间的位置关系,最终确定最优解为R3和T3,并据此求解激光特征点的模型坐标。以激光特征点的模型坐标为输入,根据激光垂直面和水平面之间的约束关系求解模型的绝对姿态参数。绝对姿态角度φ、ω和κ分别为0°38′31″、5°26′11″和1°32′23″。表1. 单应性矩阵分解的R和T。旋转和平移参数R1|T1 9.86165983e-01 2.51906202e-03 -1.65741691e-01 -1.51130871e-01 -3.97055151e-01 -9.05266075e-01 -6.80890136e-029.17791295e-01 -3.91181575e-01 2.96486553e-01 1.86540730e+002.30088880e+00R2|T2 9.86165983e-01 2.51906202e-03 -1.65741691e-01 -1.51130871e-01 -3.97055151e-01 -9.05266075e-01 -6.80890136e-029.17791295e-01 -3.91181575e-01 -2.96486553e-01 -1.86540730e+00-2.30088880e+00R3|T3 9.99506314e-01 -3.11476935e-024.11703274e-033.12262321e-029.99299359e-01 -2.06328324e-02 -3.47148304e-032.07512057e-029.99778644e-012.97682197e-01 2.51264645e-01 2.95126911e+00R4|T4 9.99506314e-01 -3.11476935e-024.11703274e-033.12262321e-029.99299359e-01 -2.06328324e-02 -3.47148304e-032.07512057e-029.99778644e-01 -2.97682197e-01 -2.51264645e-01 -2.95126911e+00根据模型的绝对姿态参数计算平行摄影序列图像的绝对姿态参数,并将其作为先验约束用于参与SfM稀疏重建。基于定向和平面约束的隧道稀疏重建示意图如图13所示。图14a和图14b分别展示了使用OpenMVG的传统SfM和所提出方法生成的隧道稀疏点云的可视化结果。从不同角度观察,相应的稀疏点云数量分别为27,449和22,028。图15是基于定向和平面约束的密集隧道重建示意图。与传统SfM点云相比,所提出的方法增加了先验的绝对姿态全局约束,生成的点云具有真实的地理参考姿态。下载:下载高分辨率图像(76KB)下载:下载全尺寸图像图13. 基于定向和平面约束的隧道稀疏重建示意图。下载:下载高分辨率图像(557KB)下载:下载全尺寸图像图14. 两种方法的稀疏重建点云。(a) 传统SfM方法。(b) 所提出方法。下载:下载高分辨率图像(215KB)下载:下载全尺寸图像图15. 基于定向和平面约束的隧道密集重建草图。目前,相关研究提供了多种评估模型性能的流程(Xu等人,2023年)。为了定量评估所提出方法的准确性,分别进行了模型绝对姿态误差分析和稀疏重建准确性分析。相应的结果如下:所提出的稀疏重建方法获得的激光垂直和平面应满足与真实垂直和平面一致的条件。以垂直姿态误差角为例,其计算的空间几何关系如图16所示。图中,橙色平面代表激光水平仪投影的真实激光垂直平面,灰色平面是隧道坐标系P-XtYtZt内的XtPYt坐标平面。该灰色平面与激光垂直平面的交线为VV′。在理想条件下,激光特征点A和B严格位于激光垂直平面内,如图16a所示。在这种情况下,将点A和B投影到XtPYt平面上得到点A″和B″。线段A″B″与线VV′之间的角度δV=0,等于零。这个角度定义为垂直姿态误差角。由于实际计算误差的存在,激光点会稍微偏离理想的激光垂直平面。如图16b所示,点A′和B′代表从稀疏重建解决方案获得的激光点。将这些点投影到XtPYt平面上得到点A″和B″。在这种情况下,线段A″B″与线VV′之间的垂直姿态误差角不等于零(δV≠0)。δV的大小反映了隧道模型相对于垂直方向的旋转偏差程度。下载:下载高分辨率图像(101KB)下载:下载全尺寸图像图16. 垂直姿态误差角空间几何图。在单应性矩阵计算过程中,通过像素重投影误差区分获得了一组激光点内部点。选择激光水平面左右两侧和垂直面上下两侧的七组(总共28组)激光内部点,分别计算水平姿态误差角和垂直姿态误差角,如表2和表3所示。实验中,水平姿态误差角的范围为00°00′38″至00°29′48″,平均值为00°09′15″;垂直姿态误差角的范围为00°02′23″至00°10′37″,平均值为00°06′21″。表2. 水平姿态角误差统计。序列号水平面左侧激光点的三维坐标水平面右侧激光点的三维坐标水平姿态角(°)平均误差(°)1x?5.496914x5.13281600°02′08″00°09′15″y0.948899y0.955426z?30.333155z?11.5317372x?5.700797x5.00485200°01′21″y0.942035y0.946188z?28.137968z?12.0337993x?5.711099x4.93267000°00′38″y0.946880y0.948839z?24.862200z?12.6150364x?5.709275x4.88534500°03′45″y0.959450y0.947976z–23.099841z?14.0727845x?5.789821x4.75252800°29′48″y0.976014y0.885432z?19.311240z?15.4134226x?5.865222x4.90489200°03′22″y0.958907y0.948439z?18.194029z?13.5989057x?5.498846x4.62860300°23′40″y0.973674y0.904580z?12.561222z?26.428955表3. 垂直姿态角误差统计。序列号垂直面上侧激光点的三维坐标垂直面下方激光点的三维坐标垂直姿态角(°)平均误差(°)1x?0.214525x?0.23065700°05′14″00°06′21″y?7.342507y3.261603z?35.905813z?28.5299182x?0.205537x?0.22459500°06′03″y?7.332862y3.487945z?34.525005z?26.7827473x?0.201435x?0.21454600°04′04″y?7.381877y3.699234z?31.600906z?21.9317364x?0.197963x?0.20594900°02′23″y?7.522151y3.958136z?30.626207z?15.2832185x?0.184889x?0.21510800°08′56″y?7.746171y3.874549z?26.060084z?19.6744566x?0.184990x?0.20951100°07′06″y?7.990116y3.877708z–23.838628z?18.3649577x?0.167267x?0.20485100°10′37″y?8.149793y4.011720z?16.589106z?14.873171表4和表5分别展示了传统SfM重建与所提出方法重建结果之间的重投影误差统计比较。表格显示了每张图像上特征点重投影残差的最大值、中位数和平均值。统计结果显示,两种稀疏重建方法生成的SfM场景的总体RMSE分别为0.53像素和0.50像素,匹配精度相当。表4. SfM模型重投影误差统计(误差单位:像素)。序列号图像最小残差最大残差残差中位数平均残差RMSE0DSCF85302.93E-053.860.330.470.531DSCF85325.98E-063.130.300.402DSCF85347.86E-063.550.240.353DSCF85361.37E-053.030.270.384DSCF85382.16E-053.690.280.405DSCF85577.90E-073.800.260.376DSCF85593.09E-053.180.260.367DSCF85617.61E-063.460.270.378DSCF85636.28E-053.420.250.359DSCF85651.05E-053.960.220.33表5. 绝对外部元素辅助SfM重投影误差统计(误差单位:像素)。序列号图像最小残差最大残差残差中位数平均残差RMSE0DSCF85301.70E-043.340.320.460.501DSCF85321.51E-063.520.290.392DSCF85342.51E-053.090.230.333DSCF85366.24E-063.420.270.364DSCF85383.45E-053.010.270.375DSCF85571.36E-053.910.250.366DSCF85591.03E-053.200.260.367DSCF85611.31E-053.150.280.378DSCF85634.93E-053.750.260.367DSCF85655.21E-053.340.210.31实验结果表明,在照明充足且重叠度适当的隧道环境中,所提出方法的建模精度(RMSE 0.53像素)与传统SfM(0.50像素)相当。图17. 通过比较基线SfM和完全提出的方法,我们的方法反映了引入激光及其派生约束(共面约束和绝对定向)带来的整体性能提升。总体而言,所提出的方法提高了2.9%的性能和5.9%的RMSE。下载:下载高分辨率图像(153KB)下载:下载全尺寸图像图17. 基线SfM与完全提出方法的比较。在真实的隧道场景中,成像条件经常受到光照变化、图像质量不一致、拍摄间隔不规律和视角差异等因素的不利影响。这些挑战经常导致特征匹配错误,从而产生连接不良的特征轨迹和模型漂移。为了评估所提出方法在复杂环境(如实际隧道)中的鲁棒性,在一个照明变化大且特征稀疏的室内走廊进行了模拟隧道实验。使用iPhone XR拍摄了走廊的平行序列图像,图像分辨率为3024×4032像素。图18展示了一组24张平行序列图像,而图19详细展示了激光平面投影到走廊墙壁和地面上的激光交线。下载:下载高分辨率图像(143KB)下载:下载全尺寸图像图18. 模拟隧道条件下的地下走廊图像序列。下载:下载高分辨率图像(79KB)下载:下载全尺寸图像图19. 地下走廊图像的激光线细节示例。应用传统SfM和结合了绝对姿态参数约束的所提出方法对上述图像集进行了稀疏重建。得到的稀疏点云分别包含2121点和2207点,相应的重投影误差(RMSE)为传统SfM的0.24像素和所提出方法的0.23像素。这些结果的可视化如图20a和图20所示,其中绿色点表示相机的空间位置。如图20a所示,在照明差和纹理有限的环境中,传统SfM方法的图像匹配精度较低。这导致模型变形和漂移明显,例如在蓝色矩形内,特征点连接较弱,结构漂移明显。相比之下,图20b展示了所提出的方法有效缓解了这些问题。激光线在这种具有挑战性的条件下提供了明确的平面特征约束,而从这些特征中得出的绝对姿态参数作为先验信息,用于规范稀疏重建过程。这显著减少了模型漂移并提高了几何一致性。下载:下载高分辨率图像(250KB)下载:下载全尺寸图像图20. 两种方法的稀疏重建点云。(a) 传统的SfM方法。(b) 所提出的方法。总之,所提出的方法结合了激光生成的水平和垂直平面的约束,使得无需依赖控制点或GNSS即可进行图像的绝对定向建模。这种方法产生的稀疏重建结果具有非常准确的姿态估计。实验结果显示,平均水平和垂直姿态误差分别为00°09′15″和00°06′21″,满足了水利和水电工程应用中的精度要求。激光平面约束的有效性与基于图像的建模过程的鲁棒性密切相关。当特征匹配精度高时,模型漂移保持在最小范围内,激光平面主要提供绝对姿态先验。在特征匹配误差较大且模型漂移明显的场景中,激光约束不仅提供了绝对定向参考,还有助于消除不匹配的点,从而有效减少漂移并提高整体模型稳定性。为了进一步评估模型漂移的影响,沿着地面激光线方向手动选择了52个匹配点,并根据其轨迹变化分析了由不匹配引起的模型漂移,如图21所示。理论上,所有点都应该严格位于激光线上,但模型漂移导致与实际激光线轨迹存在不同程度的偏差。下载:下载高分辨率图像(74KB)下载:下载全尺寸图像图21. 沿着激光线方向手动选择的匹配点的位置分布。由于水平激光线没有投影在同一墙面高度上,因此选择地面平面上的激光线来进行模型漂移的定量评估。从图20的稀疏重建结果可以看出,模型在垂直方向上有明显的漂移。因此,在这个实验中,将两个稀疏点云注册到一个统一的参考框架中,并定量评估了两种稀疏重建方法在垂直方向上的漂移。图22是通过传统SfM方法和所提出的方法获得的地面激光三维点轨迹的垂直剖面图。从图中可以看出,对于点1-21,两种方法的结果与实际轨迹相似;然而,在点21-29处,由于较大的匹配误差,传统SfM方法的地面激光点坐标解精度较差,模型由于误差的传递和累积而出现明显漂移。所提出的方法增加了绝对姿态约束,地面激光点与实际激光直线轨迹之间的偏差不明显,显示出更好的鲁棒性。下载:下载高分辨率图像(79KB)下载:下载全尺寸图像图22. 通过传统SfM和具有绝对姿态约束的SfM获得的地面激光三维点轨迹剖面图。4. 结论本研究提出了一种基于平行摄影的稀疏重建新方法,该方法结合了全局激光共面几何约束,实现了高精度的稀疏重建和绝对定向。该方法使用地质罗盘和激光水平仪建立了一个绝对定向控制系统,以获取真实的定向参数。通过利用激光线引导的深度卷积特征匹配,将绝对外部定向参数和全局平面约束纳入到增强的束调整(BA)目标函数中,从而实现了鲁棒的稀疏重建。实验结果表明:1) 所提出的方法能够在没有控制点的情况下实现模型的准确绝对定向。2) 结合激光平面基的全局约束显著提高了重建的鲁棒性,并有效减少了模型漂移。传统方法主要依赖控制点或GNSS来提供绝对定向信息,这不适合恶劣的隧道施工环境。相比之下,所提出的方法通过提供共面激光辅助约束有效解决了这个问题。此外,尽管模型漂移仍然是稀疏重建中的一个关键问题,尤其是在具有平行图像序列的狭窄隧道环境中,所提出的方法通过全局激光水平和垂直约束有效减少了漂移并提高了重建精度,即使在传统技术表现出较大漂移的情况下也是如此。所提出的方法在某些特殊情况下也有一定的局限性,例如在高地下水流动的情景中其适用性会受到影响。总体而言,所提出的方法在隧道环境中进行了实验测试,并取得了有希望的结果。值得注意的是,所提出方法中的激光特征在烟雾/灰尘环境中可以提供更好的表现。在未来的工作中,可以考虑使用基于学习的SfM或深度估计方法来处理纹理较差的环境。动态场景遮挡对建模的影响通过掩码处理得到了有效处理。此外,对于具有尖锐曲线、隧道或横截面变化较大的隧道部分,所提出的方法可以结合隧道形态学应用于数据采集和建模。CRediT作者贡献声明张荣春:撰写——原始草稿、软件、资源、方法论、资金获取、概念化。赵杰:撰写——审阅与编辑、方法论。程亮:撰写——审阅与编辑、验证、监督、方法论、形式分析。易学峰:监督、软件、数据管理、概念化。葛亮:资源、形式分析。陈松:软件、资源。王东川:监督。江毅:监督。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号