大型地下复杂场景中悬臂式掘进机基于激光束靶标的单目视觉测量系统自标定与定位方法

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Laser beams target-based monocular vision measurement system self-calibration and localization method for boom-type roadheader in large-scale underground complex scene

　　

# 基于双激光束靶标的地下单目视觉测量系统建模与在线自标定方法

## 摘要

单目视觉测量系统是获取隧道掘进准确且可靠姿态估计的有效手段，特别是在设计有专用激光束靶标的远距离、大场景掘进工作面定位方面尤为突出。然而，传统的基于全站仪的人工离线标定方法复杂且困难，不适用于地下自动化掘进。本文提出了一种基于双激光束靶标的单目视觉测量系统在线自标定新方法，其中一个作为基准靶标，另一个作为可移动靶标。建立了基于双三维靶标的单目视觉几何约束模型，显式地考虑了双三维靶标的空间分布与激光束图像点和线特征之间的2D-3D对应关系。在此基础上，通过可移动靶标的多视角图像序列，执行外参数自标定，重构可移动靶标的激光束空间向量。无需获取物体空间坐标的显式知识，可移动靶标可基于已知的初始基准靶标及多视角图像序列进行多站在线自标定。实验结果表明，所提出的自标定方法有效，机身姿态估计精度提高了67.7%，满足了煤矿地下掘进的远距离定位需求。

## 引言

自主定位在智慧矿山发展中起着至关重要的作用[1], [2]。基于视觉的测量技术为获取精确的姿态估计提供了高效手段[3], [4], [5]。准确可靠的自主定位是维持地下隧道掘进效率的基本要求。然而，在粉尘密集和光照不足的环境中，远距离追踪和提取目标特征十分困难，隧道掘进机的视觉远距离精确定位仍是尚未解决的问题。考虑到激光束具有更高的提取精度和更强的抗遮挡能力，我们之前设计了一种带有激光束靶标的单目视觉测量系统用于地下隧道掘进，如图1所示。采用矿用激光指示器发射的激光束构建三维靶标，以实现地下隧道掘进的更高定位精度。然而，传统的基于全站仪的激光束靶标人工离线标定方法复杂且困难，导致隧道掘进过程中的掘进效率低下。为了进一步提高井下远距离定位精度并实现测量系统的自主标定，本工作构建了基于双激光束靶标的定位系统，其中一个作为基准靶标，另一个作为可移动靶标。使用双交替移动且空间坐标参数未知的三维靶标对该单目视觉测量系统进行在线标定仍是一项具有挑战性的问题。

上述基于激光束的单目视觉测量系统带有双三维可移动靶标，传统的基于已知几何结构的专用标定图案的标定方法[6], [7], [8]不适用于这种几何形状未知且变化的可移动靶标测量系统。传统标定方法需要高精度设备和几何先验知识，例如著名的张正友标定法需要平面标准棋盘格作为辅助设备。因此，这种传统标定方法不适合在复杂环境下对地下单目视觉测量系统进行自动标定。

**相机自标定**是指基于任意图像或图像序列，无需标定板几何先验信息来获取相机参数。然而，与基于标定板的方法相比，自标定的精度和鲁棒性仍然是一个挑战。自标定在各种计算机视觉应用中日益受到关注[9], [10]。早期的相机自标定工作试图利用底层射影几何约束来标定相机参数，消除了仿射参数并为一组图像对形成两个Kruppa方程，但面临多参数非线性方程求解的问题[11]。为解决相机自标定的复杂性挑战，分层自标定方法被提出。M. Pollefeys提出了一种带有模约束的分层自标定，在一般情况下，单相机自标定至少需要四个视角[12]。多视角方法使用一系列图像来估计相机参数[13]。其主要局限在于性能在很大程度上依赖于参数设置，并且需要多次迭代进行优化。某些自标定方法[14], [15], [16]在仅有单张图像可用时有效，但依赖于几何先验知识，限制了其泛化能力。

**运动恢复结构（SfM）**是最经典的方法之一，可通过结合相机运动和三维空间结构来优化相机参数[17], [18]。这些方法的主要局限在于依赖人工靶标，主要用于近距离场景的标定应用[19], [20]。Chen等人提出了一种多相机系统的全局标定方法，通过将点云重新投影到标定目标的圆形靶点上来优化误差，并获得刚体变换矩阵[21]。然而，带有先验知识的特殊标定板对于在线自标定而言不再可行。基于立体视觉的驾驶辅助系统的特定方法使用人工标记，这些标记位于已知几何的平坦路面上且深度范围广泛[22]。一些关于标定场景结构的先验知识必须事先获知，才能实现远距离在线外参数标定[23]。Sergiu Nedevschi提出了一种面向基于立体视觉的车辆应用的在线外参数标定方法[24]。然而，基于视觉的车辆应用的在线标定与投影几何（如消失点VPs和地平线）高度相关[25], [26]。Hyunjoon Lee等人提出了一种优化框架，将边缘像素分为具有不同消失点的平行线组[27]。Lee等人引入了一种基于MAP（最大后验概率）的优化方法来估计三维场景的消失点，并将其应用于基于神经网络框架的相机参数标定[28]。翟等人[29]利用深度卷积网络结合全局图像上下文获取消失点，从而有效地在人工场景中获取消失点，而无需曼哈顿世界假设[30]。A. Hagemann提出了一种深度几何感知相机自标定方法，将多视角投影几何和光束调整层引入深度神经网络，用于相机参数的获取和优化[31]。Jinwoo Lee引入了一种Transformer架构来提取全局几何信息，并构建了带有线分类（CTRL-C）的相机标定Transformer，用于单图像相机标定[14]。上述方法对于带有消失点（VPs）和地平线等特定特征的基于视觉的车辆应用是有效的。上述方法的主要局限在于，当车辆应用中的已知几何专用标定物体在远距离隧道掘进中不再可用时，模型将失效，这使得其无法可靠地部署用于地下单目视觉测量系统的在线自标定。

从二维图像序列中准确且鲁棒地恢复三维场景结构是一项核心任务，Hartley和Sturm的经典工作为两视角情况下的最优三角测量提供了多项式解法[32]。近年来，研究人员致力于在多视角情况下寻求三角测量问题的全局最优解。Josephson和Kahl为点、线和二次曲线的三角测量问题引入了统一框架，通过对分数和单项式进行凸和凹松弛来实现全局最优解[33]。人工环境包含大量线性结构，与点特征相比，线性特征提供了更高级、更具结构的几何和拓扑约束。三维直线的最小参数化对于相机定位和结构测绘至关重要，通过利用不同消失方向向量的组，此类参数化可以在曼哈顿世界或亚特兰大世界等常见假设下有效建模结构化环境[34]。

Yanyan Li等人提出了RiemanLine，一种在黎曼流形上对三维直线进行统一最小表示的方法，联合建模单条直线和平行线组。这减少了参数空间，同时在统一的光束调整框架中实现了全局方向对齐和局部重投影优化[35]。在这些工作中，研究人员引入了多种结构约束，例如使用消失点、假设直线与已知平面共面或与其他直线平行。然而，这些结构假设通常对于一般地下环境而言过于严格。在基于直线的SLAM中，最广泛采用的参数化方法仍然是正交表示，该方法在李代数框架内能够实现优雅且高效的优化[36]。三维直线的正交表示最初是为解决基于线段的运动恢复结构问题而提出的，提供了一种最小4参数表示，允许直接且无约束的非线性优化。然而，它无法强制施加来自观测激光束端点的几何约束，并且受方向奇异性的困扰，导致优化过程不稳定。

因此，现有的自标定方法存在某些局限性，无法用于煤矿地下远距离、大场景隧道掘进中基于双可移动激光束靶标的定位系统，迫切需要地下单目测量系统的建模和在线自标定方法。本文提出了一种基于双三维激光束靶标的地下单目视觉系统建模与标定方法。本文的主要贡献总结如下：

（1）设计了一种双波段矿用激光指示器用于激光束靶标，以应对粉尘密集和杂散光干扰的复杂地下环境，并提出了基于双激光束靶标的地下单目视觉测量系统。

（2）建立了基于双三维激光束靶标的单目视觉几何约束模型，用于远距离地下隧道掘进，显式地考虑了双三维靶标的空间分布与激光束图像点和线特征之间的3D-2D对应关系。

（3）探索了基于双三维激光束靶标的多站在线自标定方法，用于地下单目视觉测量系统，能够在大场景下从多视角图像序列中准确重构激光束的三维空间向量。

（4）进行了实验以验证所提出的基于双激光束靶标的单目视觉测量系统建模和自标定方法。

本文其余部分组织如下：第2节介绍了基于双三维激光束靶标的单目视觉测量系统的工作原理，提出了基于双三维靶标的单目视觉几何约束模型，以及用于地下隧道掘进的单目视觉测量系统自标定方法。第3节展示了实验结果。第4节给出了论文的结论。

## 远距离隧道掘进的基于双激光束靶标的单目视觉测量系统

考虑到激光束在地下隧道掘进中具有更高的提取精度和更强的抗遮挡能力，本工作提出了一种基于双可移动激光束靶标的单目视觉测量系统，如图2所示。基于激光束的双三维靶标沿隧道掘进巷道交替移动，其中一个作为可移动靶标，另一个作为基准靶标，以实现远距离姿态估计的更高精度。

## 实验结果

基于激光束靶标的单目视觉测量系统外参数在线自标定和机身定位系统已为远距离地下隧道掘进搭建完成，如图7所示。系统主要包括悬臂式掘进机、移动机器人、双三维激光束靶标、相机MV_EM510C、棋盘格AFT-MCT-OV430、全站仪、烟雾发生器、工控机等。通过使用全站仪建立全局参考坐标系，并进行了标定。

## 结论

本文提出了一种基于双三维激光束靶标的地下单目视觉测量系统建模与在线自标定方法，用于地下隧道掘进。

建立了基于双三维目标的眼视觉几何约束模型，该模型不仅建立了双三维目标空间分布与激光束图像点和线特征之间的联系，而且不对激光束目标的特定结构做出假设。

CRediT 作者贡献声明
Wenjuan Yang：概念构思、数据管理、形式分析、资金筹集、调查、方法论、项目管理、资源、指导、软件、验证、可视化、写作—原稿、写作—审稿与编辑。
Xuhui Zhang：指导、概念构思、调查、方法论、数据管理、形式分析、资金筹集、验证。
Zhiteng Ren：数据管理、形式分析、调查、方法论、软件、验证。

利益冲突声明
作者声明没有已知的可能影响本文工作的竞争性经济利益或个人关系。

致谢
本研究得到了国家自然科学基金（项目编号：52574204）、陕西省重点研发计划项目（项目编号：2024CY2-GJHX-35）以及陕西省青年科技创新团队计划（项目编号：25JP111）的支持。

Wenjuan Yang | Xuhui Zhang | Zhiteng Ren | Guang-ming Zhang | Jie Jiang | Le Zhu | Yang Ji