基于密集对应关系和不确定性估计的、针对非合作航天器的鲁棒姿态估计方法（能够抵抗数据截断的影响）

《Acta Astronautica》：Truncation-robust pose estimation for non-cooperative spacecraft using dense correspondence and uncertainty estimation

单目姿态估计通过密集对应与不确定建模提升空间探测精度，采用U型网络预测mask和3D坐标建立2D-3D对应，结合证据回归建模混合不确定性，改进PnP算法实现误差传播。

　　

Kun Liu|Yongjun Yu|Tingting Liu|Dairu Han|Wenhe Liao

南京理工大学，中国南京

摘要

使用单目相机进行航天器姿态估计是当前和未来太空任务中一种有前景的技术。基于深度学习的单目姿态估计算法在太空图像处理方面显示出比传统方法更强的鲁棒性。然而，现有的基于深度学习的方法在处理被截断的航天器图像时仍面临挑战，这种情况在近距离会合和对接过程中经常发生。在这种场景下，评估估计姿态的不确定性同样重要，以防止潜在的碰撞风险。为了解决被截断的航天器图像问题，我们提出了一种密集对应混合架构，该架构通过U形神经网络预测掩码和3D坐标以建立2D-3D对应关系，然后使用PnP算法进行姿态估计。为了高效地进行不确定性估计，我们在3D坐标预测上引入了一种深度证据回归方法，使得在单一网络和单次前向传播中能够联合建模随机不确定性和认知不确定性。具体来说，坐标回归的输出被建模为正态-逆伽马（NIG）分布，其中学习过程被构建为证据获取。通过对证据施加正则化，网络被鼓励学习认知不确定性。此外，还采用了一种考虑不确定性的PnP方法来提高姿态精度，并将不确定性近似地传播到姿态参数中。为了评估截断的鲁棒性，我们构建了一个包含六种不同几何形状航天器模型的航天器截断鲁棒数据集（STRD）。最后，在STRD和分布外（OOD）数据上的广泛实验证明了我们方法在姿态和不确定性估计方面的通用性和有效性。

引言

航天器姿态估计是未来在轨服务（OOS）和主动碎片清除（ADR）任务中的关键技术[1]，尤其是在会合和对接过程中。在没有无线电链接和人工标记的非合作目标中，这种情况尤为常见，并已成为当前和未来研究的主要焦点[2]。电光传感器被认为是确保近距离非合作目标姿态确定的最佳选择[2]。由于单目相机体积小、重量轻且操作范围广，它们成为OOS和ADR应用中情境感知系统的自然选择。然而，单目系统缺乏立体视觉，这对准确的姿态估计带来了重大挑战。

基于深度学习的图像处理已成为单目航天器姿态估计的主流方法，该领域发表的研究数量远远超过传统方法。基于手工特征提取的传统姿态估计算法难以应对太空成像中典型的低信噪比、高对比度和低传感器分辨率问题[3]。相比之下，深度学习方法对这些挑战表现出显著的鲁棒性。目前，基于深度学习的方法可以根据其姿态推断架构分为两类：端到端方法和混合模块方法[4]。端到端方法训练网络直接从图像学习到姿态参数的映射，但通常不如混合方法准确，主要在早期研究阶段进行探索。另一方面，混合模块方法结合神经网络和传统计算机视觉算法来解决姿态问题。典型的混合模块流程包括航天器检测、关键点预测和透视n点（PnP）求解器。在航天器上预先定义了稀疏的3D点或关键点。关键点预测模块在图像中定位它们的2D投影，形成2D-3D对应关系，这对姿态估计的准确性至关重要。然而，当航天器进入极近距离时，由于角度覆盖范围有限，它们的投影可能会部分超出相机的视野。在这种情况下，一些关键点变得难以或无法定位。这会显著降低PnP解决方案的准确性，有时甚至导致姿态估计完全失败。

航天器投影不完整的现象被称为截断问题。在超近距离操作中，截断是一个不可避免的问题。然而，在基于深度学习的航天器姿态估计中，这个问题仍然研究不足。这主要是因为深度学习是数据驱动的，目前还没有专门设计用于研究航天器姿态估计截断问题的数据集。第一代航天器姿态估计数据集侧重于渲染真实的航天器图像，使用专门的航空航天和通用渲染器来模拟在轨成像[5]、[6]。Musallam等人[7]和Hu等人[8]认为标签过于同质化，并提出了支持多模态研究的训练集，包括3D模型、掩码和深度图等额外标签。此外，为了解决数据集中离散视点样本的问题，引入了时间连续的数据集，为时间序列模型提供了验证资源[9]、[10]、[11]。SPEED+[12]和SPARK 2024[13]通过提供在实验室环境中捕获的模拟训练集和测试集解决了领域差距问题。然而，到目前为止，还没有专门设计的数据集来解决截断问题，导致现有航天器数据集无法完全覆盖真实空间的会合和对接场景。

在近距离会合和对接任务中，高精度的航天器姿态估计对任务执行和安全性保障非常重要[14]。然而，目前广泛使用的基于深度学习的姿态估计算法在不同输入样本上的误差水平差异很大且未知。由于姿态估计结果直接指导导航和控制系统，不准确的估计可能导致任务失败甚至航天器碰撞。因此，对每个姿态估计的误差水平进行定量评估是提高系统可靠性和确保在轨安全的关键步骤。这种定量评估属于深度学习中的不确定性建模领域，通常将不确定性分为两种类型：随机不确定性和认知不确定性[15]、[16]、[17]。不确定性建模已广泛应用于深度学习网络中，包括多种适用于工程环境的方法，如单次前向传播[18]、[19]、MC-dropout[20]和集成[21]技术。然而，在航天器姿态估计中的不确定性建模研究仍然不足。Li等人[22]通过将2D关键点转换为边界框并计算基于IoU的不确定性来估计关键点不确定性。然而，他们的方法没有考虑各向异性不确定性，仅使用关键点不确定性进行简单的关键点过滤。相比之下，Wang等人[14]通过直接建模开发了一个各向异性不确定性模型。他们还建立了一个与语义不确定性相关的自我评估机制，能够识别失败的姿态估计情况。这种方法在准确性、效率和可靠性之间取得了平衡。然而，现有方法尚未充分考虑认知不确定性。认知不确定性的主要来源是未知的领域数据[19]，这直接表现为领域差距，这是航天器姿态估计中的一个基本挑战[12]。因此，在太空系统的计算限制下，开发计算效率高的认知不确定性建模方法至关重要。

为了解决这些问题，我们提出了一种结合掩码预测、3D坐标回归和不确定性估计的多任务网络架构。通过联合预测掩码和3D坐标，我们建立了密集的2D-3D对应关系，并通过PnP进行姿态估计。为了克服前景-背景不平衡导致的性能下降，我们采用Focal损失来提高掩码预测的准确性。在姿态估计框架的基础上，我们通过深度证据回归来建模认知不确定性[23]。具体来说，坐标回归的输出被建模为逆伽马-正态分布，通过证据正则化机制引导网络主动学习认知不确定性。随后，我们估计预测坐标的不确定性，并采用考虑不确定性的PnP算法进行准确的姿态估计。此外，通过PnP模块传播不确定性，我们获得了能够直接评估姿态误差水平的姿态协方差矩阵。为了评估，我们构建了一个包含六种不同航天器的航天器截断鲁棒数据集。在这个数据集上的广泛实验验证了该方法对截断的鲁棒性及其准确的不确定性量化能力。此外，我们还验证了我们的认知不确定性建模在Fast Gradient Sign Method（FGSM）[24]生成的OOD样本上的有效性。本工作的主要贡献如下：

• (1)
  我们提出了一种基于密集对应关系的姿态估计策略，以解决航天器姿态估计被截断的问题，并在我们的数据集上进行了验证，该数据集包含六种不同的航天器。
• (2)
  我们引入了一种有效的认知不确定性建模方法用于坐标回归，并在OOD样本上验证了其有效性。
• (3)
  我们提出了一种直接进行姿态不确定性估计的方法，通过结合考虑不确定性的PnP和最大似然估计将误差传播到姿态层面。

章节片段

非合作航天器的单目姿态估计

如参考文献[4]所总结的，单目航天器姿态估计算法分为两类：端到端方法和混合模块。前者使用单个神经网络实现端到端的航天器姿态估计，而后者将神经网络与经典计算机视觉算法相结合。目前，混合模块方法的性能优于端到端方法。

混合模块包括三个主要组成部分：航天器检测、关键点估计

问题表述

姿态估计的核心在于解决PnP问题。PnP将重投影误差作为目标函数，并使用非线性优化算法（例如Gauss–Newton或Levenberg–Marquardt）迭代优化六个姿态参数。目标是最小化投影的3D点与其在图像平面上对应的观测2D点之间的距离。

给定$N$对对应的3D-2D点，目标函数被定义为平方和

方法

所提出方法的总体框架如图1所示，红线表示反向传播过程，黑线表示推理过程。网络主要被训练用于预测掩码、3D坐标和不确定性参数。其中，坐标和不确定性参数通过DER联合优化。在推理过程中，使用考虑不确定性的PnP估计航天器姿态，并且有一个坐标到姿态的不确定性传播模型

数据准备

本节介绍了用于在具有严重截断的超近距离场景中基准测试姿态估计性能的航天器截断鲁棒数据集（STRD）。STRD使用商业渲染引擎Blender渲染。渲染的场景包括星场背景、太阳、地球和多个卫星模型。目标卫星选自公开可用的NASA 3D资源。[1]具体来说，六个卫星模型包括

指标

本节描述了用于评估姿态估计准确性和不确定性校准质量的评估指标。

结论和未来工作

本文提出了一种基于密集对应关系和不确定性估计的航天器姿态估计算法。为了验证该算法对截断的鲁棒性，我们引入了STRD数据集。我们的方法在STRD数据集上进行了评估，并与SOTA航天器姿态估计算法进行了比较，证明了其在从被截断的航天器图像中估计姿态方面的优越性能。在可靠性建模方面，我们将深度证据回归与3D坐标

CRediT作者贡献声明

Kun Liu：撰写——原始草稿。Yongjun Yu：资金获取。Tingting Liu：项目管理、资金获取。Dairu Han：监督。Wenhe Liao：项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

该项目获得了中国科技部国家重点研发计划的资助，资助编号为2024YFE0116500。