《Acta Astronautica》：Attitude estimation using AI-based hyperspectral imaging for autonomous space close-proximity operations
编辑推荐：
本研究提出了一个端到端机器学习模型（end-to-end machine learning model），用于利用解混高光谱图像（unmixed hyperspectral imagery）估计驻留空间目标（resident space object, RSO
本研究提出了一个端到端机器学习模型（end-to-end machine learning model），用于利用解混高光谱图像（unmixed hyperspectral imagery）估计驻留空间目标（resident space object, RSO）的旋转姿态。该模型由两个基于人工神经网络（artificial neural networks）的子模块组成，分别为卷积神经网络（convolutional neural networks, CNNs）和循环神经网络（recurrent neural networks, RNNs）。第一子模块处理图像序列以预测相邻帧间的相对旋转，第二子模块在参考系变换模块（reference frame transformation block）之后接收CNNRE的输出，预测任意查询时刻的姿态。该架构使得模型仅利用解混高光谱数据即可预测目标在任意时刻的姿态。为处理模型的认知不确定性（epistemic uncertainties），采用了基于No-U-Turn采样器（No-U-Turn sampler, NUTS）方法的贝叶斯模型（Bayesian model）。结果表明，该模型在未见测试条件下成功估计了目标物体的姿态，验证了所提方法的可行性。该框架进一步利用实验室环境中采集的高光谱图像进行了评估，考虑了多种配置和目标几何形状。设计了跨目标测试案例以评估泛化能力，在通过迁移学习（transfer learning）对CNNRE进行微调后，模型在跨数据集上表现出较强的预测性能。本研究代表了高光谱数据用于航天器姿态估计任务的首次应用案例，所获得的结果表明，在该问题设置下使用高光谱成像具有良好的预测能力。
**研究背景与问题**
近60年来，空间活动的性质发生了剧烈变化，尤其是空间商业化进程主要集中于低地球轨道（low Earth orbit, LEO）附近的操作。对空间资源的开发与利用在应对全球性问题、支撑联合国可持续发展目标（Sustainable Development Goals, SDGs）方面具有广阔前景。然而，LEO开发程度的加剧正在造成明显的轨道过密风险，可能导致碰撞并加剧空间碎片问题。空间碎片指数十年来航天活动遗留在轨道上的人造物体集合。LEO中空间碎片的累积已成为严重且危险的问题，这种增长可能在未来造成空间不可进入。该问题的重要性具体体现在Kessler综合征（Kessler syndrome）中——一种理论情景，即LEO中物体密度足够高，现有物体间的碰撞产生级联碎片，这些碎片反过来增加进一步碰撞的概率，可能导致碎片指数级增长，使某些轨道区域无法用于未来空间操作。这一担忧促使空间可持续性研究日益受到关注，例如旨在使非功能性驻留空间物体（resident space objects, RSOs）离轨的主动碎片清除（active debris removal, ADR）项目，以及目标是通过加注燃料和维修延长航天器运行寿命的在轨服务（in-orbit servicing, IOS）任务。此类操作严重依赖于精确的相对导航，尤其是在处理非合作或非功能性目标时。估计目标航天器相对于追踪航天器的姿态动力学对于此类任务的成功至关重要；然而，在空间环境中获取可靠的相对导航数据仍然极具挑战性，因为传感模态受限且实时轨道操作施加严格约束。此外，大多数模型依赖于目标航天器的先验几何知识，这使得导航未知空间目标成为不可能。
过去十年中，研究人员开发了基于学习的模型来解决这一问题，重点集中在深度学习技术上。深度学习的使用在过去几年中对计算机视觉模型的发展产生了重要影响，提升了其在目标跟踪、姿态估计和分割等应用中的鲁棒性和效率，也为基于视觉的自主空间导航提供了可能。一般而言，姿态估计问题的方法可分为两类：无模型（model-free）和基于模型（model-based）的方法。无模型方法不需要目标的先验知识，而基于模型的模型需要目标几何的先验信息。深度学习的无模型特性对于处理未知和/或非合作空间目标尤为有用，这是解决空间可持续性问题的主要挑战之一。
与仅基于几何表述的经典姿态估计方法不同，基于学习的方法旨在通过数据驱动网络绕过传统模型，探索训练数据中的模式以泛化到先前未见的数据集。这些方法大致归为两类：(a) 混合方法（hybrid approaches）和(b) 直接端到端方法（direct end-to-end approaches）。无论模型是混合还是直接的，卷积神经网络（CNNs）通常是航天器视觉任务中从给定图像数据提取特征的骨干。CNN已被观察到具有良好的泛化到先前未知几何形状的能力，这是实现基于视觉的自主空间导航的重要一步。尽管这些模型具有潜在前景，但随着该领域的成熟，一些实际挑战已被识别。在空间中运行的基于视觉的系统必须应对恶劣的光照条件，例如直射阳光或日食以及近距离操作期间的部分遮挡。另一个独立但同样重要的问题是域差距（domain gap）问题：在合成数据集上训练的深度学习模型应用于真实数据时往往性能下降，因为渲染管线无法完美复现空间环境的物理成像场景。有研究提出了以预训练ResNet-50架构作为骨干网络的深度学习模型以减轻域差距问题的影响。通过域适应技术的缓解也显示了有前景的结果。另一种缓解域适应的方法是神经形态传感器，即事件相机（event cameras），由于其独特的数据结构，在过去几年中成为航天器问题的热点。研究人员注意到的另一个挑战是深度学习模型的可部署性问题。大多数架构采用计算代价高昂的解决方案；虽然这些方案提供准确输出，但也引入了对星载硬件不可行的计算负担。若干研究通过提出轻量高效架构来解决这一问题。
也有研究通过多模态数据融合在空间背景下采用多光谱成像来应对空间中的挑战性环境条件。这些研究大多包括RGB和热数据与近年来事件数据的融合。然而，尚未有研究使用高光谱成像来估计空间物体的姿态。高光谱成像在空间中的应用一般面向地球观测（Earth Observation, EO）应用。然而，高光谱成像被认为具有潜在价值，因为它能够更好地识别被观测物体表面的特征，从而提高所收集数据的质量。其核心思想是应用先前开发的技术对来自空间物体的反射率和发射率光谱进行解混，以在不同光照条件下识别具有给定光谱响应的特征。光谱解混（spectral unmixing）将观测到的高光谱像素分解为 underlying materials 的纯光谱特征（端元，endmembers）及其在该像素内的比例贡献（丰度，abundances），解决了传感器空间分辨率常常导致单个像素内捕获多种材料的问题。特征通过其材料组成和分布而非精确几何形状（角点或边缘）来识别，从而减少了对高分辨率图像和图像处理成本的需求。在先前的工作中已证明，光谱的时间变化使得从单像素图像部分重建姿态运动成为可能。也已证明，单像素图像序列可用于结合高光谱技术和机器学习对未知空间物体进行识别、表征和分类。
为解决上述问题，研究人员在本文中提出了一个机器学习模型。所提模型通过集成CNN和循环神经网络（recurrent neural network, RNN），以低分辨率高光谱图像为输入，估计目标卫星的相对姿态。此外，为提高模型鲁棒性并处理模型预测中的认知不确定性，采用了贝叶斯网络（Bayesian network）。由这些子组件组合而成的集成架构在下文中称为端到端模型（end-to-end model）。本文提出了以下贡献：1. 该工作是高光谱成像用于航天器近距离操作和姿态估计的首次应用；2. 端到端CNN-RNN模型，还包括通过贝叶斯网络直接在解混高光谱数据上运行的不确定性量化；3. 使用高光谱实验室数据的硬件在环（hardware-in-the-loop, HIL）验证。
**关键技术方法**
研究人员开发了端到端机器学习模型，由CNN旋转估计器（CNN based Rotation Estimator, CNNRE）和时域模型（Time Domain Model, TDM）组成。CNNRE采用残差块（ResNets）和(2+1)D时空卷积层处理解混高光谱图像序列，估计帧间相对旋转；TDM基于长短期记忆（long short-term memory, LSTM）单元处理时序数据，预测任意查询时刻的目标姿态；贝叶斯神经网络（Bayesian Neural Network, BNN）采用No-U-Turn采样器（NUTS）方法量化认知不确定性。合成数据通过Blender的Cycles路径追踪引擎生成，实验室数据通过Proxima装置采集，该装置配备Headwall VNIR E系列高光谱相机（400–1000 nm）、Elite Robots Cs66机械臂和MyCobot 320 M5机械臂。采用迁移学习方法对CNNRE进行微调以适应实验室数据。
**研究结果**
3.1 数据集描述：合成高光谱图像使用Blender的Cycles路径追踪引擎生成，每个像素存储浮点辐照度值（W/m
2）。高光谱图像通过独立模拟各波长波段并在后处理中组合获得。光谱库包含9种材料，覆盖455–1035 nm范围。目标几何为立方体，由6种不同材料组成。模拟的接近案例考虑追踪星和目标星在密切匹配的太阳同步轨道中，相对运动设计为交会发生在目标轨道近地点。通过在相角低于30°的轨迹段内采样，构建了包含129个样本的数据集。
3.2 CNNRE模型结果：从生成数据中选择1000条旋转轨迹，每条包含129张图像。将每条轨迹分为10张连续图像的批次，共获得13000个训练批次。超参数分析确定了最优配置为(??
????, ??
????, ??
??)=(2,1,50)。残差块的加入使模型性能显著提升，预测误差比传统模型低1.12度，RMS角度误差为0.64°，参数量为24853。
3.3 时域模型结果：TDM使用两个不同数据集进行训练，分别以6 s和0.6 s采样。TDM被训练执行插值和外推。超参数调优表明增加LSTM单元层数改善有限，选择[128-256-128]配置，RMS角度误差为0.95°。
3.4 端到端模型结果：初始测试使用??
????????=100，变化Δ??
HMC为5和10。BNN的置信区间（confidence intervals, CI）在所有三个方向上捕获了真值运动，但??方向存在过度自信。增加训练轨迹数改善了模型对真值的拟合能力，但意外地缩小了误差条。使用??
????????=500、Δ??
HMC=5的模型表现出明显的过度自信，平均预测在超过70%的轨迹上偏离真值超过4??。使用??
????????=100、Δ??
HMC=5的模型可视为适度欠自信。对于模拟数据，使用Δ??
HMC=10和??
????????=500的模型是所考虑模型中最优的。
4. 实验数据结果：建立了名为Proxima的实验室装置，用于在受控实验室环境中获取旋转模拟卫星在不同光照条件下的高光谱图像。研究了两种配置：物体运动与传感器对齐（仅从正面观察）和第五轴设为30度（连续观察两侧）。对CNNRE应用迁移学习方法，包括冻结卷积层仅训练密集层、解冻整个架构训练以及渐进冻结方法。在实验室数据测试中，端到端模型在模拟立方体卫星数据上，测地角度误差从轨迹开始时的约1°逐渐降低到0.5°以下，预测不确定性与误差之间呈现强单调相关性（Spearman ??=?0.82）。在mocksat数据上，置信边界更窄，模型认知不确定性校准更好，姿态误差从1°稳定在0.6°以下。跨目标测试案例表明，模型在通过迁移学习微调CNNRE后，能够以类似方式预测不同几何形状目标的姿态，贝叶斯网络产生的CI更宽，但测地误差变化极小。
**讨论与结论**
本研究提出了一个端到端机器学习模型，用于估计使用解混高光谱图像观测的驻留空间物体的旋转。所提模型由两个基于人工神经网络的组件组成，分别为卷积神经网络和循环神经网络。第一组件处理图像序列以预测相邻帧间的相对旋转，第二组件在参考系变换模块之后接收CNNRE的输出，预测任意查询时刻的姿态。该架构使得模型仅利用解混高光谱数据即可预测目标在任意时刻的姿态。为解决模型的认知不确定性，采用了基于No-U-Turn采样器方法的贝叶斯模型。结果表明，该模型在未见测试条件下成功估计了目标物体的姿态，验证了所提方法的可行性。该框架进一步利用实验室环境中采集的高光谱图像进行了评估，考虑了多种配置和目标几何形状。设计了跨目标测试案例以评估泛化能力，在通过迁移学习对CNNRE进行微调后，模型在跨数据集上表现出较强的预测性能。除当前结果外，未来的实验室实验应纳入旋转轨迹剖面的多样性，以进一步验证模型的准确性和泛化性，使其不依赖于特定运动剖面。如第1节所述，本研究代表了高光谱数据用于航天器姿态估计任务的首次应用案例。此处获得的结果表明，在该问题设置下使用高光谱成像具有良好的预测能力。虽然结果验证了所提方法，但仍需在更多样的动态和环境条件下进行进一步研究，包括可变运动剖面和翻滚场景。此外，高光谱数据的结果应与其他类型数据集（如热红外、单目、事件相机等）进行比较，以合理化高光谱成像在未来操作案例中的使用。未来工作将侧重于扩展模拟和实验室数据集，以评估在更广泛分布偏移下的鲁棒性，并增强端到端模型的泛化能力。
