SpaceMind：面向自主在轨服务的模块化自演化具身视觉-语言智能体框架

《Acta Astronautica》：SpaceMind: A modular and self-evolving embodied vision-language agent framework for autonomous on-orbit servicing

　　

• 面向自主在轨服务的模块化 VLM 智能体框架
• 超越二元成败的连续指标评估协议
• 技能自我进化实现从失败到成功的恢复
• 同一套代码库在仿真与物理实验室中得到验证
• 涵盖正常、降级与挑战性场景的 363 次运行

引言

近地轨道上不断增多的空间碎片和日益老化的卫星——截至 2020 年编目物体已超过 2 万个[1]——使得在轨服务、组装与制造（OSAM）成为一项日益关键的能力[2]、[3]。NASA 的 OSAM-2[4]、ESA 的 ClearSpace-1[5]以及 RemoveDEBRIS[6] 等任务展示了主动碎片清除和卫星寿命延长的早期概念。然而，当前的作业方法依赖为已知合作目标预先编程的动作序列，限制了它们应对真实在轨相遇中多样化且不可预测条件的能力。近期的研究开始探索将视觉-语言模型（VLM）作为航天器操作员智能体[7]、[8]，表明大型基础模型可以通过自然语言推理来分解复杂的空间任务。但这些努力仍停留在演示层面：它们在简化的游戏环境中运行，通过读取屏幕文字而非处理真实的视觉传感器数据，只针对单任务使用单体化提示，并且缺乏针对目标或环境的系统化评估。更广泛地看，当前的 AI 智能体研究版图[9]由数字世界应用主导，如网页导航、代码生成和对话系统，或是简单的物理场景，如桌面操作和室内导航。相比之下，自主在轨服务需要具身智能体，通过真实传感器进行感知，在物理 3D 环境中执行 6 自由度（DoF）运动控制，并维持跨越数十个决策步骤的多阶段任务，从远距离搜索到近距离接近再到细粒度诊断（图 1）。如何为这一领域构建可扩展、可适配、以传感器驱动的智能体框架仍然是一个开放问题。

构建这样的框架涉及四个相互关联的挑战。第一，不存在面向空间作业的模块化智能体架构。现有的空间智能体原型将所有任务知识编码在单个单体化提示中，随着任务数量增长变得难以维护；仿真与真实硬件通常需要独立的代码库，缺乏连接两者的接口抽象。第二，空间智能体缺乏灵活的推理深度和跨步记忆。不同的任务复杂度需要不同的决策深度：一个简单的交会可能只需要直接的行动选择，而搜索-接近任务则受益于审慎的多候选评估。然而现有方法没有切换推理策略的机制。此外，智能体需要在决策步骤间保持持久记忆以恢复目标丢失并动态调整策略，而现有的空间智能体设计不支持这一点。第三，空间智能体无法从经验中学习。当前设计是一次性执行器，每次回合都从零开始，丢弃先前运行中获得的作业知识。空间作业本质上是重复执行场景，同一类型任务在不同目标和条件下反复出现；一个能够积累经验智能体可以显著改善长期可靠性。传统的自适应方法在轨部署上不现实：微调需要标注数据和梯度更新，强化学习需要显式的奖励函数设计，上下文学习受限于上下文窗口且无法在会话间持续。第四，空间智能体架构背后的设计决策缺乏系统化的实证验证。先前研究[7]、[8]只在单个任务上报出寥寥几次运行的结果，没有证据表明模块化架构能否扩展、应选用哪种推理模式、自我进化是否有效，或同一架构能否跨环境迁移。此外，这一新兴领域的评估实践被简化为二元任务成败，对行为质量、资源消耗或失效机制揭示甚少，且无法提供未来空间智能体可以对照的通用标准。

为应对这些挑战，我们提出 SpaceMind，一个面向自主在轨服务的模块化、可自我进化的具身 VLM 智能体框架（图 2）。SpaceMind 将 VLM 作为决策-控制中枢，通过视觉传感器感知环境、对当前态势进行推理、调用专用工具并发出运动指令。其设计由四个渐进层次构成。为解决模块化挑战，SpaceMind 将智能体知识分解为独立的技能模块并采用基于 LLM 的动态路由，通过模型上下文协议（MCP）[10] 暴露所有可执行工具并配以可配置的工具档案，通过可注入的模式技能切换推理模式。这三个正交维度由单一的声明式配置统一管理。一个 Redis 消息总线将智能体与物理后端解耦，使同一套代码库无需修改即可在仿真和真实硬件之间运行。为解决推理挑战，SpaceMind 在同一架构中托管三种推理模式：用于直接决策的 Standard、用于迭代"思考-行动-观察"循环的 ReAct[11]，以及用于多候选预测与选择的 Prospective。这些模式由一个分层记忆系统补充，该系统维护近步详细状态和长期压缩摘要。为解决经验积累挑战，技能自我进化（Skill Self-Evolution）机制使智能体能够在每次完成的回合后反思，将作业经验提炼为结构化的学习技能文件，并自动注入后续运行中，从而在不修改模型权重的情况下积累持久且可审计的知识。最后，为解决验证挑战，我们开展了总计 363 次运行的全面闭环实验，跨越五颗卫星、四类任务、三种推理模式和两种环境——一个高保真 UE5 仿真和一个物理实验室。实验由一个评估协议治理，用连续行为指标和失效模式分类法补充二元成败，并由一项挑战性场景专项扩展，用旋转目标、delta-v 预算、执行与感知降级以及飞行环绕任务对框架施压。

实验得出若干可操作的发现。一项涵盖 9 次运行的工具消融研究表明确切 LiDAR 测距会导致导航失效，验证了模块化工具配置机制。一项涵盖 135 次运行、覆盖正常与降级初始条件（如曝光不足和位置偏移）的系统性推理评估表明，所有模式在正常条件下都能取得 90%–100% 的导航成功率，但当分别考察交会和搜索-接近时呈现出明显不同的降级模式：Standard 即使在降级条件下仍能保持 100% 的交会成功率，但其搜索成功率跌至零。Prospective 是唯一在降级条件下维持搜索成功率成功的模式，而 ReAct 的快速终止策略在可见度较差的检查任务中被证明是有利的。这些发现为部署提供了具体的模式选择指南。一项涵盖 30 次运行、6 个分组的自我进化研究表明，六个分组中有四个取得显著正向收益。最值得注意的是，一个分组从完全失败恢复到 100% 成功，另一个分组将检查得分从 12 分提升至 100 分制中的 59 分，两者都仅通过单次失败回合生成学习技能来实现。一项涵盖 18 次运行的真实环境验证确认，完全相同的智能体代码库、技能定义和工具签名可在零代码修改的情况下驱动一个物理移动机器人，取得了 100% 的交会成功率，并展示了跨环境的涌现式尺度适应和行为一致性。随后 171 次运行的挑战性场景专项则描绘了框架的能力边界。高达 2°/s 的目标旋转几乎被无损吸收，而 delta-v 预算使导航成功率降至 47%，飞行环绕重定位任务在正常运行中仅 33% 成功。失效分析将这些崩塌归因于远距离目标捕获以及智能体无法评估自身几何状态，这些发现为未来空间智能体指明了具体目标。

本文的贡献总结如下：
1. 面向在轨服务的模块化智能体架构。我们提出 SpaceMind，一个专为自主航天器作业设计的 VLM 智能体框架，将智能体知识、工具和推理分解为三个可独立扩展的维度，即带动态路由的技能模块、基于 MCP 并配有可配置档案的工具，以及可注入的推理模式技能。一个环境无关的接口层使同一套代码库可在高保真空间仿真和物理实验室之间运行而无需修改。
2. 面向多阶段空间任务的多模式推理。我们在统一架构中实现三种可切换的推理模式——Standard、ReAct 和 Prospective，为从简单交会到降级条件下长时程搜索-接近的任务提供可配置的认识深度。一个分层记忆系统支持跨步上下文推理，用于目标丢失恢复和长回合中的策略调整。
3. 面向自主在轨改进的技能自我进化。我们引入一种机制，使智能体能够在每次服务回合后自主将作业经验提炼为持久、结构化的技能文件，无需模型微调或奖励函数设计，在六个实验分组中的四个取得了从失败显著恢复的效果。
4. 多维评估协议与挑战性场景基准。我们定义了一个用连续行为指标和失效模式分类法补充二元成败的评估协议，并开展了首个基于 VLM 的空间智能体系统化评估，跨越五个卫星、四项任务、三种推理模式和两个互补环境的 363 次运行。一项 171 次运行的挑战性场景专项，包含旋转目标、delta-v 预算、注入的执行与感知降级以及飞行环绕任务，定位了当前框架的能力边界；该平台、协议和压力注入已开源发布，供未来空间智能体研究作为基准使用。

章节节选

自主航天器作业与基于 VLM 的空间智能体
自主在轨服务传统上依赖为已知合作目标预先编程的动作序列，感知由航天器检测[12]、部件级语义分割[13]、[14]、相对姿态估计[15]、[16]、[17] 等专用流水线负责。这些方法近年来取得了显著进展，如 Pauly 等人[18] 所综述，然而它们作为孤立模块运行，必须手工集成到任务特定的控制流中，限制了……

系统总览
SpaceMind 是一个闭环具身智能体框架，其中视觉-语言模型（VLM）充当中央决策-控制中枢。图 2 展示了整体架构。在每个决策步 t，智能体从环境中接收一个观测 ot，包含一张 RGB 图像和一份可选的 LiDAR 测距摘要。系统提示通过组合动态路由的技能模块、推理模式指令以及一个总结先前步骤的分层记忆上下文来组装。该 VLM……

实验验证
我们通过 363 次闭环运行来评估 SpaceMind，组织成五个实验专项，分别在高保真 Unreal Engine 5（UE5）仿真和物理实验室环境中进行。表 1 总结了这些专项。工具消融专项验证了模块化工具配置机制。推理评估专项在五个卫星、三项任务和三种初始条件下对推理模式进行了系统化比较。自我进化专项测试……

框架定位与模块化。
SpaceMind 被设计为面向空间作业的模块化、可自我进化的具身智能体基础设施。其价值在于渐进式分层：模块化的知识、工具和推理；多模式推理与分层记忆；技能自我进化；以及闭环跨环境验证。实验结果证实了这一设计：技能路由网关在所有 135 次运行中实现了 100% 正确的任务到技能组合；工具消融研究验证了即插即用的能力……

结论
本文提出了 SpaceMind，一个面向自主在轨服务的模块化、可自我进化的具身视觉-语言智能体框架。该框架做出四项渐进式贡献。第一，一个模块化架构通过带动态路由的技能模块、基于 MCP 并配有可配置档案的工具以及可注入的模式技能，将智能体知识、工具和推理分解为独立可扩展的维度，使同一套代码库能在仿真和物理……

CRediT 作者贡献声明
吴澳迪（Aodi Wu）：原创文稿撰写、验证、软件、方法论、概念构思。
韩浩东（Haodong Han）：验证、软件、数据整理。
罗旭博（Xubo Luo）：可视化、调查研究。
王瑞索（Ruisuo Wang）：资源提供、调查研究。
何珊（Shan He）：调查研究、形式化分析。
万学（Xue Wan）：文稿审阅与编辑、监督、项目管理、经费获取、概念构思。

写作过程中使用生成式 AI 和 AI 辅助技术的声明
在准备本工作期间，作者使用了 Claude 和 ChatGPT 来改进手稿的语言和可读性。在使用这些工具后，作者对内容进行了审阅和按需编辑，并对所发表文章的内容承担全部责任。

利益冲突声明
作者声明没有已知的可能影响本文所述工作的竞争财务利益或个人关系。

致谢
本工作得到了中国国家重点研发计划的支持（项目编号 2024YFB3909300）。

吴澳迪｜韩浩东｜罗旭博｜王瑞索｜何珊｜万学