《Sensors》：Enabling Large Model Inference in Dynamic and Heterogeneous Mobile Robots by Incorporating Collaborative Inference and Model Context Protocol
编辑推荐：
现代机器人系统日益依赖基于Transformer的人工智能（AI）模型处理传感器输入并支持高层决策。然而，由于每个自主机器人（ego robot）的图形处理器（GPU）资源有限，在本地运行大模型较为困难。将模型推理外包给云服务提供商虽可解决该问题，但存在网络连
现代机器人系统日益依赖基于Transformer的人工智能（AI）模型处理传感器输入并支持高层决策。然而，由于每个自主机器人（ego robot）的图形处理器（GPU）资源有限，在本地运行大模型较为困难。将模型推理外包给云服务提供商虽可解决该问题，但存在网络连接不可靠、延迟高和货币成本高等局限。本研究工作中，研究人员开发了一种有效的机器人系统决策框架，利用了一些最先进的（state-of-the-art）技术，如协同推理（collaborative inference）和模型上下文协议（Model Context Protocol, MCP）。该框架无缝集成了边缘服务器与移动机器人之间的协同推理，支持依靠本地资源而非远程云资源进行大模型推理。其在若干特征设计上表现卓越。首先，该框架专为移动机器人部署场景设计，其中可用计算资源可能随时间变化。这是通过引入“锚点”（anchors）、添加冗余节点以保存模型分区，并在不同规模的模型变体之间进行切换来实现的。其次，该框架可通过MCP使异构机器人节点无缝加入系统，MCP是现代人工智能应用的一种标准化接口。研究人员已实现了该框架的原型，并通过实验验证了其效率。
近年来，机器人系统的软件架构正从传统的模块化流水线向端到端（end-to-end, e2e）集成框架转变。这类框架采用单一的可微模型直接以传感器数据为输入，输出机器人动作或控制信号，从而减少系统复杂度并缓解跨组件信息丢失问题。然而，该架构面临一个根本性挑战：应如何在端到端模型中部署具体的模型。与此同时，大语言模型（Large Language Models, LLMs）凭借其强大的零样本学习能力和文本理解能力，已被广泛集成到机器人系统中以执行感知、规划与控制任务。Scaling laws表明，模型规模扩大通常能解锁更强的能力，但这也意味着对图形处理器（Graphics Processing Unit, GPU）显存的巨大需求。例如，PaLM-E具身多模态模型存在高达562B参数的版本，若以FP16精度部署，需要超过1 TB的GPU内存。由于移动机器人本地计算资源受限于硬件容量，其往往无法在本地运行此类大模型。虽然将模型推理外包至云端能够突破本地资源瓶颈，但云计算存在网络延迟高、连接不可靠及维护成本高的问题，促使研究人员探索基于本地资源的分布式推理方案。
针对上述问题，研究人员提出了一种面向动态异构移动机器人环境的有效决策框架，通过整合协同推理（collaborative inference）与模型上下文协议（Model Context Protocol, MCP），使机器人能够在不依赖远程云资源的情况下，利用附近机器人与边缘服务器的本地计算与内存资源完成大模型推理。该框架的核心设计在于：首先，提出了一个专门针对移动机器人部署设计的协同推理框架，通过“锚点”（anchors）为推理服务器与推理客户端提供稳定接入点；其次，将MCP作为标准化接口，使异构机器人能够无缝注册与接入系统，无需预先了解彼此硬件与软件配置即可透明地参与协作推理；再次，设计了动态模型选择（dynamic model selection）机制，根据网络状态与可用GPU内存总量的变化，在小规模模型与大规模模型之间自动切换；最后，引入预测备份（predictive backup）机制，通过估计移动机器人剩余驻留时间，预先将即将离开节点的模型分区复制到备份节点，避免节点意外退出导致推理中断。该框架已在原型系统中实现，实验验证了其高效性，为移动机器人提供了一种摆脱云端依赖的大模型推理新途径。
为开展研究，研究人员采用了以下关键技术方法。其一为协同推理（collaborative inference），将大模型切分为多个模型分区（model partitions），分布式部署到多个推理服务器（inference servers），通过传递中间激活值（intermediate activations）完成推理。其二为模型上下文协议（Model Context Protocol, MCP），一种标准化接口协议，通过定义服务器注册、心跳检测与推理执行等工具操作，解耦应用逻辑与底层通信。其三为动态模型选择（dynamic model selection），通过设定内存利用率阈值，使协调服务器（orchestrator）依据聚合GPU内存决策模型部署规模与重分布时机。其四为预测备份（predictive backup），通过估算移动机器人剩余驻留时间（remaining residence time），预先将即将离开节点的模型分区复制到备份工作节点（backup workers）。实验在实验室物理测试床（testbed）上完成，使用两台12 GB NVIDIA 4070 Ti GPU服务器、两块8 GB Jetson Orin Nano及一块64 GB Jetson AGX Orin模拟异构机器人计算单元。
研究结果表明，该框架在多种配置下均展现出良好的性能与适应性。
在不同配置的性能（Performance of Different Configurations）方面，研究人员使用Llama-3.2-3B-Instruct、Meta-Llama-3-8B-Instruct和Llama-2-13B三种模型在14种拓扑配置下进行了评估。结果显示，引入边缘服务器协作可显著降低首token延迟（Time-to-First-Token, TTFT）；例如，对于8B模型，采用2T+1AGX拓扑可将TTFT从机器人独立运行的0.956秒降至0.565秒。此外，设备组成与块放置（block placement）对性能的影响比模型规模更为显著：搭载Jetson Nano的机器人因内存带宽与计算能力较低，在处理较大模型分区时性能下降。尽管3B模型参数量小于8B模型，但在2T+1AGX拓扑下其TTFT反而略高于8B模型，这表明在特定部署配置下，TTFT并不随模型规模单调递增。
在MCP调用开销（MCP Invocation Overhead）方面，通过对比直接HTTP请求与MCP工具调用，测得基于HTTP构建的MCP引入的平均额外延迟为39.71毫秒。
在动态模型切换（Dynamic Model Switching）方面，研究人员测试了3B与8B模型之间的在线升级与回退场景，所有30个推理请求均成功完成。升级场景中，切换过程导致TTFT暂时升至2.761秒，系统稳定后降至1.159秒；回退场景中，切换至3B模型后TTFT降至0.611秒。开销分解显示，升级场景的首token延迟为6.34秒，完整响应时间为27.17秒。在重复3B→8B→3B→8B的80个请求测试中，全部请求成功，验证了框架在反复模型切换场景下的可靠性。
在动态模型选择评估（Evaluation of Dynamic Model Selection）方面，研究人员利用物理设备模拟工作节点的动态加入与离开，测试了自动化模型选择策略，共完成15次升级与15次回退转换，30次转换全部成功，且转换后的推理请求均正常执行，证明了在物理测试床上动态模型部署的可行性。
在预测分区备份（Predictive Partition Backup）方面，研究进一步通过对比实验与重复测试验证了该机制的有效性。在对比有无预测备份的实验中，于2T+2J配置下模拟节点D离开，结果显示启用预测备份可将首个请求后的恢复等待时间从19.802秒降至0.003秒，完整响应时间从34.752秒降至11.496秒。在重复工作节点离开与重新加入（Repeated Worker Departures and Rejoins）的测试中，研究人员进行了五次连续离开-重join实验，所有50个请求均成功，验证了重复备份接管与节点重新加入的可行性。
在讨论部分，研究人员首先阐述了信任假设与开放环境部署问题，指出现有原型仅考虑由同一组织管理的可信设备协作，尚未涉及独立参与者的激励机制。若将框架部署于开放环境，还需额外机制应对恶意对等节点、中间激活数据隐私及推理结果完整性验证等挑战。其次，关于测试床代表性，研究人员说明当前实验通过停止与重启推理工作节点模拟机器人的离开与返回，模型重构、分区加载、备份接管与推理均在真实硬件上执行，但未复现物理移动及由此产生的无线信道变化。最后，在应用与延迟考量方面，该框架主要面向移动机器人高层决策任务，如工业环境任务选择与计划生成；推理请求可在机器人执行当前任务或沿既定路线行驶时预先发起，从而使推理延迟与任务执行时间重叠，并在新计划可用且通过应用层检查后再行应用。
研究结论部分，研究人员总结称，本研究提出了一种面向移动机器人部署的协同大语言模型推理框架，该框架结合了基于MCP的协调接口、动态模型选择以及针对模型分区的预测备份机制。框架专为适应移动机器人部署而设计，能够在受控实验室环境下支持大模型推理的协同执行。实验评估充分证明了所提框架的高效性与可行性。
