边缘云协同大型语言模型（LLM）规划以实现高效自主导航的元推理方法

《ACM Transactions on Embedded Computing Systems》：Metareasoning for Edge-Cloud Collaborative LLM Planning for Efficient Autonomous Navigation

自主导航中边缘-云协作的元推理LLM规划方法研究。通过部署NVIDIA Jetson Orin Nano与ROSMASTER X3，对比TinyLLM等模型发现LLaMa2-7B在性能-能耗平衡最优。实验表明该方法在弱信号（

　　

摘要

前沿的大型语言模型（LLMs）在提升自主导航能力方面发挥着关键作用，它们提供了高效的解决方案。尽管LLMs需要强大的计算机来运行，但由于各种因素，安全性问题以及保持与云端的稳定连接仍颇具挑战性。为了解决这一问题，我们提出了一种基于元推理的边缘-云端协同LLM规划方法，以实现高效的自主导航。该方法允许系统在云端设备和边缘设备之间无缝切换，即使在连接丢失或进入GPS信号覆盖不佳的环境中也能完成任务。此外，我们在资源受限的设备（如NVIDIA Jetson Orin Nano 8GB）上部署了最先进的LLM模型，并将其与ROSMASTER X3集成。这些LLM在多房间或迷宫环境中的动态规划任务中表现出了出色的实用性。我们对五种不同的TinyLLM模型进行了全面的性能评估。评估结果显示，虽然存在一些体积更小、功耗更低的模型，但其精度无法满足我们的应用需求。因此，LLaMa2-7B因其性能与精度之间的最佳平衡而被选为边缘端使用的LLM模型。实验结果表明，在信号强度较弱（< ?50 dB）的情况下，元推理方法可将能耗降低多达4倍；而基于云端的实现方式则会导致能耗高于本地LLM的实现方式。此外，在信号延迟为10-20秒的情况下，基于云端的实现方式在实时应用中变得不切实际。这凸显了元推理方法的必要性——它通过根据信号强度进行调整，实现了能耗和响应时间的优化，从而提供了一种平衡的解决方案。在本视频中，我们可以看到在ROSMASTER X3和NVIDIA Jetson Orin Nano板上实现该方法的实例，即使与云端LLM的连接中断，任务仍然成功完成。