EmbodiedFly：一种基于自主可重构无人机的具身大型语言模型（LLM）代理

《ACM Transactions on Internet of Things》：EmbodiedFly: Embodied LLM Agent with an Autonomous Reconfigurable Drone

EmbodiedFly通过融合基础模型流水线和可重构无人机平台，解决了LLM物理感知与交互中的三大挑战：传感器专用部署成本高、静态网络难以捕捉局部目标、模型需灵活物理交互能力。创新点包括多模型协同框架、动态图像分割技术和自适应无人机平台，实验表明其任务成功率较传统方法提升85%。

　　

摘要

大型语言模型（LLMs）在推理和生成数字内容方面展现了类似人类的强大能力。然而，它们自由感知、交互和操控物理世界的能力仍受到三个根本性挑战的限制：（1）物理环境需要针对不同任务使用专门的传感器，但为每个应用部署专用传感器并不现实；（2）感兴趣的事件和物体通常位于大空间中的小范围内，这使得使用静态传感器网络难以检测到它们；（3）基础模型需要具备灵活的操控能力才能与物理世界进行有意义的交互。为了解决这一差距，我们提出了EmbodiedFly，这是一个结合了基础模型框架和可重构无人机平台的具身LLM代理，用于观察、理解和与物理世界互动。我们的协同设计方法包括：1）一个FM协调框架，用于连接多个LLMs、VLMs和一个开放集对象检测模型；2）一种新的图像分割技术，用于识别与任务相关的区域；3）一个定制的无人机平台，可以根据FM协调框架的指令自动配置适当的传感器和执行器。通过实际应用测试，我们证明EmbodiedFly在完成各种物理任务时的成功率比使用静态部署的传统方法高出高达\(85\%\)。