LLM引导的风险敏感强化学习在智能工厂人机共生场景中的应用研究

《Expert Systems with Applications》：LLM-Guided Risk-Sensitive Reinforcement Learning for Smart Factories in the Scenario of Human-Robot Symbiosis

本文提出了一种基于大语言模型（LLM）引导的风险敏感强化学习（RL）框架，创新性地将知识增强型LLM智能体与机器人智能体相结合，通过贝叶斯概率量化静态/动态风险，为工业5.0时代智能工厂的人机协同作业提供了安全可信的解决方案。

　　

亮点

• •
  大语言模型与机器人智能体的创新融合赋能复杂工厂作业：我们认识到LLM在指令规划与高层推理方面的潜力，以及机器人智能体在实际路径执行和物理交互中的关键作用。本文提出一种机制，使LLM和机器人智能体能够发挥各自优势，实现工业场景中的安全高效部署。
• •
  知识增强型大语言模型智能体的开发：为缓解"幻觉"问题并提升工业场景适用性，我们将专家知识库嵌入LLM智能体。这虽非核心创新，但有助于提高基于LLM的决策支持的准确性与可靠性。
• •
  面向人机共生的风险敏感强化学习算法：我们专门设计了一种能够在人机交互场景下优化机器人控制的强化学习算法，确保精准执行人类指令的同时，兼顾动态工厂环境中的安全性与适应性。
• •
  静态与动态风险的全面量化与管理：本研究通过贝叶斯概率方法创新性地实现了对机器人智能体所面临风险的精准建模与量化。通过利用认知不确定性和随机不确定性，所提方法增强了智能体的风险感知能力，并将其融入强化学习决策，从而避免碰撞并提升作业安全性。

结论

本文提出了一个面向工业5.0智能工厂建设的风险规避型人机交互智能体完整框架。我们开发了知识增强型LLM智能体，在工厂技术手册等领域知识引导下，结合轻量化LLM生成任务决策指令，并展现出与专业工程师相媲美的性能。实验证明，轻量化模型在嵌入领域知识后具有显著实用性。同时，我们提出的风险敏感深度强化学习算法PP-BBN&RRL能够精准量化静态与动态风险，在复杂真实工厂环境中实现了路径规划的最优性能。该双智能体框架为智能工厂的未来发展提供了重要指引，尤其证实了LLM在达到初级工程师级别的可信度后于工业应用的巨大潜力。