面向长期目标驱动的大型语言模型（LLM）代理的思想管理系统

《Journal of Computational Science》：Thought Management System for long-horizon, goal-driven LLM agents

TMS框架通过层级目标分解和自批判模块实现AI自主执行长期任务，结合强化学习机制动态优化策略，适用于营销、科研等领域的多智能体协作系统。

　　

安德烈·比多奇科（Andrii Bidochko）| 雅罗斯拉夫·维克柳克（Yaroslav Vyklyuk）

人工智能系统系，计算机科学与信息技术研究所（ICSI），利沃夫国立理工大学，斯捷潘·班德雷街12号，利沃夫，79000，乌克兰

摘要

“思维管理系统”（Thoughts Management System，简称TMS）是一个新颖的框架，它使自主AI代理能够执行长期任务，这一设计的灵感来源于人类大脑每天能够处理60,000个思维的能力。TMS使代理能够动态地优先处理目标，将复杂的目标分解为可执行的任务，并在较长时间内调整策略。该系统引入了一种分层的目标分解机制来分解高层次的任务，同时结合了自我评估模块，这些模块可以迭代地评估进展并优化决策过程。通过集成强化学习奖励机制，代理能够专注于高价值任务，同时排除无关任务，从而确保效率和目标的一致性。

基于我们之前的工作“LLMAgentNet：一个自主AI代理的协作网络”，TMS采用了一个多代理系统（MAS），其中专门的代理协作以实现共同目标。诸如蒙特卡洛树搜索（MCTS）等技术在动态环境中平衡了探索和利用，以实现最佳性能。通过模仿人类的思维管理方式，TMS使AI代理能够保持专注，动态适应，并随着时间的推移自我改进。这一框架标志着向能够解决现实世界中长期挑战的自主AI系统迈出了重要一步，这些挑战涉及市场营销、科学发现和基础设施管理等领域。

部分摘录

问题陈述

大型语言模型（LLMs）彻底改变了人工智能（AI），使得AI代理的发展成为可能。AI代理是利用LLMs通过与工具和外部系统交互来自主执行任务的系统。当前的AI代理擅长生成逐步计划、执行动作、根据用户输入或环境反馈调整策略。这导致了能够处理各种任务的数字工作者的诞生。

现有的基于LLM的规划模型

最近的一些研究，包括SELFGOAL [18]、ReAct [7] 和 SwiftSage [6]，探讨了由LLM驱动的自主规划理念。这些模型侧重于基于提示的任务结构化，但缺乏一个持续的、自我更新的任务树。相比之下，TMS引入了一种带有记忆增强的递归规划结构，其中信号生成器根据系统不断变化的需求持续评估、评分和扩展思维树（Tree of Thoughts，简称ToT）。这种设计实现了持续的自我改进。

思维管理系统（TMS）

思维管理系统（TMS）基于分层推理和自适应任务分解的原则，使自主AI代理能够执行具有长期视角、以目标为导向的任务。该系统的性能可以通过几个关键指标来量化：

$\text{TCR}=\frac{\sum _{i=1}^{n}I\left(T_i\text{已完成的任务}\right)}{}$ 其中TCR代表任务完成率；$T_i$表示单个任务；$n表示任务总数。$ $\text{EE}=\frac{\sum _{i=1}^n\text{执行效率}\sum _{i=1}^{\mathrm{成本<mrow><munderover><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow><mo>)</mo></munderover></mrow>}}}{}$ 其中EE代表执行效率；$\text{价值}\underset{i}{\overset{)}{T}}$

结果与讨论

实验设置旨在评估思维管理系统（TMS）在多代理系统（MAS）中自主管理任务生成和执行方面的有效性。为了分析TMS的决策和扩展过程，我们引入了一个图形可视化和探索工具，该工具可以实时展示思维树（ToT）。这种可视化方式有助于我们结构化地理解TMS如何动态扩展思维、生成目标等。

结论

在这项工作中，我们介绍了思维管理系统（TMS），这是一个旨在实现基于大型语言模型（LLM）的代理进行长期、目标驱动推理的新框架。该框架受到人类思维管理过程的启发，将自主决策结构化为一个称为思维树（ToT）的分层框架。这使得AI代理能够在动态环境中持续生成、优化和执行任务，而无需人工干预。

代码可用性

思维管理系统的代码实现将在[仓库URL]处提供（待接受后添加）。

CRediT作者贡献声明

安德烈·比多奇科（Andrii Bidochko）：撰写原始草稿、可视化设计、软件开发、资源管理、方法论研究、数据整理、概念构建。 雅罗斯拉夫·维克柳克（Yaroslav Vyklyuk）：验证工作、监督过程、形式化分析。

资金支持

作者们未从任何组织获得提交工作的支持。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能会影响本文报告的工作。