基于归因理论，提高大型语言模型代理在决策过程中的信念一致性

《Expert Systems with Applications》：Enhancing belief consistency of Large Language Model agents in decision-making process based on attribution theory

针对大型语言模型在多轮决策中信念一致性不足的问题，本文提出基于归因的决策机制ADMA，通过生成、评估、归因三阶段迭代优化，使模型能够系统识别并调整决策中的可控与不可控因素，有效抑制上下文干扰导致的信念漂移，在辩论场景中显著提升输出流畅性、说服力和置信度，验证了归因理论在增强模型稳定决策中的有效性。

　　本研究聚焦于社会模拟中大型语言模型（LLM）代理的信念一致性问题，旨在提出一种新的方法来提升其在复杂决策场景中的表现。在当前的社会模拟应用中，LLM代理通常被用来扮演特定角色，例如在辩论、策略游戏或协作环境中进行交互。然而，由于LLM的生成过程是基于前文逐步预测下一个词，这种机制使得模型容易受到上下文影响，从而导致其决策与最初设定的目标不一致。这种不稳定性不仅影响了模型在多轮对话中的表现，也限制了其在需要长期策略和稳定立场的应用场景中的适用性。

因此，本文提出了一种基于归因的决策方法（ADMA），其灵感来源于人类在决策过程中如何通过归因机制来区分可控因素与不可控因素。归因思维（Heider, 2013）是人类在多轮决策中保持目标一致性的关键能力，能够帮助个体在面对复杂情境时，更加清晰地理解自己的立场，并做出符合自身信念的判断。相比之下，LLM在生成过程中主要依赖于输入文本的统计模式，容易受到周围环境的影响，从而在面对多个观点和论证时表现出不稳定的态度。这种现象在多轮辩论中尤为明显，因为每个参与者的立场都会受到对方观点的挑战，而这种挑战可能会改变其最初的判断。

为了克服这一问题，ADMA引入了三个关键模块：生成、评估和归因。生成模块负责根据当前环境和前一轮的归因结果，生成候选决策；评估模块则对这些决策进行评估，判断其是否符合任务目标；归因模块则进一步分析影响决策的各类因素，区分可控与不可控因素，并据此制定调整策略。这些调整策略会被反馈到生成模块，以优化后续的决策生成过程。通过这种循环迭代的机制，LLM代理能够逐步提高其信念的一致性，使其在面对复杂的多轮对话时，更加稳定和可信。

本文的研究重点是通过辩论场景来验证ADMA的有效性。在辩论过程中，每个参与者都基于给定的立场进行发言，而这些发言可能会受到对方观点的挑战。这种挑战不仅影响了参与者的立场，还可能改变其对论点的说服力和反驳强度。因此，辩论场景为评估LLM代理的信念稳定性提供了一个动态且严谨的环境。通过这个场景，我们可以判断LLM代理是否能够在面对复杂论点时，保持其最初的立场，并增强其对说服性语言的抵抗力，同时确保其内部逻辑的连贯性。

在实验设计方面，本文使用了两个现实世界的辩论数据集，并进行了大量的实验来验证ADMA的效果。所有实验均在Ubuntu 20系统上进行，使用配备NVIDIA A800 GPU的服务器。实验结果表明，ADMA在提升LLM代理的信念一致性方面表现显著，同时改善了语言质量，包括流畅性、说服力和自信度。此外，通过归因过程，LLM代理能够识别并调整信念偏差，从而提高其在辩论中的表现。反复的归因过程还优化了论点的质量，尽管边际效益逐渐降低，但最终仍然提升了LLM代理的自信度和一致性。

值得注意的是，ADMA在面对外部的说服性语言时，也表现出较强的抵抗力。通过归因机制，LLM代理能够识别并调整受到外部影响的信念，从而防止其在对话过程中发生信念漂移。这种机制在一定程度上缓解了LLM输出中常见的低自信问题，特别是在Mistral家族模型中观察到的低自信token问题。实验结果显示，经过归因处理后，LLM的输出自信度显著提高，表明ADMA在提升模型输出质量方面具有潜在的应用价值。

本文的主要贡献包括三个方面：首先，将归因理论引入LLM代理的设计中，以增强其在多轮决策中的信念一致性；其次，提出了一种新的方法ADMA，该方法由三个模块组成，并通过迭代机制进行运行；最后，构建了一个具有挑战性的决策基准，通过引入多轮辩论场景并发布一个新的数据集ProCon，以扩展实验的覆盖范围。此外，本文还详细讨论了ADMA的实验结果，并对其背后的机制进行了分析，解释了为什么归因过程能够有效提升LLM代理的信念一致性。

在方法设计上，ADMA与传统的Chain-of-Thought（CoT）方法有所不同。CoT方法鼓励模型进行开放式、逐步推理，以增强其对任务的理解和决策的准确性。然而，这种方法往往缺乏明确的目标导向，使得模型在面对复杂情境时容易偏离最初设定的信念。相比之下，ADMA通过引入明确的归因目标和结构化的反思过程，使得模型在生成决策时更加注重其信念的一致性。这种方法不仅提高了模型在多轮对话中的表现，还增强了其对外部干扰的抵抗力。

在实际应用中，ADMA能够有效提升LLM代理在辩论等复杂场景中的表现。例如，在辩论过程中，每个参与者都会根据对方的观点进行反驳，而这些反驳需要基于明确的立场和论点。通过ADMA，模型能够识别影响其判断的关键因素，并据此调整其决策，从而提高其在辩论中的说服力和一致性。此外，ADMA还能够增强模型在面对多轮对话时的稳定性，使其能够持续保持其最初的立场，而不受外部环境的影响。

在实验结果方面，本文展示了ADMA在提升LLM代理的信念一致性方面的显著效果。通过对DebateArt和ProCon数据集的分析，实验结果表明，ADMA在多个维度上都优于传统的无归因方法。具体而言，ADMA在提升模型的信念一致性、语言流畅性和说服力方面表现突出，使得模型在面对复杂论点时能够更加稳定和可信。此外，实验还发现，随着归因过程的迭代次数增加，模型的信念一致性也相应提高，但边际效益逐渐降低，表明归因机制在提升信念一致性方面具有一定的局限性。

尽管ADMA在提升LLM代理的信念一致性和推理性能方面表现出色，但其也存在一定的局限性。首先，归因框架的引入增加了模型的计算负担和推理延迟，这与传统的CoT方法类似。因此，在实际应用中，如何在提升性能和降低资源消耗之间取得平衡，是需要进一步研究的问题。其次，本文的研究主要集中在辩论场景中，未来的工作可以拓展到其他类型的社会模拟场景，以验证ADMA的普适性。此外，还可以进一步优化归因机制，以提高其在不同任务中的适应性。

总的来说，ADMA为LLM代理在社会模拟中的信念一致性问题提供了一种新的解决方案。通过引入归因机制，模型能够在面对复杂情境时，更加稳定地保持其最初的立场，同时提高其对说服性语言的抵抗力。这种机制不仅提升了模型的输出质量，还增强了其在多轮决策中的表现。未来的研究可以进一步探索归因机制在不同应用场景中的潜力，并优化其计算效率，以提高其在实际应用中的可行性。