从表示到响应：评估大型语言模型与人类判断模式的一致性

《ACM Transactions on Intelligent Systems and Technology》：From Representation to Response: Assessing the Alignment of Large Language Models with Human Judgment Patterns

大语言模型（LLMs）的机制与人类认知对齐评估研究，提出基于奇偶排除三元组任务的新方法，结合图像描述和零/少样本学习准确度评分，实验覆盖24个模型和4种描述策略，分析对象描述全面性对模型人类表征对齐的影响。

　　

摘要

大型语言模型（LLMs）是复杂的人工智能系统，旨在以高级水平处理和理解自然语言。这些模型的最新进展，尤其是基于聊天的LLMs，使得这些先进的智能系统更加易于使用，展示了机器学习方法如何帮助人类完成日常任务。本研究关注于理解LLMs的运作机制以及评估它们与人类认知的一致性。我们提出了一种创新的LLMs一致性评估策略，该方法与传统方法不同，采用“奇数个不同项”的三元组来研究LLMs的表示与人类对象概念心理组织之间的一致性。我们的方法结合了图像标注和零样本/少量样本学习准确性评分，旨在评估语言模型预测对象概念相似性和差异性的能力。我们进行了全面的实验评估，涉及四种标注策略、八个模型家族中的二十四个LLMs以及三种评分方法，并使用了大量数据集来提高对LLMs理解能力的分析。最后，本研究探讨了对象描述全面性对模型与人类表示一致性的影响，并分析了一组随机选取的三元组，以评估LLMs在表示人类不同判断模式方面的能力。