使用心理测量学方法评估通用人工智能

《Communications of the ACM》：Evaluating General-Purpose AI with Psychometrics

　　摘要：对通用人工智能系统（如大型语言模型）进行严格的评估，应该有助于深入理解它们的能力，并有效缓解其风险。目前的评估范式主要依赖于汇总一个或多个任务得分的基准测试，缺乏预测未知任务性能和解释结果变异性的科学方法。此外，现有的基准测试引发了对其可靠性和有效性的日益关注。为了解决这些挑战，我们主张采用心理测量学（心理学测量科学）作为识别和测量跨多种任务支持人工智能性能的构建的方法。为了提高意识，我们首先通过具体例子说明了将心理测量学原理应用于人工智能评估的关键优势；其次，我们区分了合理应用心理测量技术与过于简化的应用，并警告常见的陷阱；第三，为了鼓励广泛使用，我们引入了一个系统的心理测量框架和操作评估流程，提供实际实施指导。最后，我们讨论了未充分探索的途径和社会影响，这些为在更广泛的人工智能研究中使用心理测量学开辟了新的研究方向。

在快速发展的机器人技术领域，严格的评估至关重要。评估有助于防止在高风险应用（如自动驾驶和医疗诊断）中出现灾难性后果，并有助于阻止种族主义、性别歧视、能力主义、极端主义等有害意识形态的传播。它还在理解人工智能的智能程度、防止资源错配以及指导未来模型开发方面发挥着关键作用。尽管如此，对像ChatGPT和Gemini这样的多功能通用人工智能系统进行严格评估仍然具有挑战性。这些系统的多功能性使得难以预测用户会在哪些场景中使用它们，因此无法测试所有潜在任务以确保系统按预期运行。这一挑战的核心原因是人工智能系统已从为特定、明确定义的任务设计，转变为处理复杂的、动态的场景，其中任务不是预先定义的。目前尚未建立一种方法和论来预测和解释这些多样化的、可能未知的任务上的人工智能性能。

### 主要观点：
- 通用人工智能系统给以任务为导向的评估带来了挑战，这种评估方法无法预测未知任务上的性能、解释结果的变化性，并且缺乏可靠性和有效性。
- 运用心理测量学，以构建为中心的评估方法可以识别和测量支持人工智能性能的构建，提供预测力、解释力和质量保证。
- 我们提出了一个包括构建识别、构建测量和测试验证三个阶段的通用人工智能评估心理测量框架。
- 我们引入了一个基于心理测量学的操作评估流程，以提供实际指导，并推动未来的人工智能发展。

为了应对这一挑战，我们建议从以任务为导向的评估转向以构建为中心的评估，借鉴了用于评估人类的方法论。构建是虽然不能直接观察到的概念，但假设它们是各种行为的基础。我们遵循心理学和行为科学中的常见假设，即人类行为可以通过有限的构建（如认知能力和人格特质）来解释。同样，人工智能系统的广泛输出可以通过相对较少的构建来组织和解释。这些构建成为假设和理论的基本构建块，使我们能够准确预测和解释通用人工智能系统的性能。

在本文中，我们展示了如何通过从心理测量学中学习来为通用人工智能系统建立以构建为中心的评估方法。一个多世纪以来，心理测量学一直被用于评估人类心理构建。我们首先介绍了将心理测量学应用于人工智能评估的三个主要优势，并用具体例子进行了说明。然后，我们讨论了如何区分合理的心理测量技术应用和过于简化的应用，并警告常见的陷阱。在此基础上，我们提出了一个基于心理测量学原理的系统框架，并引入了一个操作评估流程以提供实际指导。最后，我们指出了未充分探索的途径和社会影响，为在更广泛的人工智能研究中使用心理测量学开辟了新的研究方向。

### 以构建为中心的人工智能评估的优势：
- 与使用包含不同任务的基准测试的任务导向评估相比，以构建为中心的评估在预测力、解释力和质量保证方面表现更优，这可以通过优化现有基准测试的使用的开发和为新的人工智能测试提供手段来实现。

### 图1. 以构建为中心的评估的优势及相关示例：
- **预测力**：遵循任务导向的范式，评估结果无法外推到未知任务。例如，尽管一个通用的AI医疗辅助系统可能通过了包含生物学或医学相关任务的BIG-bench基准测试，但仍难以理解其在测试期间未见过的任务上的性能。假设在有限数量的任务上测试的人工智能性能能直接反映其在实际上无限数量的应用任务中的性能是没有根据的。
- **解释力**：长期以来，构建已被证明可以预测人类的未来表现和现实世界的结果。例如，学术成绩可以根据认知能力、自尊心、希望和归因风格等构建来预测。类似地，构建也可以预测人工智能系统在多种任务和场景中的性能。例如，空间推理构建在涉及规划和导航、视觉图像解释和自然语言理解的广泛任务中是必需的。这些基础构建可以为人工智能模型提供更全面的理解，并保持其长期的相关性，有助于预测这些模型在未知任务上的表现及其性能随规模的变化。
- **质量保证**：研究人员对以任务为导向的人工智能评估的可靠性和有效性提出了严重质疑。例如，人工智能系统的性能受到输入提示和特定配置等因素的影响。心理测量测试围绕构建展开，这些构建被概念化为解释实证观察的结果。根据Cattell-Horn-Carroll理论，许多认知任务中的个体差异可以通过相对较少的认知能力（如流体智力和晶体智力）来解释。这些构建构成了心理测量测试的解释力基础。

### 运用心理测量学进行人工智能评估的潜在途径和社会影响：
- 心理测量学提供了一种有效的评估框架，但其整合到人工智能评估中不仅仅是应用现有的心理测量测试。必须解决关于构建的概念化方式、测试的开发或适应方式，以及可用和适当的心理测量技术的关键问题。后续讨论将阐明相关策略，并提出需要整个科学界共同努力解决的问题。

### 心理测量学在人工智能评估中应用时可能出现的错误：
- 心理测量学有几种可能被错误应用于人工智能系统评估的方式。首先，一些最近的研究将AI系统视为人类心理学实验的参与者，或者应用现有的心理测量测试来评估AI系统的普遍智力、心智理论和个人性格。这些研究假设AI系统表现出类似人类的特征，因为它们是基于人类数据训练的。然而，这种假设可能会导致误导性的结论，因为目前尚不清楚人类心理构造是否在AI系统中得到了体现，而且假设这些构造与其在人类中的指标之间的关系对AI系统仍然适用是有问题的。例如，在人类中，处理速度被认为是智力的一个重要指标，但对于AI系统来说，处理速度可能与智力无关。通常情况下，参数较少的较小模型处理速度更快，但这并不一定意味着较小模型更智能。因此，在将心理测量技术应用于AI系统的评估时，必须考虑每个心理测量测试背后的假设，以确定其适用性。除了调整人类测试外，还需要根据AI系统固有的构造开发专门的测试，利用心理测量学的原理。

其次，简单地将心理测量技术应用于AI系统可能会忽略质量保证的需要。为人类开发的测试可能对AI系统来说并不可靠或无效，即使这些系统是基于大规模人类数据训练的。例如，一些研究将原本为人类设计的自我报告式人格问卷应用于大规模语言模型（LLMs）。无论问题是如何重新表述或修改的，只要没有引入实际的语义变化，人类的回答通常会保持一致，因为它们倾向于反映潜在的人格特质。然而，当应用于AI系统时，轻微的输入变化（例如，颠倒问题顺序）可能会导致回答的重大变化。这引发了质疑，即AI对自我报告式人格问卷的回答是否反映了真实理解，还是仅仅基于训练数据分布的概率选择。

虽然一些早期研究显示了某些心理构造与AI系统的相关性，但由于缺乏系统的心理测量基础，这些研究仍然孤立且初步。例如，它们可能受到随机或系统错误的困扰，因为没有严格保证测量的可靠性和有效性。相比之下，心理测量学有着长达一个世纪的研究历史，致力于构造的识别和测量，并提供了确保可靠性和有效性的系统方法。为了增强对心理测量学的理解以及如何更有效地将其应用于AI评估，我们在后续部分将介绍一个基于先进心理测量技术的系统框架，讨论未解决的问题，并提出未来的研究机会。

**心理测量框架：关键考虑因素**。我们提出了一个用于AI系统导向型评估的心理测量框架。如图2所示，我们的框架包括三个阶段：构造识别、构造测量和测试验证。为了便于理解和实际应用该框架，我们为每个阶段列出了可能的方法、示例技术以及需要考虑的进一步注意事项。

**构造识别**。在第一个阶段，我们识别能够解释和预测AI表现的构造。在心理测量学中，有两种方法：自上而下和自下而上。

- **自上而下的方法** 从预定义的理论框架开始，该框架通常是基于观察、专家咨询和讨论得出的。例如，通过实证观察发现，尽管面临贫困等 adversity，一些儿童仍然表现出良好的适应和发展能力。我们可以采用类似的方法来识别能够预测和解释AI系统表现的构造。例如，Li等人指出AI系统经常生成错误、虚构或误导性的信息，这被称为“幻觉”。心理学中的一个类似概念——“虚构”（confabulation）可以帮助解释AI系统的这种行为。为了达成对AI系统中“虚构”的操作化定义的共识，我们可以结合领域专家的见解。在这个过程中，我们可以使用德尔菲法（Delphi method）等技术系统地收集专家意见，并就AI构造的定义达成共识。然后需要验证该构造以确保其具有预测性和解释性。

一种可行的自上而下的方法是建立人类与AI系统之间的类比。然而，我们应该注意的是，尽管可能用相同的名称标记，但AI系统和人类之间的构造定义可能会有所不同。假设我们要将“情商”（emotional intelligence）这一构造适配到AI系统中，检查其定义时，可能会发现关于情绪自我意识的描述不适合AI，或者具有不同的含义；因此，应该删除或修改这些描述。构造的重要性在人类和AI系统之间也可能有所不同。例如，“虚构”在AI中很常见，但在只有少数患有阿尔茨海默病或韦尼克-科尔萨科夫综合征（Wernicke-Korsakoff Syndrome）等神经系统疾病的人中才会出现。

- **自下而上的方法** 不依赖于预定义的理论框架，而是从实证数据出发，寻找表明构造存在的模式。一个典型的例子是人格五因素模型的发展，心理学家通过对大量描述人格的术语进行因子分析，提取出五个能够解释人类行为很大比例变异的构造。

值得注意的是，自上而下和自下而上的方法可以结合使用，互相补充，以提供对构造的更全面理解。这些方法也可以应用于更广泛的场景，如多模态LLMs和自主AI系统的评估。在这里，不仅可能出现需要更高级心理测量技术的层次结构，还需要考虑其他特质，如自我控制、价值观、偏见和毒性——这些都是确保AI系统安全和负责任部署的关键因素。

值得注意的是，构造的概念化可能会随着时间的推移而演变。例如，自尊最初被视为单一维度，但后来认识到它具有多个方面，包括情境自尊（特定情境下的自我价值）和特质自尊（一贯或持久的自我价值）。我们预计AI评估中的构造理解也会经历类似的发展。在AI中新识别的构造的定义最初可能是片面的或有偏见的，并可能随着经验的积累而得到改进。这强调了未来研究中持续调查的必要性，以及调整现有心理测量工具的必要性。

此外，当为AI系统识别出新构造时，需要随时间对其进行验证，以证明其预测性和解释性，才能被科学界和公众接受。自尊的情况就是这样的。

**构造测量**。在为AI识别出一个构造后，需要一个测试来测量它。我们可以借鉴心理测量学家为人类设计测试的过程。这涉及开发测试项目和建立评分标准。测试项目应充分反映目标构造，并且不受无关构造的影响。它们通常根据测试指南和项目规范来设计。测试指南规定了测量构造不同方面的项目比例、项目格式、测试长度等。项目规范为各个项目提供了详细的设计，包括项目内容的来源、情境和难度水平。

AI系统的测试项目可以采用多种形式，就像在心理测量学中使用的那样。例如，心理测量测试使用高度抽象的符号或图形，如Big-bench测试中的抽象和推理语法题，以及Raven’s Progressive Matrices中的图形，以消除现实世界情境中无关构造的干扰。当应用于AI评估时，这有助于最小化随机因素的意外影响，提高测试的可靠性和有效性。例如，为了评估归纳推理能力，我们可以开发要求测试者发现数字序列中的模式并生成下一个数字的抽象项目。另一种潜在的格式是基于模拟的评估，这更符合一些当前的AI基准测试。这些测试项目利用现实世界情境来提高生态有效性，同时利用以证据为中心的设计（evidence-centered design）等技术确保目标构造得到有效测量。

测试项目的选择应与应用场景相匹配。例如，在利用现有AI基准测试以减少测试项目开发的工作量，或在特定现实世界情境中评估模型性能时，基于模拟的测试项目非常有用。

在测试项目开发之后，需要建立一个基于适当测量理论的评分方案，以根据获得的回答来量化构造的水平。在现有的评分理论中，项目反应理论（Item Response Theory, IRT）对AI评估特别有用。IRT能够通过将正确回答的概率作为项目参数和测试者在构造水平上的函数来预测测试者是否会答对任何项目（包括未见过的项目）。IRT还允许比较使用不同测试、不同项目集或难度级别评估的AI系统，因为它允许在统一的基础上估计构造和项目参数。考虑到AI测试需要频繁更新以涵盖训练数据中的潜在项目，这一点尤其有益。此外，IRT为计算机化自适应测试提供了基础，可以针对每个测试者最优地选择项目，从而实现高效和精确的评估。

与简单地汇总每个项目得分的经典评分方法相比，IRT等先进技术提供了更细致、准确和全面的AI评估。鉴于这些优势，一些研究已经采用了IRT。例如，Zhuang等人使用这种技术评估了LLMs的主题知识、数学推理和编程技能。我们预计从最先进的IRT模型中获得更多见解——例如，基于IRT的认知诊断模型可以确定构造的具体优势或弱点，以及结合IRT优点和识别测试者所属隐藏群体的潜在类别模型的IRT。

**测试验证**。假设我们创建了一个用于测量某个构造的测试。在根据测试结果得出结论之前，需要验证测试的质量。例如，测量中的误差有多大？测试结果与现实世界行为有何关联？为此，心理测量学提供了一种系统的方法论，专注于测量的可靠性和有效性指标。

可靠性指的是测试的一致性或稳定性。心理测量学引入了各种可靠性指标。例如，重测信度涉及多次对同一组测试者进行相同的测试，以评估测量的稳定性。实际上，可以对AI系统进行多次测试以获得性能稳定性（可重复性）。内部一致性可靠性衡量测试内项目之间的一致性。高内部一致性可靠性表明AI系统在所有测试项目中的表现相似。其他可能应用于AI评估的可靠性类型包括平行形式信度（确保两个不同但等效的测试版本一致测量相同的构造）和评分者间信度（评估不同评分者之间的一致性，已被用于评估文本生成模型）。

有效性指的是测试在多大程度上测量了它声称要测量的构造。在心理测量学中有不同的有效性指标可以应用于AI。例如，构造有效性表示测试在多大程度上反映了所声称的构造。一种常用的评估构造有效性的方法是因子分析，该方法将构造概念化为测试项目背后的潜在因素。通过检查指定的因子结构与实证数据的契合度，我们可以定量理解测试的构造有效性。 construct validity（构念效度）也可以通过 convergent validity（收敛效度）和 discriminant validity（区分效度）来评估。收敛效度反映了理论相关测量方法之间的实证关系，而区分效度则表明那些在理论上不应相关的测量方法在实证上是否确实不相关。 predictive validity（预测效度）是另一种效度形式，它关注的是测试得分在多大程度上能够预测某种标准测量结果，这种结果可以是现实生活中的表现或未来的结果。例如，具有更强情感理解能力的人工智能系统应该会获得更好的用户评价。一些最近的人工智能评估研究已经进行了信度和效度分析。例如，Li等人使用了重测信度来检查不同时间点的得分稳定性，以比较可读性的测量方法，并评估了收敛效度和区分效度，以验证这些方法是否真正触及了预期的构念。METRICEVAL是一个框架，它可以同时评估 concurrent validity（同时效度）和 construct validity（构念效度），用于概念化和评估自然语言生成指标。该框架已被应用于总结指标的评估。

上述研究展示了信度和效度分析在某些特定领域（如总结、忠实度和可读性）的有效性；然而，许多重要领域——如评估人工智能系统的编码能力、问题解决能力和创造力——仍然很大程度上未被探索。我们倡导在所有人工智能评估中更广泛和系统地采用这些测量方法。只有具备足够的信度和效度，我们才能信任测试结果，并回答现实生活中重要的问题，例如：GPT-4在问题解决测试中比GPT-3获得更高的分数是否意味着在线研究中用户满意度的提高？

然而，并非所有的心理测量指标都普遍适用。根据具体情境，应该使用不同的信度和效度指标。例如，当涉及人类评分者时， inter-rater reliability（评分者间信度）特别有用，但不适用于没有评分者的情境。预测效度需要一个标准测量指标，而这往往难以获得；因此，在一些验证研究中被忽略了。在实际应用这些心理测量指标之前，研究人员需要理解信度和效度概念背后的基本原理，以便开发出符合研究目的的特定于人工智能的指标。

将心理测量方法整合到人工智能评估中开启了令人兴奋的机会。在这一部分，我们探讨了需要解决的开放性问题，以及将早期心理测量方法更广泛地扩展到其他人工智能领域的潜力。

**开放性问题**
由于人工智能系统与人类之间存在明显差异，利用心理测量方法进行人工智能评估带来了独特的挑战。解决这些挑战为改进心理测量方法、适应人工智能系统以及最终提高人工智能评估的可靠性和效度提供了重要的研究机会。

**处理人工智能的敏感性**
人工智能系统对提示的明显敏感性引发了对其评估的有效性和可靠性的质疑。人工智能系统是否本质上过于不稳定而无法被可靠地评估？如果测量结果不可靠，我们是应该修改问题项还是优化人工智能系统？在评估人工智能系统时，我们应该使用为人类设计的相同指令或提示，还是需要进行调整？提示是否应该代表典型的用户命令，或者应该调整以激发最佳表现？如果是后者，我们如何从潜在选项中选择最佳提示，例如思维链？回答这些问题需要实证证据和社区共识。

除了对提示的敏感性之外，由于对齐造假等机制，人工智能系统在处理训练和测试查询时可能会表现出不同的行为；也就是说，人工智能系统可能在训练期间选择性地遵循查询，而在训练之外保持其不遵从的行为，导致选定的训练查询与其他查询之间的对齐不一致。实验结果显示，在所测试的大型语言模型（LLM）上进行强化学习的过程中，对齐造假的比率从12%增加到78%。因此，设计能够考虑这一人工智能系统独特特性的可靠、有效的测量方法至关重要。

**重新定义“人”和“群体”**
在心理测量学中，区分 within-person（个体内）和 between-person（个体间）分析是至关重要的。前者考察同一个体在不同时间的数据变化，而后者比较不同个体的数据。这种区分决定了使用适当的统计方法和准确的解释。然而，人工智能系统可以承担无限多样的角色，这使得这些定义变得模糊。例如，使用不同提示创建的不同角色是否被视为不同的人？一个经过微调的人工智能模型是否与之前的模型“相同”？如果我们把不同的模型版本（如OpenAI o4和OpenAI o4-mini）视为“多人”，它们是否属于同一个群体？

解决这个问题的一个可能方法是检查方差的大小。通常情况下，群体的方差更大，因为分布广泛，而同一人的重复测量结果的方差应该较小。然而，什么是“大”方差还需要进一步研究，人类的方差可以作为一个参考。如果识别出多个数据层次，我们可以采用多层次建模来考察提示层次、角色层次和模型层次的效果。

**人工智能与人类的比较**
有时需要设计适用于人类和人工智能的测试。为了确保公平比较，确定项目适宜性非常重要。这可以通过采用心理测量技术来解决，例如 differential item functioning（DIF），它考察测试项目在人类和人工智能系统中是否同样有效，以及在不同的人工智能系统之间是否同样有效。

没有实证证据，就无法确定某种心理测量技术是否适合或对人工智能评估有用。鉴于人工智能系统的性质不同于人类，很可能只有那些用于分析人类数据的一些心理测量技术才能应用于人工智能系统。例如，Zou等人研究了500个具有不同人格特质的基于LLM的聊天机器人，发现聊天机器人的自我报告的人格特征与用户感知和互动质量的相关性较弱，这突显了传统基于自我报告的评估方法的重要效度问题。虽然我们看到了基于心理测量框架的构念导向评估的巨大潜力，但在使用这些技术时应谨慎，并始终牢记人工智能系统与人类之间的差异。

**技术挑战超越了研究范围：它们也可能产生深远的社会影响**
使用心理测量方法不仅可以更好地确保人工智能系统及其评估的稳健性，还可以将人工智能评估与人类评估更直接地联系起来，从而提高公众的理解。例如，它可以将人工智能评估从基准测试、排行榜和规模化定律转变为关于安全和未来工作的更有意义的对话，使用与人类评估兼容的术语和工具。

**更广泛地扩展到人工智能研究**
通过扩展用于构念导向人工智能评估的心理测量框架，我们看到了心理测量方法在人工智能所有领域提供的进一步研究机会。

**人类与人工智能团队合作的评估**
考虑到人工智能系统在提高人类生产力方面的巨大潜力，最优的人类与人工智能团队合作正在受到越来越多的关注。人类与人工智能团队合作是一个协作过程，双方共同做出决策并相应地学习。因此，其评估不仅要考虑任务结果，还要包括各个组成部分（人类和人工智能）的表现、团队内的合作质量以及实现共同目标的成功。在这种情况下，特别是与协作解决问题相关的心理测量模型和方法论可能会提供宝贵的见解。

**转变人工智能流程**
心理测量方法具有重要的社会影响。例如，教育评估是心理测量方法的一个主要应用，对塑造人类教育实践至关重要。同样，人工智能评估不仅可以局限于测量人工智能系统的表现，还应该在人工智能开发的每个阶段进行严格评估，正如欧盟的《人工智能法案》等几个监管框架所要求的那样。受教育实践的启发，在图3中，我们展示了心理测量方法如何帮助重新定义人工智能流程。

**图3**
当前的人工智能流程、人类教育过程以及由心理测量方法支持的新的人工智能流程的比较。

在第一阶段，确定诸如问题解决等目标，并将其整合到教学和评估中，以提高教育的未来成功率。同样，心理测量方法可以帮助识别复杂、不可预见任务所需的关键人工智能构念，例如批判性思维和安全性等价值观，这与Schwartz的基本价值观理论一致。在第二阶段，心理测量方法可以识别出高潜力的系统并相应地优化培训资源。在整个培训过程中，基于心理测量方法的持续反馈可以朝着预定义的目标改进流程。在最后阶段，通过检查测试的可靠性和效度，我们可以确认人工智能系统能够应对现实世界的挑战和社会整合要求，例如减轻有害偏见、确保自动化决策中的责任性以及减少幻觉。通过严格评估能力、安全性和公平性，心理测量方法有助于构建不仅表现准确而且能够维护社会信任和公平结果的人工智能。

**结论**
在评估人工智能系统时，当前的以任务为导向的范式在预测能力、解释能力和质量保证等关键领域存在不足。通过关注构念并将心理测量方法作为人工智能评估的核心，可以克服这些限制。我们在这方面的工作表明，这种转变既是必要的也是可能的，并提供了加速采用的方法论指南。通过使用三阶段框架，我们展示了如何利用心理测量方法克服当前基准测试的局限性，同时避免过度简化的心理测量应用所带来的陷阱。整合心理测量方法有望在人工智能评估中取得重大进展，但也带来了独特的挑战，例如为人工智能系统重新解释以人类为中心的概念和管理提示敏感性。我们的讨论为研究开辟了新的途径，包括潜在的人工智能-人类团队合作评估和人工智能开发实践的转型。虽然单靠心理测量方法可能无法解决人工智能评估中的所有问题，但转向构念导向的评估至关重要，我们期待着一个由心理测量方法支撑的人工智能评估也能影响人类的评估的未来。

**致谢**
本工作由Luning Sun、Fang Luo和Xing Xie指导。作者感谢Jinyan Fan、Marija Slavkovik、Clemens Stachl、Alina A von Davier、Xiangen Hu、Yu Lu、Bryan Maddox、Mengxiao Zhu、Meng Li、Li Dong、Jindong Wang、Igor Sterner、Greg Serapio-García、Peter Romero、Fengli Xu、Fernando Martínez Plumed和Lidong Zhou对手稿早期版本的讨论和评论。本研究得到了北京自然科学基金L247011；微软亚洲研究院合作研究计划FY23-Research-Sponsorship-422“评估人类和大型模型能力的融合”；CIPROM/2022/6（FASSLOW）由瓦伦西亚自治区政府资助；西班牙政府PID2024-162030OB-100（ROBIN）由MCIN/AEI/10.13039/501100011033和ERDF资助的Cátedra ENIA-UPV在可持续人工智能发展项目TSI-100930-2023-9；以及INCIBE的主席职位，由欧盟-NextGenerationEU通过西班牙政府的Plan de Recuperación, Transformación y Resiliencia计划和EUR2024-153548（PREDAIT）“Towards Predictable AI”资助；中国的国家自然科学基金（NSFC）（编号62476279、92470205、U2436209）；中国人民大学的重大创新与规划跨学科平台“双一流”计划；中国人民大学的基本研究经费；中国人民大学的研究经费编号24XNKJ18；以及中国人民大学建设世界级大学（学科）基金和公共计算云。L.S.和D.S.感谢Invesco通过其对剑桥Judge商学院的慈善捐赠提供的财务支持。

Xiting Wang是中国人民大学高岭人工智能学院的副教授。

Liming Jiang是微软亚洲研究院的博士后研究员。

José Hernández-Orallo是剑桥大学Leverhulme未来智能中心的研发总监，瓦伦西亚理工大学教授；以及ValgrAI的资深研究员。

David Stillwell是剑桥大学的教授。

Shiqiang Chen是中国人民大学高岭人工智能学院的本科生。

Luning Sun（[e-mail]）是剑桥大学的研究助理。

Fang Luo是北京师范大学心理学系的教授。

Xing Xie是微软亚洲研究院的助理总经理。