贝叶斯方法结合相关的主观概率估计

《Judgment and Decision Making》：Bayesian combination of correlated subjective probability estimates

　　摘要：人类预测师的主观概率估计结合通常能够改善单个预测师提供的估计结果。为了以贝叶斯最优的方式结合这些概率估计，先前的研究提出了一个规范贝叶斯融合模型，该模型使用条件于真实值的贝塔分布来建模这些估计。然而，这个模型假设概率估计是条件独立的，尽管不同预测师提供的估计通常是相关的。在这里，我们引入了一个贝叶斯模型，该模型明确考虑了它们之间的相关性。我们假设预测师对给定问题的估计既取决于预测师的技能，也取决于问题的难度。不同预测师提供的概率估计之间的相关性被认为是由于问题性质导致的，例如，对于非常简单的问题，预测师可能会给出正确且高度自信的估计。我们的模型使用条件于真实值的贝塔分布来表示概率估计，并通过为每个预测师和每个问题分别指定技能参数和难度参数来明确模拟预测师的技能和问题的难度。通过这种方式，它可以模拟概率估计之间的相关性，并在结合估计时加以考虑。在一个包含85位人类预测师对180个问题的主观概率估计的数据集上进行评估，结果显示，与相关的贝叶斯融合模型相比，我们的模型在Brier分数方面表现更好，特别是它在避免过度自信方面表现更优。

1. 引言
人类专家提供的主观概率估计在许多不同领域都非常重要，包括商业、金融、市场营销、政治、工程、气象学、环境科学和公共卫生（McAndrew等人，参考文献McAndrew, Wattanachit, Gibson和Reich2021）。与机器学习算法不同，这些估计基于人类的直觉和经验，而不需要访问大型数据集（McAndrew等人，参考文献McAndrew, Wattanachit, Gibson和Reich2021）。因此，它们可以指导决策，并有助于规划和处理风险。主观概率估计可以是未来事件的预测（Graefe，参考文献Graefe2018；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014），例如选举结果或天气现象；也可以是对专家对某个陈述真实性的信念的量化（Karvetski等人，参考文献Karvetski, Olson, Mandel和Twardy2013；Prelec等人，参考文献Prelec, Seung和McCoy2017）；或者是任何其他二元分类。在下文中，我们将这些概率估计称为预测。提供这些预测的人被称为预测师。预测的对象，例如要预测的事件或要评判的陈述，被称为问题。如果对于手头的问题有多个不同预测师的预测，结合这些单独的预测通常可以提高性能（Bennett等人，参考文献Bennett, Benjamin, Mistry和Steyvers2018；Budescu和Chen，参考文献Budescu和Chen2015；McAndrew等人，参考文献McAndrew, Wattanachit, Gibson和Reich2021；Satop??，参考文献Satop??2022；Satop??等人，参考文献Satop??, Salikhov, Tetlock和Mellers2023；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014），这被称为“群体智慧”效应（Surowiecki，参考文献Surowiecki2005）。预测的结合可以通过行为或数学方法来实现。在行为预测聚合中，预测师通过社会过程协商达成共识（Minson等人，参考文献Minson, Mueller和Larrick2018；Silver等人，参考文献Silver, Mellers和Tetlock2021）。相比之下，数学聚合方法使用数学融合规则或模型将提供的单独预测结合起来形成一个聚合预测（Clemen和Winkler，参考文献Clemen和Winkler1999；Hanea等人，参考文献Hanea, Wilkinson, McBride, Lyon, van Ravenzwaaij, Singleton Thorn, Gray, Mandel, Willcox和Gould2021；Wilson，参考文献Wilson2017）。有许多不同的数学融合规则可以用来结合预测，这可能导致融合预测的性能有所不同（Satop??等人，参考文献Satop??, Pemantle和Ungar2016）。其中许多方法假设个别预测师是独立的（Wilson，参考文献Wilson2017），或者至少没有明确考虑提供的概率估计之间可能存在的相关性。这类方法的典型例子是线性意见池，即未加权或加权平均。虽然未加权的线性意见池（即标准平均）已经可以取得良好的性能（Clemen，参考文献Clemen1989；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014），但加权线性意见池试图通过给每个预测师赋予不同的权重来提高融合性能。权重可以根据预测师的个人表现（Cooke，参考文献Cooke1991；Hanea等人，参考文献Hanea, Wilkinson, McBride, Lyon, van Ravenzwaaij, Singleton Thorn, Gray, Mandel, Willcox和Gould2021）、他们的预测一致性（Karvetski等人，参考文献Karvetski, Olson, Mandel和Twardy2013）或他们可获得的信息量（Budescu和Rantilla，参考文献Budescu和Rantilla2000）来确定，或者可以优化以获得最佳性能（Ranjan和Gneiting，参考文献Ranjan和Gneiting2010）。由于线性意见池可能存在过度自信或低估的情况，因此还提出了修剪（Grushka-Cockayne等人，参考文献Grushka-Cockayne, Jose和Lichtendahl2017）和极端化（Baron等人，参考文献Baron, Mellers, Tetlock, Stone和Ungar2014）的线性意见池。除了线性意见池之外，还有乘法意见池，它们使用乘积而不是和来结合预测。例如独立意见池（Berger，参考文献Berger1985），它明确假设预测是独立的，并将各个预测相乘；或者几何（对数）池（Berger，参考文献Berger1985；Dietrich和List，参考文献Dietrich, List, Hájek和Hitchcock2016），它是预测的加权乘积。线性和乘法意见池也可以与概率预测的转换一起使用。例如probit平均（Satop??等人，参考文献Satop??, Salikhov, Tetlock和Mellers2023），它可以避免简单平均向0.5的偏斜；或者对数平均的几何平均值（Satop??等人，参考文献Satop??, Baron, Foster, Mellers, Tetlock和Ungar2014）。除了上述的线性和乘法池方法之外，还提出了不考虑预测师之间相关性的贝叶斯模型（Hanea等人，参考文献Hanea, Wilkinson, McBride, Lyon, van Ravenzwaaij, Singleton Thorn, Gray, Mandel, Willcox和Gould2021；Trick等人，参考文献Trick, Rothkopf和J?kel2023；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）。Hanea等人（参考文献Hanea, Wilkinson, McBride, Lyon, van Ravenzwaaij, Singleton Thorn, Gray, Mandel, Willcox和Gould2021）提出了一个无监督的贝叶斯模型，该模型不依赖于历史种子查询来学习预测师的行为。相比之下，Turner等人（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）引入了一系列不同的监督贝叶斯模型，这些模型要么首先校准预测，然后使用未加权的线性意见池进行融合，或者反过来。最后，Trick等人（参考文献Trick, Rothkopf和J?kel2023）明确假设预测是独立的，并使用条件于真实值的贝塔分布来建模它们。然而，人类预测师通常是相关的（Berger，参考文献Berger1985；Hogarth，参考文献Hogarth1978；Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Wilson和Farrow，参考文献Wilson, Farrow, Dias, Morton和Quigley2018；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019；Wiper和French，参考文献Wiper和French1995）。预测师之间的相关性可以归因于他们看到的是相似的数据（Morris，参考文献Morris1986；Winkler，参考文献Winkler1981；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019）、相似的训练（Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Winkler，参考文献Winkler1981；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019）和/或相似的方法论，例如作为预测辅助的统计程序（Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Morris，参考文献Morris1986；Winkler，参考文献Winkler1981；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019）。如果提供的预测是相关的，但使用的融合方法假设它们是独立的，那么融合预测可能会过度自信，因为低估了独特信息的数量，从而过度减少了不确定性（Trick等人，参考文献Trick, Rothkopf和J?kel2023；Trick和Rothkopf，参考文献Trick, Rothkopf, Camps-Valls, Ruiz和Valera2022；Wilson，参考文献Wilson2017）。因此，预测聚合方法应该明确考虑预测师之间的相关性，以避免过度自信并提高融合预测的性能（Wilson，参考文献Wilson2017）。事实上，根据McAndrew等人的综述（参考文献McAndrew, Wattanachit, Gibson和Reich2021），考虑预测师的相关性被认为是预测聚合中的主要挑战之一。已经有一些方法明确提出了针对相关预测的融合方法。Budescu和Chen（参考文献Budescu和Chen2015）引入了一个加权线性意见池，对于与其他预测师相关性较低的预测师赋予更高的权重。其他方法通过要求预测师不仅提供自己的预测，还提供其他预测师的预测平均值，来明确推断相关预测背后的共享信息量（Palley和Satop??，参考文献Palley和Satop??2023；Palley和Soll，参考文献Palley和Soll2019；Peker，参考文献Peker2023；Rilling，参考文献Rilling2025）。Satop??（参考文献Satop??2022）提出了一种无需额外预测其他预测师的预测就可以结合相关预测的贝叶斯模型。然而，他们的模型是无监督的，因此无法从历史种子查询中学习预测师的个别行为，包括他们之间的相关性。相比之下，Babic等人（参考文献Babic, Gaba, Tsetlin和Winkler2022）的模型依赖于历史数据，但假设已知导致预测的所有证据，包括导致预测师之间相关性的共享信息量。由于在实践中很难获得具体的证据，一些贝叶斯方法将导致预测的未知信息建模为潜在变量（Di Bacco等人，参考文献Di Bacco, Frederic和Lad2003；Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Satop??等人，参考文献Satop??, Pemantle和Ungar2016）。Di Bacco等人（参考文献Di Bacco, Frederic和Lad2003）考虑了两个预测事件H的概率预测。他们的模型假设两个预测师共享一些知识，以及一些只有特定预测师拥有的知识，分别表示为事件$G_1$和$G_2$。提供的预测被转换为赔率，并使用对数正态分布进行建模，同时考虑给定$G_1$和$G_2$的H的后验分布比率。然而，他们的方法相当理论化。目前尚不清楚如何从先验经验中获得模型参数。Satop??等人（参考文献Satop??, Pemantle和Ungar2016）为K个预测师的聚合提出了一个部分信息框架。他们将预测背后的信息建模为信息粒子，可以是正的或负的。如果所有粒子$X_S$的总和为正，则事件发生。每个预测师观察到一些粒子子集$B_i$，不同预测师的子集可以重叠，这导致了他们预测之间的相关性。粒子之和$X_S, X_{B_1}, \dots , X_{B_K}$使用具有零均值和等于不同子集中共享粒子数量的协方差的多变量正态分布进行建模。粒子之和$X_{B_i}$通过probit变换转换为概率预测。通过他们的模型，Satop??等人（参考文献Satop??, Pemantle和Ungar2016）展示了何时应该极端化预测的平均值，即向0或1偏移，以及这如何依赖于预测师共享的信息量。具有类似目标的Lichtendahl等人（参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022）也将导致预测的信息建模为信息粒子$x_i$。一些信息粒子对个别预测师来说是私有的，一些是所有预测师共享的。所有信息粒子$x_i$以及目标变量$x_t$（其值决定了真实值t）都遵循相同的分布，并对其进行共轭先验处理。通过应用贝叶斯规则，目标变量$x_t$的后验概率作为给定一些观察到的信息粒子$x_i$的融合结果进行计算，这些信息粒子又是由预测师提供的概率预测计算得出的。来自共享信息粒子的未知充分统计量被积分掉了。讨论了两种特定的共轭模型：Beta-Bernoulli和Normal-Normal。然而，为了适用于真实数据，该模型被简化了：假设在所有提供的预测条件下，真实值t的概率是一个广义线性模型。与上述明确建模导致预测结果的潜在信息的模型不同，其他贝叶斯模型只将提供的概率预测作为数据来建模（Bordley，参考文献Bordley1982；Clemen和Winkler，参考文献Clemen, Winkler和Viertl1987；French，参考文献French1980）。French（参考文献French1980）以及Clemen和Winkler（参考文献Clemen, Winkler和Viertl1987）将概率估计转换为对数几率，并用条件于真实值t的多元高斯分布来建模。通过他们的模型和一些历史训练数据，他们可以了解各个预测者在针对真实和虚假问题时的行为，即他们的偏差、方差和不确定性。此外，使用高斯分布，他们还可以建模各个预测者之间的相互关联。Bordley（参考文献Bordley1982）也使用了相同的多元高斯模型方法来推导出一个考虑预测者相关性的乘法融合规则权重。虽然将概率预测转换为对数几率并用多元高斯分布来建模在数学上很方便，并且可以直接表示预测之间的相关性，但另一种可能性是直接使用贝塔分布来建模，而无需任何转换。贝塔分布通常用于建模概率，因为它是贝叶斯统计学中概率的标准分布，也是伯努利分布的共轭先验。因此，在之前的工作中，我们使用条件于真实值t的贝塔分布来建模概率预测（Trick等人，参考文献Trick, Rothkopf和J?kel2023），并使用这个模型对概率预测进行规范聚合。然而，在那个模型中，我们假设不同预测者在给定真实值t的情况下提供的预测是条件独立的。这个假设在现实中通常不成立，导致我们的贝塔融合模型对两个真实世界数据集过于自信。因此，对于相关预测，这个模型并不具有规范性。它没有明确如何获得正确的融合不确定性。因此，在当前工作中，我们引入了一个考虑预测之间相关性的贝叶斯模型来组合概率预测。新模型也使用条件于真实值t的贝塔分布来表示预测。然而，在我们的模型中，我们还假设预测者对查询的预测取决于预测者的技能和查询的难度的相互作用。此外，我们假设不同预测者提供的预测之间的相关性可以归因于他们回答的是相同的问题，因为对所有预测者来说，有些问题容易，有些问题困难。由此产生的技能-难度相关融合模型明确地建模了预测者的技能和查询的难度，从而隐含地建模了预测之间的相关性，这可以被考虑用于融合。根据技能-难度相关融合模型进行预测融合在模型假设正确的情况下是规范的。特别是，相关预测可以被规范地融合。文章的其余部分结构如下。第2节介绍了我们的新技能-难度相关融合模型，包括其生成模型及其参数的讨论、为了可解释性和推断而进行的参数重新参数化、可以表示的相关性，以及参数推断和融合。第3节，我们展示了该模型的评估，包括所使用数据集的详细描述和交叉验证、估计的模型参数如何解释以及我们的模型如何适应数据，以及将技能-难度相关融合模型的融合性能与相关贝叶斯模型进行比较。最后，在第4节中，我们讨论了我们的结果并概述了结论、局限性和未来工作的想法。

2. 技能-难度相关融合模型
我们提出了技能-难度相关融合模型，这是一个贝叶斯生成模型，用于组合人类预测者提供的概率预测，该模型明确地建模了预测者的技能和查询的难度，从而隐含地建模了预测之间的相关性。在第2.1节介绍了生成模型后，我们在第2.2节讨论了模型参数的解释。在第2.3节中，我们为了参数的可解释性和推断的鲁棒性对模型进行了重新参数化，并在第2.4节讨论了可以使用该模型表示的相关性。在第2.5节中，我们概述了使用该模型的参数推断和融合。

2.1. 生成模型
我们假设K个人类预测者对N个二元查询提供主观概率估计，即预测。这些查询可以是事实陈述（要么为真要么为假），可以用是或否回答的问题，或者是任何其他真值为1或0的二元分类任务。对于每个查询，预测者提供的概率估计量化了他们对答案正确性的信念。概率为0表示预测者完全确定查询的真实值为0（例如，假/否），而概率为1表示预测者以完全的确定性假设真实值为1（例如，真/是）。我们将预测者k对查询n的预测表示为$x_n^k \in [0,1]$，其中$n = 1, \dots , N$，$k = 1, \dots , K$。查询n的真值表示为$t_n \in \{0,1\}$，对于$n = 1, \dots , N$。由于贝塔分布是建模概率的自然选择，之前的模型（Trick等人，参考文献Trick, Rothkopf和J?kel2023）假设预测$x_n^k$是在真值$t_n \in \{0,1\}$条件下呈贝塔分布的，即（2.1）
$$ \begin{align} x_n^k | t_n = j &\sim \text{Beta}(\alpha_j^k, \beta_j^k), \quad j=0,1. \end{align} $$
在从标记训练数据中学习到参数$\alpha_j^k$和$\beta_j^k$之后，该模型表示了每个预测者在给定真值$t_n$条件下的预测行为，包括他们的偏差、不确定性和方差。特别是，预测者k的偏差可以用贝塔分布的均值$\mu_j^k=\alpha_j^k/(\alpha_j^k+\beta_j^k)$来表示。如果$\mu _0^k<0.5$且$\mu _1^k>0.5$，我们定义预测者k是无偏的，因为他们平均提供了正确的预测。均值预测$\mu_j^k$也可以量化预测者k的不确定性：它越接近0或1，预测者的平均不确定性就越低。然而，预测者k实际提供的预测的不确定性还取决于他们的方差，这决定了他们的预测围绕均值$\mu_j^k$的集中程度。这种方差可以用贝塔分布的精度$p_j^k=\alpha _j^k + \beta _j^k$来表示，也称为其集中度参数（Huang，参考文献Huang2005）。精度越高，贝塔分布的方差就越低。不过，请注意，它并不是分布方差的倒数。虽然明确考虑了预测的学习行为，即它们的偏差、不确定性和方差，但是可以通过使用贝叶斯规则，根据预测$x_u^k$和学到的参数$\alpha _j^k$和$\beta _j^k$来推断真实值$t_u$，从而融合新的预测$x_u^k$。注意到，通过使用条件于真值$t_n$的贝塔分布来建模偏差、方差和不确定性，当预测者被融合时，他们也得到了隐式的校准。这意味着它们对于不匹配相对发生频率的过自信或低估的预测进行了校正，例如预测事件或判断为真实的陈述（Trick等人，参考文献Trick, Rothkopf和J?kel2023）。在之前的工作中，比较了这种贝塔融合模型的四种变体（Trick等人，参考文献Trick, Rothkopf和J?kel2023）。虽然在（2.1）中，对于$t_n=0$和$t_n=1$的预测分别使用了两种完全不同的贝塔分布，但模型的对称变体使用了对称的贝塔分布来表示$t_n=0$和$t_n=1$的预测，即（2.2）
$$ \begin{aligned} \begin{aligned} x_n^k | t_n = 0 &\sim \text{Beta}(\alpha^k, \beta^k)\\ x_n^k | t_n = 1 &\sim \text{Beta}(\beta^k, \alpha^k). \end{aligned} \end{aligned} $$
因此，它假设对于真实值为$t_n=0$的查询和真值为$t_n=1$的查询提供的预测在0.5周围是对称的。这种对称的贝塔融合模型特别有趣，因为它隐式地根据一个众所周知的校准函数——对数几率线性校准函数进行了校准（Trick等人，参考文献Trick, Rothkopf和J?kel2023）。对于模型 的非对称（2.1）和对称（2.2）变体，它们分别使用分层模型来建模每个预测者k，我们还研究了非分层模型变体，这些模型将预测者视为可互换的，并且只为所有预测者学习一组参数。上述所有贝塔融合模型的变体都假设不同预测者k提供的预测$x_n^k$在给定真值$t_n$的条件下是条件独立的。然而，对于现实世界的预测数据，这个假设通常不成立（Berger，参考文献Berger1985；Hogarth，参考文献Hogarth1978；Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Wilson和Farrow，参考文献Wilson, Farrow, Dias, Morton和Quigley2018；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019；Wiper和French，参考文献Wiper和French1995）。因此，我们对两个数据集的评估也显示了贝塔融合模型过于自信，这降低了它们的性能。因此，在这项工作中，我们扩展了贝塔融合模型以考虑预测者之间的相关性。与之前的贝塔融合模型一致，在我们的新技能-难度相关融合模型中，我们也使用条件于真值$t_n$的贝塔分布来建模预测$x_n^k$。同样，我们也假设条件于真值$t_n=0$和$t_n=1$的预测使用对称的贝塔分布进行建模，如（2.2）所示，因为之前的评估表明对称贝塔建模会导致更鲁棒的校准和更高的融合性能（Trick等人，参考文献Trick, Rothkopf和J?kel2023）。然而，我们不假设预测者k对查询n的预测$x_n^k$仅由预测者的行为生成，因此可以用特定于该预测者k的参数$\alpha ^k,\beta ^k$的贝塔分布来建模。相反，我们假设预测者k对查询n的预测$x_n^k$是由预测者k的属性（我们称之为他们的技能）和查询n的属性（我们称之为它的难度）共同生成的。因此，我们使用特定于预测者k的参数$\alpha _k$和$\beta _k$以及特定于查询n的参数$\gamma _n$和$\delta _n$来建模$x_n^k$。特别是，如果$t_n=0$，则使用参数$\alpha _k + \gamma _n$和$\beta _k + \delta _n$的贝塔分布来建模$x_n^k$。如果$t_n=1$，则参数变为$\beta _k+\delta _n$和$\alpha _k+\delta _n$（2.3）
$$ \begin{aligned} \begin{aligned} x_n^k | t_n=0 &\sim \text{Beta}(\alpha_k+\gamma_n, \beta_k+\delta_n)\\ x_n^k | t_n=1 &\sim \text{Beta}(\beta_k+\delta_n, \alpha_k+\gamma_n). \end{aligned} $$
真值$t_n$的先验分布是一个贝努利分布，参数为$\pi$，即真值为1的查询的比例。技能-难度相关融合模型的图形模型如图1所示。

2.2. 将模型参数解释为技能和难度
参数$\alpha _k$和$\beta _k$代表了预测者k的某种技能，因为它们独立于手头的查询n决定了预测者k提供的预测的偏差、方差和不确定性。因此，在下文中，$\alpha _k$和$\beta _k$将被称为技能参数。同样，参数$\gamma _n$和$\delta _n$代表了查询n的难度，因为它们独立于提供预测的具体预测者决定了查询n的预测的偏差、方差和不确定性。因此，我们称$\gamma _n$和$\delta _n$为难度参数。为了将技能参数$\alpha _k$和$\beta _k$与难度参数$\gamma _n$和$\delta _n$分开解释，我们可以将难度参数$\gamma _n$和$\delta _n$设置为接近0，这意味着只有预测者的属性决定了预测。在这种情况下，预测值 $x_n^k$ 的分布遵循 Beta($\alpha _k, \beta _k$) 分布，当 $t_n=0$ 时；以及Beta($\beta _k, \alpha _k$) 分布，当 $t_n=1$ 时。请注意，在这种参数化设置下，我们的“技能-难度相关融合模型”等同于之前在（2.2）中提出的独立贝塔融合模型的对称变体。如果实际数据的难度参数 $\gamma _n$ 和 $\delta _n$ 不为零，那么 Beta($\alpha _k, \beta _k$) 分布（对应 $t_n=0$）和 Beta($\beta _k, \alpha _k$) 分布（对应 $t_n=1$）并不能完全描述预测值 $x_n^k$。然而，这两个分布反映了如果我们假设查询的难度对预测者 k 的预测没有影响时会得出的预测结果。预测者 k 的偏差（这部分定义了他们的预测能力）由 $t_n=0$ 时的贝塔分布的均值决定，即 $\mu _k=\alpha _k/(\alpha _k+\beta _k)$。这个预测能力的均值描述了如果我们假设查询的难度对预测者 k 的预测没有影响时预期的平均预测结果。如果 $\mu _k<0.5$，我们认为预测者 k 是无偏的，因为他们的平均预测更接近真实值 $t_n$，因此对于离散的真实值（即 0 或 1）做出强制性的二进制决策会与真实值相匹配。因此，如果 $\beta _k>\alpha _k$，则预测者 k 是无偏的。预测者 k 的预测能力还受到他们不确定性的影响，这种不确定性也通过预测能力均值 $\mu _k$ 来量化。不确定性越大（即越接近 0.5），预测者 k 的预测就越不可靠。然而，预测能力均值 $\mu _k$ 只能提供关于平均不确定性的信息，而不能反映各个具体预测的实际不确定性，因为所提供的预测可能存在差异。预测者 k 在其预测能力均值周围的方差或变异性可以通过贝塔分布的预测精度 $\rho _k=\alpha _k+\beta _k$ 直接量化。因此，较低的精度意味着预测在均值周围的方差较大。预测能力参数 $\alpha _k$ 和 $\beta _k$，以及由此推导出的预测能力均值 $\mu _k$ 和预测精度 $\rho _k$，可以用来识别不同类型的预测者。假设我们假设查询的难度对他们的预测没有影响，那么一个技能高超的预测者会提供无偏且具有一定确定性的预测，其预测能力均值 $\mu _k$ 接近 0，并且预测精度很高。一个不确定性高的预测者会提供接近平均值 0.5 的预测，其预测能力均值 $\mu _k$ 接近 0.5 且预测精度也很高。如果 $\mu _k$ 接近 1 但预测精度很高，那么预测者 k 是有偏的，他们的预测总是不准确的，这可能是因为他们理解任务有误或缺乏足够的技巧。当设置技能参数 $\alpha _k$ 和 $\beta _k$ 接近 0 时，可以解释难度参数 $\gamma _n$ 和 $\delta _n$ 的含义。相应地，$x_n^k$ 的分布遵循 Beta($\gamma _n, \delta _n$)（对应 $t_n=0$）和 Beta($\delta _n, \gamma _n$）（对应 $t_n=1$）。尽管这些分布可能无法完全模拟实际情况（因为实际情况还受到提供预测的预测者技能的影响），但它们描述了如果我们假设预测者的技能对预测结果没有影响时，对于第 n 个查询所期望得到的预测。$t_n=0$ 时该分布的均值 $\eta _n = \gamma _n/(\gamma _n+\delta _n)$，量化了在预测者的技能对预测结果没有影响的情况下，第 n 个查询的平均预测值。这个均值决定了预测结果的偏差，而这部分又定义了查询的难度。如果 $\eta _n<0.5$，即 $\delta _n>\gamma _n$，那么对第 n 个查询的预测是无偏的。因此，预测者平均而言提供了正确的答案，说明这个查询相对容易。然而，查询的难度也受到预测结果不确定性的影响。对第 n 个查询的预测结果的平均不确定性由难度均值 $\eta _n$ 来量化。越接近 0 或 1 的难度均值，预测结果的不确定性就越低。难度精度 $\phi _n=\gamma _n+\delta _n$ 量化了第 n 个查询的预测结果在难度均值 $\eta _n$ 附近的集中程度，即它们之间的方差。给定难度均值 $\eta _n$ 和难度精度 $\phi _n$，我们可以识别出特殊类型的查询。如果 $\eta _n$ 接近 0 且预测精度很高，那么第 n 个查询是一个非常简单的查询，预测者提供的预测是无偏且确定的，方差低，这意味着预测能力均值 $\mu _k$ 接近 0 且预测精度很高。如果 $\mu _k$ 接近 1 且预测精度很高，那么预测者 k 是一个有偏的错误预测者，他们的预测总是不准确的，不确定性低且方差也低，可能是因为他们没有正确理解任务或者是在故意误导。通过将技能参数 $\alpha _k$ 和 $\beta _k$ 设置接近 0，可以解释难度参数 $\gamma _n$ 和 $\delta _n$。因此，$x_n^k$ 的分布遵循 Beta($\gamma _n, \delta _n$)（对应 $t_n=0$）和 Beta($\delta _n, \gamma _n$）（对应 $t_n=1$）。尽管这些分布可能无法完全模拟实际情况（因为实际情况还受到预测者技能的影响），但它们描述了如果我们假设预测者的技能对预测结果没有影响时，对第 n 个查询所期望得到的预测结果。$t_n=0$ 时该分布的均值 $\eta _n = \gamma _n/(\gamma _n+\delta _n)$ 映射了在预测者的技能对预测结果没有影响的情况下，第 n 个查询的平均预测值。它决定了对第 n 个查询的预测偏差，而这部分又定义了查询的难度。如果难度均值 $\eta _n<0.5$，即 $\delta _n>\gamma _n$，那么对第 n 个查询的预测是无偏的。因此，预测者平均而言提供了正确的答案，说明这个查询相对容易。然而，查询的难度也受到预测结果不确定性的影响。对第 n 个查询的预测结果的平均不确定性由难度均值 $\eta _n$ 的不确定性来量化。更极端的难度均值（接近 0 或 1）意味着对第 n 个查询的预测结果的平均不确定性更低。难度精度 $\phi _n=\gamma _n+\delta _n$ 量化了对第 n 个查询的预测结果在难度均值 $\eta _n$ 附近的集中程度，即它们的方差。根据难度均值 $\eta _n$ 和难度精度 $\phi _n$，我们可以识别出特殊类型的查询。如果 $\eta _n$ 接近 0 且预测精度很高，那么第 n 个查询是一个非常简单的查询，预测者提供的预测是无偏且确定的，方差低，因为我们假设预测者的技能对预测结果没有影响。对于复杂的查询，我们可以区分两种类型：未知查询和迷惑性查询。对于未知查询，$\eta _n$ 接近 0.5 且预测精度很高，因此预测者不知道答案，所以提供的预测是不确定的且方差低。相反，对于迷惑性查询，他们提供的预测是确定的但有偏的，方差也低，因为他们以为自己知道正确答案但实际上并不知道。在这种情况下，$\eta _n$ 接近 1 且预测精度很高。需要注意的是，虽然我们将技能定义为预测者的属性，难度定义为查询的属性，但预测者的技能和查询的难度都可以通过相关预测者所拥有的信息来解释。一个查询只有在大多数预测者对其缺乏信息时才能被视为未知查询。同时，简单查询需要大多数预测者分享关于该查询的正确信息，而迷惑性查询则需要大多数预测者分享错误的信息。相比之下，预测者的技能可以归因于该预测者的私有信息。

2.3 模型重新参数化
由于技能和难度可以直接用预测能力均值和精度以及难度均值和精度来量化（参见第2.2节），我们对“技能-难度相关融合模型”进行了重新参数化：我们不再使用 $\alpha$ 和 $\beta$ 来参数化贝塔分布，而是使用贝塔分布的均值 $\mu = \alpha / (\alpha + \beta)$ 和精度 $\rho = \alpha + \beta$ 作为参数，并将新的分布称为 beta $^{\prime}$。这种重新参数化提高了用于推断的吉布斯采样的稳定性，并增强了模型参数和先验的可解释性。特别是，预测者 k 的技能现在直接通过他们的预测能力均值 $\mu _k$ 和预测精度 $\rho _k$ 来表示，而查询 n 的难度则通过其难度均值 $\eta _n$ 和难度精度 $\phi _n$ 来表示（如第2.2节所定义）。因此，预测值 $x_n^k$ 现在遵循以下分布（2.4）：
$$
\begin{align}
\begin{aligned}
x_n^k|t_n = 0 &\sim \text{Beta}^{\prime}\left(\frac{\mu_k\rho_k+\eta_n\phi_n}{\rho_k+\phi_n}, \rho_k + \phi_n) \\
x_n^k|t_n = 1 &\sim \text{Beta}^{\prime}\left(\frac{(1-\mu_k)\rho_k+(1-\eta_n)\phi_n}{\rho_k+\phi_n}, \rho_k + \phi_n\right).
\end{aligned}
\end{align}
$$
包含所有先验的完整模型如图2所示。正如我们在第2.2节中讨论的，如果预测者 k 是无偏的，那么他们的预测能力均值 $\mu _k$ 应该低于0.5。为了在我们的模型中明确体现这一点，我们根据二进制变量 $y_k$ 来确定 $\mu _k$ 的值，$y_k$ 表示预测者 k 是否无偏（$y_k = 0$）。如果是这种情况，$\mu _k$ 被设置为 $\lambda _k$，$\lambda _k$ 遵循一个缩放后的贝塔 $^{\prime}$ 分布，其均值为 $u_{\lambda}$，精度为 $p_{\lambda}$，并且通过缩放使得值只在0到0.5的范围内。对于有偏的预测者（$y_k=1$），$\mu _k$ 被设置为 $1-\lambda _k$，因此其值在0到1之间。对偏差指示变量 $y_k$ 的先验是一个伯努利分布，参数为 v，它表示有偏预测者的比例。对预测精度 $\rho _k$ 的先验是一个伽马分布，形状参数为 $r_1$，速率参数为 $r_2$。难度参数的先验也以相同的方式建模。$\eta _n$ 根据指示变量 $z_n$ 被确定为 $\theta _n$（如果 $z_n=0$）或 $1-\theta _n$（如果 $z_n=1$）。$z_n$ 表示一个查询是简单查询（$\eta _n < 0.5$）还是迷惑性查询（$\eta _n > 0.5$）。因此，$\theta _n$ 遵循一个缩放后的贝塔 $^{\prime}$ 分布，均值为 $u_{\theta}$，精度为 $p_{\theta}$，值在0到0.5之间。$z_n$ 是一个伯努利变量，参数为 w，它表示迷惑性查询的比例。难度精度 $\phi _n=\gamma _n+\delta _n$ 量化了对第 n 个查询的预测结果在难度均值 $\eta _n$ 附近的集中程度，即它们的方差。根据难度均值 $\eta _n$ 和难度精度 $\phi _n$，我们可以识别出特殊类型的查询。如果 $\eta _n$ 接近0且预测精度很高，那么第 n 个查询是一个非常简单的查询，预测者提供的预测是无偏且确定的，方差低，这意味着预测能力均值 $\mu _k$ 接近0且预测精度很高。如果 $\mu _k$ 接近1且预测精度很高，那么预测者 k 是一个有偏的错误预测者，他们的预测总是不准确的，不确定性低且方差也低，这可能是因为他们没有正确理解任务或是在故意误导。通过将技能参数 $\alpha _k$ 和 $\beta _k$ 设置接近0，可以解释难度参数 $\gamma _n$ 和 $\delta _n$ 的含义。相应地，$x_n^k$ 的分布遵循 Beta($\gamma _n, \delta _n$）（对应 $t_n=0$）和 Beta($\delta _n, \gamma _n$）（对应 $t_n=1$）。虽然这些分布可能无法完全模拟实际情况（实际情况还受到提供预测的预测者技能的影响），但它们描述了如果我们假设预测者的技能对预测结果没有影响时，对第 n 个查询所期望得到的预测结果。$t_n=0$ 时该分布的均值 $\eta _n = \gamma _n/(\gamma _n+\delta _n)$ 量化了在预测者的技能对预测结果没有影响的情况下，对第 n 个查询的平均预测值。它决定了对第 n 个查询的预测偏差，而这部分又定义了查询的难度。如果难度均值 $\eta _n<0.5$，即 $\delta _n>\gamma _n$，那么对第 n 个查询的预测是无偏的。因此，预测者平均而言提供了正确的答案，说明这个查询相对容易。然而，查询的难度也受到预测结果不确定性的影响。对第 n 个查询的预测结果的平均不确定性由难度均值 $\eta _n$ 的不确定性来量化。更极端的难度均值（接近0或1）意味着对第 n 个查询的预测结果的平均不确定性更低。难度精度 $\phi _n=\gamma _n+\delta _n$ 量化了对第 n 个查询的预测结果在难度均值 $\eta _n$ 附近的集中程度，即它们的方差。给定难度均值 $\eta _n$ 和难度精度 $\phi _n$，我们可以识别出特殊类型的查询。如果 $\eta _n$ 接近0且预测精度很高，那么第 n 个查询是一个非常简单的查询，预测者提供的预测是无偏且确定的，方差低，这意味着预测能力均值 $\mu _k$ 接近0且预测精度很高。如果 $\mu _k$ 接近1且预测精度很高，那么预测者 k 是一个有偏的错误预测者，他们的预测总是不准确的，不确定性低且方差也低，这可能是因为他们没有正确理解任务或者是在故意误导。

2.4 模型中的相关性
“技能-难度相关融合模型”可以模拟预测结果之间的正相关性。一方面，它可以模拟两个预测者 l 和 m 对不同查询 $x^l$ 和 $x^m$ 提供的预测结果之间的相关性，其中预测者 l 和 m 的技能参数固定为 $\mu _l$ 和 $\rho _l$，$\phi _l$ 和 $\rho _m$，但难度参数 $\eta _n$ 和 $\phi _n$ 是可变的。这种相关性是由于预测者看到的是相同的查询（例如简单查询、未知查询或迷惑性查询）造成的。由于预测者共享信息并且有类似的训练和/或认知估计偏差，他们对这些简单、未知或迷惑性查询的预测相似，因此这些预测结果是相关的。另一方面，“技能-难度相关融合模型”可以表示多个预测者对两个查询 $x_p$ 和 $x_q$ 提供的预测结果之间的相关性，其中查询 p 和 q 的难度参数固定为 $\eta _p$ 和 $\phi _p$，$\phi _q$ 和 $\phi _q$，但技能参数 $\mu _k$ 和 $\rho _k$ 是可变的。这些对查询 p 和 q 的预测结果可能是相关的，因为它们来自相同的预测者。在这项工作中，我们将使用“技能-难度相关融合模型”来结合不同预测者对同一查询提供的预测结果，同时考虑这些预测者在不同查询上的潜在相关性。因此，这里我们关注上述第一种相关性：两个预测者 l 和 m 对不同查询 $x^l$ 和 $x^m$ 提供的预测结果之间的相关性。如（2.4）所示，两个预测者 l 和 m 对查询 n 的预测 $x_n^l$ 和 $x_n^m$ 在给定 $\eta _n$ 和 $\phi _n$ 的条件下是条件独立的，因为它们是从贝塔 $^{\prime}$ 分布中独立抽取的。因此，如果所有建模的查询难度相同（即对所有 n 来说 $\eta _n$ 和 $\phi _n$ 是相同的），那么不同预测者提供的预测结果之间就没有相关性。如果 additionally $\phi _n=0$ 对所有 n 都成立（即在（2.3）中的原始参数化中 $\gamma _n=\delta _n=0$），那么可以很容易地看出我们的模型等同于（2.2）中展示的具有对称贝塔分布的独立贝塔融合模型。虽然 $x_n^l$ 和 $x_n^m$ 在给定 $\eta _n$ 和 $\phi _n$ 的条件下是条件独立的，但预测者 l 和 m 对不同查询 $x^l$ 和 $x^m$ 提提供的多个预测结果并不是无条件独立的。如果查询的难度不同（正如我们在现实中所预期的），那么 $x^l$ 和 $x_n^m$ 是正相关的。两个预测者之间的相关性受到他们的预测在多大程度上取决于他们各自的技能以及共享查询的难度的影响。如果查询的难度主要决定了预测结果，那么不同预测者对相同查询（例如，简单的、未知的或具有陷阱的查询）给出相似预测的原因是他们之间共享的信息。在这种情况下，预测结果具有高度相关性。另一方面，如果个别预测者的技能主要决定了预测结果，那么预测者的个人私有信息将影响预测，导致相关性较低。个体预测者技能与查询难度之间的权衡通过技能参数$\mu_k, \rho_k$和难度参数$\eta_n, \phi_n$之间的关系来量化。特别是技能精度$\rho_k$和难度精度$\phi_n$之间的关系在很大程度上决定了相关性。与技能精度参数$\rho_k$相比，更高的难度精度参数$\phi_n$意味着共享查询的难度对预测结果的影响大于个体预测者的技能。因此，不同预测者提供的预测结果之间的相关性会增加。特别是，如果难度精度$\phi_n$在技能参数固定时趋向于无穷大，那么相关性趋向于1。在这种情况下，预测结果完全由查询的难度决定，所以所有预测者都会给出相同的预测。相反，如果难度精度$\phi_n$在技能参数固定时趋向于0，那么相关性趋向于0，因为在这种情况下，预测结果仅由预测者的技能决定。当然，固定$\phi_n$时，难度参数$\eta_n$也会影响相关性，例如，通过决定陷阱查询的数量。图3展示了三种模型规格，它们导致两个预测者的预测结果之间具有不同的相关性。对于图3(a)中接近0的非常低的相关性，难度精度参数$\phi_n$来自形状为0.1、速率为1,000的伽马分布，导致$\phi_n$非常小，接近0。对于图3(b)中的中等相关性，难度精度$\phi_n$大约为8，来自形状为4、速率为0.5的伽马分布。对于图3(c)中接近1的非常高的相关性，难度精度$\phi_n$来自形状为1,000、速率为0.1的伽马分布。

为了使用“技能-难度相关融合模型”来结合多个主观概率估计，需要推断模型的参数。如图2中的图形模型所示，对于N个训练查询（用$n=1,\dots,N$索引），观察到了预测结果$x_n^k$以及相应的真实值$t_n$。对于M个融合查询（用$n=N+1,\dots,N+M$索引），只观察到K个预测者提供的预测结果$x_n^k$，并需要推断真实值$t_n$的后验分布以便融合这些预测结果。此外，模型中的所有其他参数，包括预测者的技能参数及其超参数、训练和融合查询的难度参数及其超参数以及真实查询的比例$\pi$，也需要从提供的训练和融合查询中推断出来。模型中的推断是使用Gibbs-MH采样进行的，Gibbs采样步骤的概率为0.9，MH步骤的概率为0.1。在MH步骤中，我们建议同时反演融合查询的$t_n$和$z_n$。这是必要的，因为$t_n$的后验可能是双峰的，所以标准Gibbs采样可能会陷入其中一个模式。$t_n$后验可能呈现双峰性的原因是我们不知道融合查询的难度参数。特别是，指示变量$z_n$对于陷阱查询可能是0或1。因此，例如，所有预测结果$x_n^k$都接近1的查询可能是一个真实的简单查询，其$t_n=1$且$z_n=0$，或者是一个错误的陷阱查询，其$t_n=0$且$z_n=1$。我们的MH步骤允许采样器探索这两种可能性。完整的联合分布可以在补充材料的第1部分找到，从中可以推导出Gibbs采样所需的所有方程。

为了评估所提出的“技能-难度相关融合模型”，我们在知识测试置信度（KTeC）数据集（第3.1节）上使用留一法（LOO）交叉验证（第3.2节）进行评估。对于示例性的预测者和查询，我们展示了如何解释模型的参数以及模型如何适应数据（第3.3节）。此外，我们还评估了“技能-难度相关融合模型”与之前提出的贝叶斯融合模型在Brier分数、平均绝对误差和熵方面的性能（第3.4节）。

**3.1 知识测试置信度数据集**
KTeC数据集（Trick等人，参考文献Trick, Rothkopf和J?kel 2023）包含了85名人类预测者对180个查询的主观概率估计。每位预测者对所有180个查询都提供了一个预测，总共有15,300个主观概率估计。这些查询是知识陈述，它们要么是错误的（$t_n=0$），要么是正确的（$t_n=1$），并且错误和正确的陈述数量是平衡的。其中有一些查询是大多数预测者都知道的简单查询，例如“伦敦是英格兰的首都”（$t_n=1$），也有一些难以预测的查询。难以预测的查询要么是大多数预测者不知道的，例如“《存在与虚无》写于1943年”（$t_n=1$），要么是大多数预测者判断错误的陷阱查询，例如“美国的官方语言是英语”（在数据收集时，即2025年3月1日之前，$t_n=0$）。这些预测者是奥斯纳布吕克大学的学生。他们的概率预测是他们對给定陈述的信心判断。信心值为0表示预测者100%确定该陈述是错误的，而信心值为1表示预测者100%确定该陈述是正确的。预测结果可以在0到1之间的11个离散步骤中提供。在以下评估中，我们将0和1的预测结果预处理为0.001到0.999，以避免计算问题。请注意，在之前的工作中，我们已经证明这种分数校正对融合结果没有显著影响（Trick等人，参考文献Trick, Rothkopf和J?kel 2023）。在KTeC数据集中，不同预测者的预测结果之间存在相关性。对于真实值为0的查询，两个预测者之间的相关性平均为0.293；对于真实值为1的查询，相关性平均为0.333。关于数据集的更多细节，例如查询陈述的设计方式，可以在Trick等人（参考文献Trick, Rothkopf和J?kel 2023）的工作中找到。

**3.2 交叉验证**
我们使用LOO交叉验证在上述KTeC数据集上评估“技能-难度相关融合模型”。因此，我们将包含180个查询的数据集分成180个训练集和测试集。每个训练集由所有85位预测者对179个训练查询的预测结果及其已知的真实值组成。对于我们不知道真实值的剩余一个融合查询，其预测结果构成了相应的测试集。模型训练和测试的推断，即融合，是使用Gibbs-MH采样同时完成的，Gibbs采样的概率为0.9，MH步骤的概率为0.1。在MH步骤中，我们建议同时反演融合查询的$t_n$和$z_n$。这是必要的，因为$t_n$的后验可能是双峰的，所以标准Gibbs采样可能会陷入其中一个模式。$t_n$后验可能呈现双峰性的原因是我们不知道融合查询的难度参数。特别是，指示变量$z_n$对于陷阱查询可能是0或1。因此，例如，所有预测结果$x_n^k$都接近1的查询可能是一个真实的简单查询，其$t_n=1$且$z_n=0$，或者是一个错误的陷阱查询，其$t_n=0$且$z_n=1$。我们的MH步骤允许采样器探索这两种可能性。完整的联合分布可以在补充材料的第1部分找到，从中可以推导出Gibbs采样所需的所有方程。

**3.3 参数解释和模型拟合**
在第2.2节中，我们概述了如何理论上解释技能参数$\alpha_k, \beta_k$或$\mu_k$和$\rho_k$以及难度参数$\gamma_n,\delta_n$或$\eta_n$和$\phi_n$。接下来，我们将分析和解释在KTeC数据集的LOO交叉验证训练分割1中推断出的参数。我们讨论了推断出的参数揭示了关于我们数据集的信息，并展示了这些参数以及“技能-难度相关融合模型”如何适应训练数据。下面指定的参数值是使用Gibbs-MH采样推断出的后验分布的平均值。我们模型推断出的技能超参数$u_{\lambda}, p_{\lambda}, v, r_1, r_2$表明，KTeC数据集中的预测者平均上是无偏的，并且提供的预测更加确定。从估计的值$u_{\lambda}=0.85$, $p_{\lambda}=12.19$, $v=0.2$, $r_1=2.74$, $r_2=4.71$中，我们可以推断出一个无偏且不太确定的平均技能均值$\mu_k=0.45<0.5$。由于平均技能精度$\rho_k=0.58$较低，平均提供的预测结果并不集中在不确定的技能均值上，而是更加确定，倾向于0和1。$\mu_k$和$\rho_k$的方差较低，$\text{Var}(\mu_k)=0.01$和$\text{Var}(\rho_k)=0.12$，因此不同预测者的表现相似。通过查看图4(a)，可以更清楚地了解KTeC数据集中预测者的技能情况，该图展示了训练分割1中所有85位预测者的个体技能均值$\mu_k$和技能精度$\rho_k$。如图所示，有些预测者是无偏的（技能均值$\mu_k<0.5$），有些是有偏的（技能均值$\mu_k>0.5），有些预测者的预测变异性低（技能精度$\rho_k$高），有些预测者的预测变异性高（技能精度$\rho_k$低）。例如，高亮的预测者11提供了无偏的预测，其技能均值较低，而预测者10提供了有偏的预测，其技能均值较高。另一方面，预测者63提供了不确定的预测，其技能均值接近0.5且技能精度较高。然而，总体而言，预测者的技能相当相似，如上面报告的$\mu_k$和$\rho_k$的较低方差所示。因此，推断出的技能超参数很好地描述了KTeC数据集中的预测者。

**图4**概括了KTeC数据集中不同预测者的技能（a）和不同查询的难度（b）。我们绘制了所有85位预测者的技能均值$\mu_k$与技能精度$\rho_k$（a）以及训练分割1中训练查询2-180的难度均值$\eta_n$与难度精度$\phi_n$（b）的关系（LOO交叉验证）。低均值表示预测者k或查询n提供的预测是无偏的，高均值表示预测是有偏的。低精度表示预测者k或查询n提供的预测变异性高，高精度表示预测变异性低。我们高亮了示例预测者10、11和63以及示例查询2、6、72、92、123和164。由于均值的标准误差过小而无法显示，因此没有包括误差条。推断出的难度超参数 $u_{\theta }, p_{\theta }, w, f_1, f_2$ 的值分别为 $u_{\theta }=0.53$、$p_{\theta }=1.17$、$w=0.14$、$f_1=1.56$ 和 $f_2=1.06$，显示平均难度为 $\eta _n=0.33<0.5$，平均难度精度为 $\phi _n=1.47$，表明 KTeC 数据集中提供的预测查询在平均上是无偏的，具有中等不确定性和较低的方差。因此，这些查询总体上来说是相当容易的。$\eta _n$ 和 $\phi _n$ 的方差大于 $\mu _k$ 和 $\rho _k$ 的方差，分别为 $\text {Var}(\eta _n)=0.06$ 和 $\text {Var}(\phi _n)=1.4$，这意味着 KTeC 数据集中的查询难度比预测者的技能更具变异性。这一点也可以从图 4(b) 中看出，该图显示了训练集 1 中所有 179 个查询的难度均值 $\eta _n$ 和难度精度 $\phi _n$。与图 4(a) 中的技能相比，难度更加多样化。例如，有一些非常简单的查询，如标记为 92 的查询，预测者提供了无偏且确定的预测，即难度均值很低且难度精度很高。相比之下，也有一些复杂的查询，如标记为 164 的查询，预测者提供的预测有偏差，导致难度均值很高。其他查询的结果不太明确，例如标记为 123 的查询，其难度均值接近 0.5 且难度精度很高，因此预测者对这些查询的预测也不确定。尽管查询的难度多样，但简单查询的数量远多于困难查询，这从较低的难度均值可以看出。这些发现与上述推断出的难度超参数的解释一致，这些超参数表明平均难度较低，但平均难度精度较高，且难度参数的方差大于技能参数的方差。为了更详细地分析个别预测者的技能和查询的难度，下面我们将展示图 4 中标出的代表性预测者（第 3.3.1 节）和代表性查询（第 3.3.2 节）提供的预测，并解释相应的推断出的技能或难度参数以及我们的技能-难度相关融合模型如何适应所显示的数据。

3.3.1 预测者的技能
图 5 显示了三位代表性预测者（预测者 11、预测者 63 和预测者 10）对训练集 1 中的 179 个查询提供的预测。为了能够在不区分正确标记为 $t_n=0$ 和 $t_n=1$ 的查询的情况下展示他们的技能，我们将所有正确标记为 $t_n=1$ 的查询的预测结果进行了反转。因此，如果预测值 $x_n^k<0.5$，则认为预测是正确的，数值越低，预测越确定。我们在直方图中绘制了预测者 k 对所有查询提供的预测的相对频率。曲线上显示的是根据我们模型（2.4）预测者 k 提供的所有预测的学习分布。虽然技能参数 $\mu _k$ 和 $\rho _k$ 是固定的，但对于所示数据中的每个单独预测，难度参数 $\eta _n$ 和 $\phi _n$ 是不同的，因为它们是针对不同查询提供的。因此，所示的分布是 β$^{\prime}$ 分布的混合体，其混合成分是根据预测者 k 的技能参数 $\mu _k$ 和 $\rho _k$ 以及训练集中所有 179 个查询的难度参数 $\eta _n$ 和 $\phi _n$ 得出的 179 个 β$^{\prime}$ 分布。所有混合权重都是相等的，因为所有查询对分布的影响相同。由于我们将正确标记为 $t_n=1$ 的查询的预测结果进行了反转，以便不管查询的真实值如何都能展示预测者的技能，因此在 β$^{\prime}$ 分布的混合体中，我们使用了模型（2.4）中 $t_n=0$ 时的参数化。

图 5 显示了三位代表性预测者根据我们的技能-难度相关融合模型提供的预测。我们在直方图中展示了预测者 11（a）、预测者 63（b）和预测者 10（c）对训练集 1 中的 179 个查询提供的预测的相对频率。正确标记为 $t_n=1$ 的查询的预测结果被反转，以便展示预测者的技能，而不考虑查询的真实值。因此，如果预测值 $x_n^k<0.5$，则预测是正确的。曲线显示了根据我们模型（2.4）预测者 k 提供的所有预测的估计分布。由于所示数据中的每个单独预测的难度参数 $\eta _n, \phi _n$ 是不同的，所示的分布是由根据预测者 k 的技能参数 $\mu _k,\rho _k$ 和训练集中所有 179 个查询的难度参数 $\eta _n, \phi _n$ 得出的 179 个 β$^{\prime}$ 分布组成的等权重混合体。请注意，图 5 中所示的示例预测者的数据和分布是预测者技能和查询难度共同作用的结果。如果所示的预测者为不同的查询提供预测，结果会有所不同。特别是，根据推断出的超参数 $u_{\theta }, p_{\theta }, w, f_1, f_2$，查询总体上来说相当容易。因此，考虑到他们的技能，预测者提供的预测比他们可能对更困难查询的预测更准确。图 5(a) 中显示的预测者 11 是一位技术娴熟的预测者，他正确且自信地判断了大多数查询。与数据相匹配，生成所示 β$^{\prime}$ 分布混合体的相应估计技能参数为 $\mu _{11}=0.37$ 和 $\rho _{11}=0.16$。因此，技能均值 $\mu _{11}$ 低于 0.5，表明预测者 11 提供的预测通常是无偏的。虽然预测 $x^{11}$ 的平均不确定性中等，但技能精度 $\rho _{11}$ 较低，为 $\rho _{11}=0.16$。因此，预测并不集中在技能均值附近，所以预测者 11 提供的预测大多数是确定的，且接近 1。图 5(b) 中的预测者 63 是一位预测非常不稳定的预测者。平均而言，预测者 63 也提供无偏的预测，技能均值 $\mu _{63}=0.48<0.5$。然而，他的技能均值非常接近 0.5。结合高技能精度 $\rho _{63}=3.13$，技能参数表明预测者 63 提供的预测相当不确定。对于图 5(c) 中显示的预测者 10，我们推断出的技能参数为 $\mu _{10}=0.59$ 和 $\rho _{10}=0.32$。高于 0.5 的技能均值表明预测者 10 提供的预测通常是有偏的，尽管我们假设查询的难度对其预测没有影响。有趣的是，仅从数据本身看不出来这一点。图 5(c) 中显示的提供预测和推断出的分布表明，预测者 10 提供的正确预测多于错误预测。这种差异可以用数据集中查询的难度来很好地解释。如上所述，根据推断出的难度超参数，评估的 KTeC 数据集中的查询相对容易。因此，尽管他们的预测通常是正确的，但由于查询太简单，模型仍认为预测者 10 是有偏的。因此，所提出的技能-难度相关融合模型的一个优势是它可以独立于（多数简单的）查询来量化预测者的技能，因此即使他们的预测看起来没有偏差，我们也能识别出有偏的预测者。对于图 5 中显示的所有三位预测者，我们看到由蓝色曲线表示的特定预测者提供的预测的学习分布与直方图可视化的数据相匹配。

3.3.2 查询的难度
在图 6 中，我们展示了在 LOO 交叉验证的训练集 1 中所有 85 位预测者对六个特定查询提供的预测。与图 5 中的预测者相同，我们也反转了正确标记为 $t_n=1$ 的查询的预测结果，以便不论查询的真实值 $t_n$ 如何都能展示查询的难度。因此，如果预测值 $x_n^k<0.5$，则预测是正确的。我们在直方图中绘制了所有预测者对特定查询提供的预测的相对频率。曲线上显示的是根据我们模型（2.4）针对特定查询提供的所有预测的分布。在这里，特定查询 n 的难度参数 $\eta _n$ 和 $\phi _n$ 是固定的，而技能参数 $\mu _k$ 和 $\rho _k$ 对于不同的预测是不同的，因为它们是由不同的预测者提供的。因此，所示的分布是由根据预测者 k 的技能参数 $\mu _k, \rho _k$ 和训练集中所有 85 个查询的难度参数 $\eta _n, \phi _n$ 得出的 85 个 β$^{\prime}$ 分布组成的等权重混合体。

图 6 显示了根据我们的技能-难度相关融合模型为六个示例查询提供的预测及其估计分布。我们在直方图中展示了所有 85 位预测者对训练集 1 中的查询 92（a）、164（b）、123（c）、6（d）、72（e）和 2（f）提供的预测的相对频率。正确标记为 $t_n=1$ 的查询的预测被反转，以便不论查询的真实值如何都能展示查询的难度。因此，如果预测值 $x_n^k<0.5$，则预测是正确的。曲线显示了根据我们模型（2.4）预测者 k 提供的所有预测的估计分布。由于所示数据中每个单独预测的难度参数 $\eta _n, \phi _n$ 是不同的，所示的分布是由根据预测者 k 的技能参数 $\mu _k,\rho _k$ 和训练集中所有 179 个查询的难度参数 $\eta _n, \phi _n$ 得出的 85 个 β$^{\prime}$ 分布组成的等权重混合体。请注意，图 5 中示例预测者的数据和分布是预测者技能和查询难度共同作用的结果。如果不同的预测者为这些查询提供预测，结果会有所不同。特别是，正如推断出的超参数 $u_{\theta }, p_{\theta }, w, f_1, f_2$ 所示，查询总体上来说相当容易。因此，考虑到他们的技能，预测者提供的预测比他们可能对更困难查询的预测更准确。图 5(a) 中显示的预测者 11 是一位技术娴熟的预测者，他正确且自信地判断了大多数查询。与数据相匹配，生成所示 β$^{\prime}$ 分布混合体的相应估计技能参数为 $\mu _{11}=0.37$ 和 $\rho _{11}=0.16$。因此，技能均值 $\mu _{11}$ 低于 0.5，表明预测者 11 提供的预测通常是无偏的。虽然预测 $x^{11}$ 的平均不确定性中等，但技能精度 $\rho _{11}$ 较低，为 $\rho _{11}=0.16$。因此，预测并不集中在技能均值附近，所以预测者 11 提供的预测大多数是确定的，且接近 1。图 5(b) 中的预测者 63 是一位预测非常不稳定的预测者。平均而言，预测者 63 也提供无偏的预测，技能均值 $\mu _{63}=0.48<0.5$。然而，他的技能均值非常接近 0.5。结合高技能精度 $\rho _{63}=3.13$，技能参数表明预测者 63 提供的预测相当不确定。对于图 5(c) 中显示的预测者 10，我们推断出的技能参数为 $\mu _{10}=0.59$ 和 $\rho _{10}=0.32$。高于 0.5 的技能均值表明预测者 10 提供的预测通常是有偏的，因为假设查询的难度对其预测没有影响。有趣的是，仅从数据本身看不出来这一点。图 5(c) 中显示的提供预测和推断出的分布表明，预测者 10 提供的正确预测多于错误预测。这种差异可以通过数据集中查询的难度来很好地解释。如上所述，根据推断出的难度超参数，评估的 KTeC 数据集中的查询相对容易。因此，尽管他们的预测通常是正确的，但由于查询太简单，模型仍认为预测者 10 是有偏的。因此，所提出的技能-难度相关融合模型的一个优势是它可以独立于（大多数简单的）查询来量化预测者的技能，因此即使他们的预测看起来没有偏差，我们也能识别出有偏的预测者。对于图 5 中显示的所有三位预测者，我们看到由蓝色曲线表示的特定预测者提供的预测的学习分布与直方图可视化的数据很好地匹配。

3.3.2 查询的难度
在图 6 中，我们展示了在 LOO 交叉验证的训练集 1 中所有 85 位预测者对六个特定查询提供的预测。与图 5 中的预测者相同，我们也反转了正确标记为 $t_n=1$ 的查询的预测结果，以便不论查询的真实值 $t_n$ 如何都能展示查询的难度。因此，如果预测值 $x_n^k<0.5$，则预测是正确的。我们在直方图中绘制了所有预测者对特定查询提供的预测的相对频率。曲线上显示的是根据我们模型（2.4）针对特定查询提供的所有预测的分布。在这里，特定查询 n 的难度参数 $\eta _n$ 和 $\phi _n$ 是固定的，而不同预测的技能参数 $\mu _k$ 和 $\rho _k$ 是不同的，因为它们是由不同的预测者提供的。因此，所示的分布是由根据预测者 k 的技能参数 $\mu _k,\rho _k$ 和训练集中所有 85 位预测者的难度参数 $\eta _n, \phi _k$ 得出的 85 个 β$^{\prime}$ 分布组成的等权重混合体。

图 6 显示了根据我们的技能-难度相关融合模型为六个示例查询提供的预测及其估计分布。我们在直方图中展示了所有 85 位预测者对训练集 1 中的查询 92（a）、164（b）、123（c）、6（d）、72（e）和 2（f）提供的预测的相对频率。正确标记为 $t_n=1$ 的查询的预测被反转，以便不论查询的真实值如何都能展示查询的难度。因此，如果预测值 $x_n^k<0.5$，则预测是正确的。曲线上显示的是根据我们模型（2.4）针对特定查询提供的所有预测的分布。由于所示数据中每个单独预测的技能参数 $\mu _k, \rho _k$ 是不同的，所示的分布是由根据预测者 k 的技能参数 $\mu _k,\rho _k$ 和训练集中所有 179 个查询的难度参数 $\eta _n, \phi _n$ 得出的 85 个 β$^{\prime}$ 分布组成的等权重混合体。与图 5 中的预测者相同，如果这些查询是由不同的预测者提供的，所示的数据和分布会有所不同。由于根据推断出的超参数 $u_{\lambda }, p_{\lambda }, v, r_1, r_2$，预测者比不熟练的预测者更有技术，因此对于这些查询的预测略好一些。图 6(a) 中的查询 92（“伦敦是英格兰的首都”，$t_{92}=1$）是一个典型的简单查询。几乎所有预测者都提供了无偏且确定的预测。这也反映在查询的参数中：其难度均值 $\eta _{92}=0.01$ 非常接近 0，难度精度 $\phi _{92}=9.49$ 非常高，这意味着预测是无偏的、即正确的，且确定性高且方差低。相比之下，图 6(b) 中的查询 164（“美国的官方语言是英语”，$t_{164}=0$，在数据收集时为 2025 年 3 月 1 日之前）是一个复杂的查询，大多数预测者都给出了错误的预测，即带有强烈的偏差且确定性高。其推断出的难度均值 $\eta _{164}=0.99$ 接近 1，表明对查询 164 的预测带有强烈的偏差且平均确定性很高。由于难度精度 $\phi _{164}=0.83$ 也低于 1，预测集中在 1 附近，而一些预测者也提供了接近 0 的正确预测。图 6(c) 中的查询 123（“《存在与虚无》写于 1943 年”，$t_{123}=1$）是一个未知的查询，大多数预测者对其的预测为 0.5。相应的难度参数反映了这一点，其难度均值 $\eta _{123}=0.48$ 和难度精度 $\phi _{123}=7.42$ 高，导致预测大多集中在 0.5 附近。图 6(d) 中的查询 6（“美国的国旗由十三条横条和五十颗小五角星组成”，$t_6=1$）提供了更多变化较大的预测。该查询可以被认为是一个相当简单的查询，其预测平均而言是正确的，即无偏的，这反映在推断的难度均值$\eta _6=0.4$上，低于0.5。由于难度精度$\phi _{6}=0.33$低于1，预测并不集中在均值附近，而是倾向于0和1，导致预测结果变化较大，其中许多预测是不确定的。与查询6类似，查询72（“南非是世界上最大的钻石生产国”，$t_{72}=1$）在图6(e)中也显示是一个不确定但无偏的查询，其预测平均而言是正确的。其推断的难度均值为$\eta _{72}=0.32$，与查询6相似。然而，推断的难度精度$\phi _{72}=3.13$要高得多，因此预测结果更集中在难度均值$\eta _{72}=0.32$附近。查询2（“朗姆酒是牙买加的主要出口商品”，$t_2=0$）在图6(f)中是一个包含误导信息的查询，其预测结果是不确定的。因此，其难度参数分别为$\eta _2=0.53$和$\phi _2=2.43$。技能均值大于0.5表明存在偏差和较高的平均不确定性，而较高的难度精度则表明预测结果集中在不确定的难度均值附近。对于图6中显示的所有六个查询，我们看到为特定查询提供的预测分布与数据非常吻合，这些分布用蓝色曲线在数据上表示。

3.4. 融合性能 为了评估融合性能，我们将技能-难度相关融合模型与我们之前工作中提出的独立贝塔融合模型（Trick等人，参考文献Trick, Rothkopf和J?kel2023）以及Turner等人提出的相关融合模型（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）在KTeC数据集上的表现进行了比较。独立贝塔融合模型使用贝塔分布来表示预测结果$x_n^k$，其参数为$\alpha _j^k, \beta _j^k$，并且这些参数是根据真实值$t_n=j$来条件的（2.1）。该模型的不同变体可以是层次化的或非层次化的，并且使用非对称或对称的贝塔分布来模拟$t_n=0$和$t_n=1$的预测结果。由此产生的四种贝塔融合模型分别是层次化贝塔融合模型（HB）、非层次化贝塔融合模型（B）、层次化对称贝塔融合模型（HSB）和非层次化对称贝塔融合模型（SB）。在我们之前的工作中（Trick等人，参考文献Trick, Rothkopf和J?kel2023），我们还将我们的独立贝塔融合模型与Turner等人提出的融合模型进行了比较（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）。他们的方法比较了不同的贝叶斯模型，这些模型要么首先校准提供的预测结果，然后再进行融合；要么首先进行融合，然后再校准融合后的预测结果。融合是通过平均来实现的。比较了层次化和非层次化模型以及概率对数的对融合。结果模型包括平均后校准（ATC）、校准后平均（CTA）、基于对数概率校准后平均（CTALO）、层次化校准后平均（HCTA）和基于对数概率层次化校准后平均（HCTALO）。Turner等人（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）还将他们的模型与基线方法Unweighted Linear Opinion Pool（ULINOP）进行了比较。ULINOP可以通过基线方法Probit Average（PAVG）（Satop??等人，参考文献Satop??, Salikhov, Tetlock和Mellers2023）进行增强，该方法在对预测结果进行平均之前使用probit变换。关于独立贝塔融合模型、Turner融合模型以及两种基线方法的实现和评估的详细信息可以在Trick等人的工作中找到（参考文献Trick, Rothkopf和J?kel2023）。由于KTeC数据集中不同预测者提供的预测结果是相关的，在我们的比较中，我们不仅考虑了预测性能，还特别关注了预测结果的不确定性和潜在的过度自信。为此，我们使用Brier分数、平均绝对误差和熵等性能指标来量化融合性能。Brier分数（Brier，参考文献Brier1950）通常用于衡量人类预测者的性能（Baron等人，参考文献Baron, Mellers, Tetlock, Stone和Ungar2014；Hanea等人，参考文献Hanea, Wilkinson, McBride, Lyon, van Ravenzwaaij, Singleton Thorn, Gray, Mandel, Willcox和Gould2021；Karvetski等人，参考文献Karvetski, Olson, Mandel和Twardy2013；Ranjan和Gneiting，参考文献Ranjan和Gneiting2010；Satop??，参考文献Satop??2022；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）。它描述了提供的概率预测$x_n$与相应的真实值$t_n$之间的平均平方误差（3.1）$$ \begin{align} \text{BS} &= \frac{1}{N} \sum_{n=1}^{N}{(x_n-t_n)^2}. \end{align} $$。较低的Brier分数表示更好的性能，其中$\text {BS}=0$是最佳分数，$\text {BS}=1$是最差的分数。Brier分数是一个严格适当的评分规则（Murphy，参考文献Murphy1973），因此如果预测者提供了他们真实的概率信念而不是故意使预测结果过于极端，则该分数会得到优化。因此，它惩罚过度自信和过度不自信的预测。平均绝对误差（MAE）（Canbek等人，参考文献Canbek, Temizel和Sagiroglu2022；Ferri等人，参考文献Ferreri, Hernández-Orallo和Modroiu2009）量化了提供的预测$x_n$与真实值$t_n$之间的绝对差异（3.2）$$ \begin{align} \text{MAE} &= \frac{1}{N} \sum_{n=1}^{N}{|x_n-t_n|}. \end{align} $$。相应地，它的范围也在0到1之间，其中$\text {MAE}=0$是最佳分数，$\text {MAE}=1$是最差的分数。与Brier分数相比，MAE更容易解释，并且对异常值更具鲁棒性（Canbek等人，参考文献Canbek, Temizel和Sagiroglu2022）。然而，与Brier分数不同，它不是一个适当的评分规则（Buja等人，参考文献Buja, Stuetzle和Shen2005），因此它会奖励过度自信的预测。与Brier分数和MAE不同，（Shannon）熵并不直接衡量预测性能，而只衡量预测的不确定性，而不考虑预测的正确性。它对于单个二元预测定义为$\text {h}(x_n) = -x_n \log (x_n) - (1-x_n) \log (1-x_n)$，因此对于N个查询，我们计算平均熵H为（3.3）$$ \begin{align} \text{H} &= \frac{1}{N} \sum_{n=1}^{N} {\left(-x_n \log(x_n) - (1-x_n) \log(1-x_n)\right)}. \end{align} $$。最小的平均熵是0，表示完全确定的预测结果为0或1。二元预测的最大平均熵大约为0.7，当所有预测结果都是0.5时获得，因此是完全不确定的。由于熵明确量化了不确定性，它非常适合用于检测过度自信的预测。图7显示了KTeC数据集上所有考虑的融合模型的Brier分数、平均绝对误差和熵的均值及标准误差，即技能-难度相关融合模型、独立贝塔融合模型、Turner等人提出的模型（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014），以及基线方法ULINOP和PAVG。评估独立贝塔融合模型的主要结果显示，层次化对称贝塔融合模型的表现最好。这一点在图7中通过Brier分数和MAE也可以看出。然而，尽管在MAE方面，它也明显优于Turner等人的模型（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014），但其Brier分数（$\text {BS}=0.141$）不如最好的Turner模型HCTALO（$\text {BS} = 0.125$）。由于MAE奖励过度自信，而Brier分数惩罚过度自信，这些结果清楚地表明了过度自信的存在。图7中的熵图进一步加强了这一结论，因为所有贝塔融合模型的熵都接近0，表明融合后的预测结果非常确定。相比之下，Turner等人的融合模型（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）的熵在0.4到0.7之间，因此产生的融合预测结果更加不确定。

图7显示了技能-难度相关融合模型在KTeC数据集上与相关贝叶斯融合模型的融合性能比较。我们比较了技能-难度相关融合模型（SDCFM）、四种独立贝塔融合模型（包括层次化贝塔融合模型HB、非层次化贝塔融合模型B、层次化对称贝塔融合模型HSB和非层次化对称贝塔融合模型SB）、Turner等人提出的模型（参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）、平均后校准（ATC）、校准后平均（CTA）、基于对数概率校准后平均（CTALO）、层次化校准后平均（HCTA）和基于对数概率层次化校准后平均（HCTALO），以及两种基线方法Unweighted Linear Opinion Pool（ULINOP）和Probit Average（PAVG）的Brier分数、平均绝对误差和熵的均值及标准误差。我们的技能-难度相关融合模型通过MAE的表现与所有独立贝塔融合模型相当，并且优于Turner模型，其$\text {MAE}=0.195$。然而，尽管独立贝塔融合模型在Brier分数方面无法超越Turner模型，但技能-难度相关融合模型的Brier分数（$\text {BS}=0.118$）优于Turner模型的第二好模型HCTALO（$\text {BS}=0.125$）。从熵的角度来看，我们也发现技能-难度相关融合模型的不确定性低于Turner模型，但高于独立贝塔融合模型，其熵为$\text {H}=0.247$。

4. 讨论与结论 在这项工作中，我们引入了一个用于结合相关人类预测的贝叶斯模型。该模型假设预测者为某个查询提供的预测取决于预测者的属性（我们称之为他们的技能）和查询的属性（我们称之为查询的难度）。此外，我们假设不同预测者提供的预测结果是相关的，因为他们针对相同的查询提供预测。因此，所提出的技能-难度相关融合模型使用贝塔分布来表示预测结果，该分布的条件是它们的真实值，并且每个预测者都有特定的技能参数和每个查询都有特定的难度参数。通过明确建模预测者的技能以及查询的难度，技能-难度相关融合模型可以隐式地模拟不同预测者提供的预测结果之间的相关性。因此，与假设预测者独立的先前模型相比，新模型可以更好地表示通常相关的人类预测（Berger，参考文献Berger1985；Hogarth，参考文献Hogarth1978；Lichtendahl等人，参考文献Lichtendahl, Grushka-Cockayne, Jose和Winkler2022；Wilson和Farrow，参考文献Wilson, Farrow, Dias, Morton和Quigley2018；Winkler等人，参考文献Winkler, Grushka-Cockayne, Lichtendahl和Jose2019；Wiper和French，参考文献Wiper和French1995）。此外，它还明确量化了个别预测者的技能和个别查询的难度，从而允许独立于它们提供的查询或提供预测的预测者来分析和比较不同的预测者。从观察到的训练数据中学习模型参数后，技能-难度相关融合模型可以通过推断它们真实值的后验分布来组合不同预测者提供的新预测结果。假设模型假设是正确的，那么使用技能-难度相关融合模型进行的融合就是规范的。因此，可以规范地考虑预测者的技能以及它们之间的相关性。然而，我们强调，该模型不能表示任意的相关性结构。例如，不能建模具有特定相关性的不同子群体（有关此限制的详细讨论，请参见补充材料的第2节）。该模型只能表示由预测者看到相同查询而引起的相关性。特别是，它仅限于正相关性。此外，该模型只能考虑随时间稳定的预测者技能，并且可以从训练数据中学习到这些技能。因此，像任何规范模型一样，只有当观察到的数据能够被所提出的生成模型很好地描述时，融合规则才是规范的。我们在一个包含85名预测者的数据集上评估了技能-难度相关融合模型，每个预测者为180个查询提供了预测。我们根据Brier分数、平均绝对误差和熵比较了我们的模型的融合性能，与不考虑相关性的相关贝叶斯融合模型进行了比较（Trick等人，参考文献Trick, Rothkopf和J?kel2023；Turner等人，参考文献Turner, Steyvers, Merkle, Budescu和Wallsten2014）。尽管之前提出的独立贝塔融合模型（Trick等人，参考文献Trick、Rothkopf和J?kel2023）表现出过高的自信度，因此在平均绝对误差方面优于Turner等人（参考文献Turner、Steyvers、Merkle、Budescu和Wallsten2014）提出的模型，但在Brier评分方面却未能胜出。然而，根据平均绝对误差和Brier评分的标准，技能-难度相关融合模型在所有融合模型中表现最优。此外，与独立贝塔融合模型相比，该模型产生的融合预测结果具有更高的不确定性，这体现在更高的熵值上。因此，我们在技能-难度相关融合模型中建模预测者之间的相关性，从而解决了独立贝塔融合模型的过度自信问题。对于示例性的预测者和查询，我们展示了该模型如何量化预测者和查询的属性（即他们的技能和难度），以及它如何适应预测数据。然而，如图5(c)所示，除非所有预测值都集中在0.5附近，否则我们的模型无法在提供的预测直方图中呈现0.5的峰值。这种直方图中的峰值或异常现象被称为“50-50峰值”，其原因是预测者存在高度的认知不确定性（Bruine de Bruin等人，参考文献Bruine de Bruin、Fischbeck、Stiber和Fischhoff2002；Fischhoff和Bruine De Bruin，参考文献Fischhoff和Bruine De Bruin1999；Karvetski等人，参考文献Karvetski、Olson、Mandel和Twardy2013）。如果预测者对查询的真实性完全没有了解，即他们具有高度的认知不确定性，他们会选择0.5作为预测结果。即使对于技能较高的预测者来说，这种情况也会发生，尤其是在查询的主题各不同时。如果预测是对未来事件发生的可能性的预测，而这些事件的结果目前还无法知晓，那么“50-50峰值”可能会更加显著，因为它既包含了那些完全不知道真相、具有高度认知不确定性的预测，也包含了那些明确旨在表示0.5概率的预测（即具有高度随机不确定性的预测）（Karvetski等人，参考文献Karvetski、Olson、Mandel和Twardy2013）。因此，未来的工作应该扩展技能-难度相关融合模型，以明确表示预测值在0.5处的潜在峰值，即“50-50峰值”。这不仅可能提高模型对真实预测数据的拟合度，还能通过更好地建模预测结果来进一步提升融合性能。

补充材料：本文的补充材料可在以下链接获取：https://doi.org/10.1017/jdm.2026.10035

数据可用性声明：由于本研究没有生成新的数据，因此不适用数据可用性的规定。

资金声明：本工作得到了德国联邦教育和研究部（BMBF）在IKIDA项目（项目编号01IS20045）的支持。

利益冲突声明：作者声明没有利益冲突。

脚注：1 KTeC数据集可在以下链接获取：https://osf.io/ae25w/