反复不可靠，且重复试验结果也不稳定：达到标准所需试验次数的谬误

《Animal Cognition》：Repeatedly unreliable, and unreliably repeatable: the trials-to-criterion fallacy

　　

摘要

“达到标准所需尝试次数”（TTC）是一种常用的方法，用于量化学习速度并评估智力。通常，受试者会面对两种选择的任务：一种能带来奖励（通过），另一种则不会（失败）。任务会不断重复呈现，直到满足预先设定的标准（例如连续五次通过）。据说，达到标准所需的尝试总次数可以用来估算智力，分数越低表示智力越高。然而，在每次尝试中，猜对并通过的概率都是50%，这意味着连续走运的情况很容易让受试者偶然达到任务标准。虽然该标准旨在减少连续走运的情况，确保随机完成任务的概率低于5%，但这其实是TTC长期以来被认识却未被充分重视的谬误。通过模拟实验，我展示了由于随机通过而非通过学习确定性地达到任务标准，从而导致“聪明”与“幸运”被混为一谈的程度。此外，聪明人偶尔的错误也可能大幅提高分数，使得“不聪明”与“不幸运”被混淆。对于相同智力水平而言，TTC产生的结果具有极大的差异性，这暴露了其不可靠性，也表明基于TTC数据得出的结论很可能具有误导性。我为未来旨在降低虚假结果风险的研究提供了一些思路，但最终还是建议避免使用TTC。