《Frontiers in Psychology》：New frontiers in the p-hacking practices: assessing the effect of data peeking practice on type-I error rate through computational modeling
编辑推荐：
数据偷窥（data-peeking, DP）是指在获得显著结果后停止数据收集的做法，它通过增加观察和发表假阳性结果的可能性，对研究的可信度构成重大威胁。这种实践对科学可靠性的影响传统上通过蒙特卡洛模拟（Monte-Carlo simulation）进行评估，而
数据偷窥（data-peeking, DP）是指在获得显著结果后停止数据收集的做法，它通过增加观察和发表假阳性结果的可能性，对研究的可信度构成重大威胁。这种实践对科学可靠性的影响传统上通过蒙特卡洛模拟（Monte-Carlo simulation）进行评估，而该方法存在一些方法学问题（例如，蒙特卡洛标准误常被高估）。本文提出一种计算模型，该模型通过一系列正态分布与截断正态分布之间的卷积运算，估计数据偷窥实践导致的假阳性率增加，从而克服了模拟方法的问题。研究人员在不同条件下将计算模型的性能与蒙特卡洛模拟进行比较，这些条件包括α水平（0.05、0.025、0.01和0.001）、样本量（40、80、160和320）以及中期分析次数（1至10）。结果证实了计算模型的准确性和可靠性，表明计算值落在模拟均值的两个标准差之内。总之，所提出的模型不仅为估计数据偷窥实践的影响提供了一种更快、更少错误的方法，还为开发类似模型以检查其他形式的p-hacking提供了指导，从而增进了对其影响的理解和研究。
在实证研究中，数据偷窥（data-peeking, DP）指研究者在数据收集过程中反复进行显著性检验，一旦获得显著结果便停止收集数据的行为。这种做法属于p-hacking及可疑研究实践（questionable research practices, QRPs）的一种形式，能够显著增加I型错误率（type-I error rate, TIE），即假阳性结果的概率，从而威胁研究结论的可信度。传统上，研究者依赖蒙特卡洛模拟来量化DP对TIE率的影响，但模拟方法存在蒙特卡洛标准误高估、计算效率低、结果稳定性差以及参数设置缺乏统一标准等问题。尤其是在多因素复杂场景下，模拟所需的计算资源和时间大幅增加，限制了研究者对参数空间的全面探索。因此，需要一种不依赖模拟的精确计算方法，以可靠地估计DP实践造成的错误率膨胀。针对上述问题，研究人员提出了一种新的计算模型，通过正态分布与截断正态分布之间的卷积，直接求解描述DP过程的数学方程，从而计算TIE率的增长。该模型以单样本t检验为基础，假设数据来自标准正态分布，并且适用于不同样本量、不同显著性水平和不同中期分析次数的组合。研究人员将模型与蒙特卡洛模拟在各种条件下进行对比验证，结果显示模型估计值与模拟均值高度一致，所有计算值均落在模拟均值的两个标准差以内。该研究发表于《Frontiers in Psychology》，为量化p-hacking效应提供了一种高效、可靠的新工具，也为开发其他QRPs的计算模型提供了方法论框架。
在关键技术方法方面，研究人员首先形式化DP策略，定义分析次数k和样本量序列；随后通过递归卷积计算每次分析结果的概率密度函数，并积分得到各阶段的显著水平α
h，最终求和得出总TIE增长率。作为验证基准，蒙特卡洛模拟在每种设计条件下运行100,000次，样本从均值为0、标准差为1的正态分布中抽取，同样采用单样本t检验。研究设计包含三个因素：总样本量（40、80、160、320）、分析次数（1至10）和α水平（0.001、0.01、0.025、0.05），共160个实验单元，模拟在R环境中并行完成。
在“3 Results”部分，研究人员通过比较计算模型与模拟模型的输出发现：第一，在所有样本量条件下，TIE率均随中期分析次数的增加而单调上升，这与多重检验的性质一致；第二，在样本量为40和80的较小样本条件下，计算模型仍能准确捕捉TIE率，其估计线基本落在模拟箱线图范围内；第三，对于α=0.025和0.05，模型表现尤为出色，对于更严格的α=0.001和0.01，模型与模拟数据的偏差略有增大但仍保持在可接受范围内；第四，当分析次数k较大且α较小时，计算值出现轻微偏离，研究将其归因于R内置积分函数的近似误差和模拟尾部观测数量不足，但所有偏离均未超出两个标准差。
在“4 Discussion”部分，研究人员指出，该计算模型在理论上避免了蒙特卡洛模拟的固有缺陷，无需设定模拟次数即可获得精确近似，并且能够方便地扩展到更多因素的分析。在实践层面，它消除了模拟误差，减少了人力错误和计算时间，提高了研究效率。同时，研究人员澄清了与错误发现率控制方法的关系：该模型并非替代Bonferroni校正等序贯校正程序，而是用于量化未校正DP实践导致的TIE膨胀。局限性方面，模型目前仅适用于单样本t检验和单一DP实践，因为DP具有清晰的递归结构，而其他p-hacking形式可能缺乏可解析表达的结构，扩展到复杂统计框架较为困难。未来研究可考虑整合多种QRPs的联合效应，并引入先验概率以增强模型适用性。研究结论为：所提出的模型不仅提供了一种更快、更少误差的估计DP实践影响的方法，还为开发类似模型来研究其他形式的p-hacking提供了指南，从而有助于更深入地理解和评估这些实践对科学文献可靠性的破坏作用。
