《Research in Statistics》:Assumption violation detection in linear regression: A(nother) cautionary tale
编辑推荐:
违反线性回归假设,尤其是同方差性(homoskedasticity),会显著影响回归系数零假设显著性检验(null hypothesis significance test, NHST)的有效性。商业软件如SPSS已包含许多假设违背检验,且稳健推断方法(rob
违反线性回归假设,尤其是同方差性(homoskedasticity),会显著影响回归系数零假设显著性检验(null hypothesis significance test, NHST)的有效性。商业软件如SPSS已包含许多假设违背检验,且稳健推断方法(robust inference method)同样易于实施。因此,先检验线性回归假设,再根据检验结果决定使用稳健推断方法还是依赖假设满足的经典方法,似乎显得合理。本模拟研究评估了在同方差性与正态性假设均未违背、仅违背其一或两者同时违背的情景下,这种两步决策过程的表现。此外,研究人员评估了四种推断方法以及SPSS中可用的正态性和同方差性假设检验的总体表现。研究人员发现,若目标是普遍检测对正态性、同方差性或两者组合的偏离,z-峰度检验(z-kurtosis test)表现最为一致,但在小样本中功效较低。进一步地,由于小样本中第一类错误率(type I error rate)膨胀,且在大样本中相比从一开始就选择稳健推断方法并无额外益处,典型的两步决策方法通常不被推荐。
论文解读
1 研究背景与目的
线性回归中经典推断方法的有效性依赖于若干统计假设,尤其是同方差性(homoskedasticity)与正态性(normality)。当这些假设被违背时,回归系数的零假设显著性检验(null hypothesis significance test, NHST)的长期有效性会受到明显影响。SPSS等商业软件已包含多种假设违背检验,且稳健推断方法(robust inference method)可以方便地实施。因此,一种常见的做法是:先检验假设是否满足,再根据检验结果决定使用经典方法还是稳健方法。然而,假设检验针对的是总体,研究者只能利用样本来推断总体假设是否成立,因此这种两步决策本身带有不确定性。已有研究对t检验或普通最小二乘(ordinary least squares, OLS)回归中的两步法提出批评,但对线性回归中正态性与异方差性同时受违背的情景仍缺乏系统评估。本研究通过模拟研究回答了三个问题:第一,评估四种推断方法在假设违背时的第一类错误率与统计功效(power);第二,评估SPSS中正态性和同方差性假设检验的性能;第三,模拟两步决策法对回归系数推断的影响。
针对上述问题,研究人员开展了一项大规模蒙特卡洛模拟研究,系统比较四种推断方法和多种假设检验,并模拟两步决策过程。总体结论是:z-峰度检验(z-kurtosis test)在检测正态性、异方差性或其组合偏离时表现最稳定,但小样本功效较低;典型两步决策法在小样本中第一类错误率膨胀,在大样本中相对直接使用稳健方法并无额外优势,因此通常不被推荐。这一发现对应用研究者选择推断策略具有警示意义。
2 研究设计与关键技术方法
该研究为纯模拟研究,未使用真实样本队列。研究人员模拟了二预测器线性回归模型 y
i = β
1x
i1 + β
2x
i2 + ε
i,其中预测变量来自正态分布且彼此相关(r = .10、.30、.50);样本量设为25、50、100、200、300、400、500;误差项分别来自正态分布、对称重尾分布和偏态重尾分布(g-and-h分布),并通过常数、漏斗型(funnel)、蝴蝶型(butterfly)和逆蝴蝶型(inverse butterfly)四种方差模式生成同方差或异方差。效应量设为0(检验第一类错误率)和0.5(检验功效),每个条件重复5000次。推断方法包括经典OLS检验、HC4(第四版本异方差一致性标准误,heteroskedasticity-consistent standard error version 4)、成对自助法(pairs bootstrap)和野生自助法(wild bootstrap),均采用百分位置信区间(percentile confidence interval);假设检验包括Kolmogorov-Smirnov检验(KS)、Shapiro-Wilk检验(SW)、z-偏度、z-峰度,以及White检验、Breusch-Pagan检验(BP)、修正的Breusch-Pagan检验(MBP)和F检验。研究以拒绝率作为性能指标,并用Bradley宽松准则(2.5%–7.5%)判断第一类错误率是否可接受;模拟在R 4.5.1中通过SimDesign等包并行计算。
3 主要研究结果
3.1 假设检验的表现
3.1.1 正态性检验
基于模拟数据的拒绝率分析,当误差正态且同方差时,KS、SW、z-偏度和z-峰度检验的第一类错误率均接近5%。将z-偏度与z-峰度以“与”组合时第一类错误率低于2.5%,以“或”组合时高于7.5%,分别表现为保守和膨胀。当至少一个假设被违背时,z-峰度、SW以及“或”组合检验的功效最高,z-偏度及“与”组合功效最低。同方差但非正态时,最强检验在样本量为50时功效接近80%的临界值,样本量达到100后接近100%。正态但异方差时,所有正态性检验的拒绝率随样本量升高而升高,其中z-峰度和SW最高,逆蝴蝶模式下功效最低。这表明异方差会使残差整体分布偏离正态,因此正态性检验也会检出异方差。
3.1.2 同方差性检验
在误差正态且同方差时,White检验、两种F检验版本、BP(model)和MBP(model)的第一类错误率在2.5%–7.5%范围内;BP(predicted)和MBP(predicted)则一致低于2.5%。功效方面,误差正态时,White检验在大样本中对漏斗、蝴蝶和逆蝴蝶三种异方差模式均能可靠检出,而BP(model)仅对漏斗模式能达到80%功效;蝴蝶和逆蝴蝶模式需要二次关系,只有包含平方项和交叉项的White检验能较好检出。误差非正态时,BP(model)功效最高,White检验在样本量为500时仍未达到80%功效。
3.1.3 正态性与同方差性检验比较
研究人员选择White检验、BP(model)、z-峰度和SW进行综合比较。假设满足时四者第一类错误率均接近5%。z-峰度和SW的功效曲线非常接近,且z-峰度至少不低于SW。若以检出偏离正态性、异方差性或两者组合为目标,z-峰度表现最一致:正态但异方差时,White检验在大样本中功效高,但BP(model)只对漏斗模式有效;同方差但非正态时,z-峰度在样本量不低于50时功效超过80%;两者均被违背时,仅z-峰度和SW在所有方差模式与非正态分布组合中能可靠检出,White检验功效最差。
3.2 回归系数的推断检验
3.2.1 第一类错误率(无条件)
在不进行假设预检验的情况下,四种方法在假设满足时第一类错误率均接近5%,且始终位于宽松准则范围内。当异方差由预测变量x
1产生时,对系数b
1,经典方法在漏斗和蝴蝶模式下第一类错误率膨胀(>7.5%),在逆蝴蝶模式下保守(<2.5%);对系数b
2,因异方差不以其为函数,四种方法基本保持在准则范围内。正态异方差下,稳健方法基本在准则内;非正态与异方差组合时,成对自助法在漏斗和蝴蝶模式的小样本中第一类错误率超过7.5%,而HC4在逆蝴蝶模式小样本中略低于2.5%。
3.2.2 第一类错误率(两步法)
以z-峰度检验作为预检,若p < .05则改用稳健方法,否则使用经典方法。对系数b
2,两步法在多数条件下仍在2.5%–7.5%范围内;对系数b
1,当存在漏斗或蝴蝶异方差时,小样本第一类错误率超过7.5%,逆蝴蝶时则低于2.5%。随着样本量增大,z-峰度检验拒绝假设的比例增加,经典方法被选中的比例下降,但两步法并未因此改善第一类错误率控制。
3.2.3 功效(无条件)
四种方法在假设被违背时功效曲线均比假设满足时平缓;重尾分布导致最大的功效损失。经典方法在漏斗和蝴蝶模式下未校正功效看似略高,逆蝴蝶模式下略低,但使用平均超额功效(average excess power over size, AEPS)校正后,经典方法相对稳健方法并无一致的优势或劣势。
3.2.4 功效(两步法)
两步法的功效曲线与无条件时总体相似。对系数b
2无可见收益;对系数b
1,逆蝴蝶条件下因更常选用稳健方法而提升功效,漏斗和蝴蝶条件下反而降低。AEPS校正显示,小样本漏斗和蝴蝶条件下两步法的超额功效降低,逆蝴蝶条件下升高;选择哪种稳健方法对(超额)功效影响不大。
4 讨论总结与结论
4.1 讨论总结
研究结果表明,经典方法的第一类错误率受异方差影响取决于方差模式以及异方差与哪个预测变量相关联。偏离正态性对第一类错误率影响不大,但会降低所有方法的功效。稳健方法在异方差存在时通常优于经典方法,但在小样本且非正态与异方差并存时仍可能超出宽松准则。假设检验方面,z-峰度检验是检测正态性、异方差性或两者组合最一致的检验,但小样本功效不足。两步决策法因小样本预检功效低、大样本预检无额外收益而不被推荐。研究人员建议,与其依赖假设预检验,不如同时使用经典推断与稳健推断方法并报告所有结果;若结论一致则增强信心,若明显分歧则提示可能存在异方差,应更信任稳健方法。可通过散点图等可视化手段辅助判断异方差模式,例如漏斗或蝴蝶模式更适合HC4,逆蝴蝶模式更适合成对自助法。研究局限性包括仅考虑OLS框架下的稳健推断方法、仅使用二预测器模型、异方差为单预测器函数、方差比未标准化,且仅覆盖SPSS中可用的方法。
4.2 结论翻译
本研究进一步拓展了为何使用推断检验来检验假设违背并不总是可靠或有帮助的论证。正如先前研究所报告的那样,研究人员也发现,使用这种两步决策方法并不总能将第一类错误率控制在名义α值附近的可接受范围内,尤其是在小样本中。总体而言,由于小样本下检验功效较低,且大样本下经典推断相对于稳健方法并无优势,通过推断检验来评估假设违背的实用性似乎有限。相反,采用视觉数据探索与使用经典方法和稳健方法相结合来检验感兴趣假设的方式,可能会带来更具信息性和洞察力的分析过程。