ErrVarNorm指数在“最佳-最差”缩放方法及数据质量分析中的应用

《Food Quality and Preference》：Applications of the ErrVarNorm index in case 1 best-worst scaling and data quality insights

最佳最差标度法（BWS）中误差方差归一化（EVN）指数用于评估参与者响应一致性，研究显示EVN阈值影响样本排除率（0.3时约5.5%-14.4%），男性青年组EVN较低且排除后显著提升偏好分化（10倍差距）。EVN与任务感知无强相关，但可作为通用数据质量指标，建议阈值需结合具体研究需求。

　　这项研究探讨了在线消费者研究中数据质量评估的一个关键指标——标准化误差方差（ErrVarNorm，简称EVN）在Case 1最佳-最差排序（Best-Worst Scaling，简称BWS）中的应用。研究团队由S.R. Jaeger、S.L. Chheang和F. Llobell组成，他们来自丹麦的奥胡斯大学。研究通过分析英国4587名成年人的在线数据，进一步验证了EVN作为评估参与者反应一致性及数据质量的工具的有效性，并揭示了EVN在不同研究情境下的适用性问题。

随着在线数据收集技术的发展，其在多个研究领域中变得越来越普遍，尤其是在消费者行为研究、市场调查和感官科学等领域。这种数据收集方式具有诸多优势，例如便利性、成本效益以及能够覆盖广泛、多样化的样本群体。然而，数据质量的担忧也随之而来。低质量的数据可能导致研究结论的偏差，影响决策的有效性，甚至削弱研究的可重复性和透明度。因此，如何有效评估在线BWS数据的质量，成为研究者关注的重要议题。

在这一背景下，Llobell等人（2025）提出了一种新的评估指标——EVN，以改进传统的误差方差（ErrVar）和根似然（RLH）指标。EVN通过将误差方差标准化到0到1的范围内，解决了传统指标解释上的困难。具体而言，EVN的计算方式是将每位参与者的BWS选择误差方差除以所有参与者中观察到的最大误差方差值。这一方法不仅简化了计算过程，还使得EVN成为一个更具普适性的数据质量评估工具。

本研究作为Llobell等人（2025）的后续研究，旨在进一步探索EVN在实际应用中的表现。研究者分析了三组英国在线数据，并围绕五个主要目标展开：一是探讨EVN截断值与被排除参与者比例之间的关系；二是分析年龄和性别对EVN值的影响；三是评估基于EVN的参与者排除对BWS研究结论的影响；四是研究EVN是否能够预测同一调查中其他BWS任务的EVN值，并与其他数据质量指标（如完成时间、任务满意度）进行相关性分析；五是探索EVN作为个体层面数据质量的通用指标的可能性。

研究发现，EVN的截断值与被排除的参与者比例之间存在显著的非线性关系。例如，当EVN低于0.3时，被排除的参与者比例约为5.48%至7.21%；而当EVN低于0.5时，这一比例则上升至11.54%至14.37%。这意味着，随着EVN值的降低，被排除的参与者数量会显著增加。这一发现表明，EVN截断值的选择对于研究结果具有重要影响，因此，研究者需要根据具体研究的需求和样本特性，灵活设定EVN的排除标准，而不是采用统一的0.5作为截断值。

此外，研究还发现年龄对EVN值有显著影响。在18至45岁年龄段的参与者中，其EVN值普遍低于46至69岁年龄段的参与者。这一现象可能与年轻群体在数据收集任务中的注意力不集中有关。值得注意的是，性别也对EVN值产生影响，男性比女性更容易出现较低的EVN值，这可能反映出性别在数据质量评估中的差异。研究者还进一步探讨了年龄与性别之间的交互作用，发现年轻男性在EVN值上的差异尤为显著。

基于EVN的参与者排除对BWS研究结论产生了实质性影响。例如，在一项关于产品喜好的研究中，未进行数据清洗时，最佳选项与最差选项之间的偏好差异约为5倍；而在清洗数据后，这一差异上升至约10倍。这表明，通过排除低EVN值的参与者，可以显著提升BWS数据的区分度和可靠性。因此，研究者在进行数据清洗时，有必要采用EVN作为评估工具，以确保研究结果的准确性和有效性。

然而，EVN与其他数据质量指标之间的关系并不总是明确。例如，EVN与完成BWS任务所需时间之间缺乏显著相关性，这可能意味着EVN并不能完全反映参与者的任务完成效率。相比之下，EVN与参与者对任务的满意度和参与度可能存在一定的正相关关系。研究者认为，这一发现有助于进一步理解EVN在数据质量评估中的作用，并为研究者提供更全面的视角来评估数据质量。

从更广泛的角度来看，EVN不仅适用于BWS任务，还可能作为个体层面数据质量的通用指标。研究者指出，尽管EVN最初是为BWS任务设计的，但其在评估参与者注意力和数据一致性方面的潜力值得进一步探索。例如，如果一个参与者在某一部分调查中表现出较低的EVN值，但在其他部分表现出较高的EVN值，这可能表明其注意力存在波动，而不是整体数据质量低下。因此，研究者需要综合考虑多种数据质量指标，以更全面地评估参与者的表现。

研究还强调了数据质量评估的连续性特征。数据质量并非一个二元的“好”或“坏”概念，而是一个渐进的过程，涉及多个因素的综合考量。研究者建议，研究者应根据具体研究的需要，设定合适的EVN截断值，并透明地披露数据清洗过程，以确保研究的可重复性和可解释性。此外，研究者还呼吁进一步探索EVN的最佳应用实践，包括如何根据不同的研究设计和样本特征调整EVN的阈值，以及如何将EVN与其他数据质量指标结合使用，以提升整体数据评估的准确性。

在实际操作中，EVN的应用需要研究者具备一定的判断力。例如，如果一个研究的样本量较大，研究者可能可以接受较高的排除比例，以确保数据质量；而如果样本量较小，研究者则需要谨慎设定EVN的截断值，以避免过度排除有效参与者。因此，EVN的使用应基于研究的具体目标和数据特点，而不是采用统一的标准。

研究还指出，EVN的计算过程相对简单，这使得其在实际研究中的应用更加可行。与需要复杂的统计模型和长时间计算的RLH指标相比，EVN的计算方式更加直观，适合在资源有限的研究环境中使用。然而，研究者也提醒，尽管EVN具有一定的优势，但其在不同研究设计中的表现可能有所不同，因此需要进一步验证其适用性。

总体而言，这项研究为在线消费者研究中的数据质量评估提供了新的视角和工具。通过深入分析EVN在不同情境下的表现，研究者揭示了其在提升BWS数据质量方面的重要作用，同时也指出了其在实际应用中可能存在的局限性。未来的研究需要进一步探索EVN的最佳应用方式，包括如何根据不同的研究需求调整其阈值，以及如何将其与其他数据质量指标结合使用，以更全面地评估参与者的表现和数据的整体质量。此外，研究者还应关注数据质量评估的连续性特征，避免将数据质量简单地划分为“好”或“坏”，而是采用更细致的评估标准，以确保研究结果的可靠性和有效性。