《Food Quality and Preference》：Performance indices to aid selection of balanced incomplete block designs for consumer research applications of Case 1 Best-Worst Scaling
编辑推荐：
## 中文翻译
平衡不完全区组设计（Balanced Incomplete Block Designs, BIBDs）是Case 1最佳-最差标度（Best-Worst Scaling, BWS）的基础。ErrVarTMAX是消费者研究背景下BIBD设计质量的
## 中文翻译
平衡不完全区组设计（Balanced Incomplete Block Designs, BIBDs）是Case 1最佳-最差标度（Best-Worst Scaling, BWS）的基础。ErrVarTMAX是消费者研究背景下BIBD设计质量的指标。研究引入两个指标来量化BIBD在条目区分方面的理论表现。其中，整体判别指数（General Discrimination Index, GDI）对于真实数据表现同样具有价值。研究还引入了一个用于在BWS消费者研究中选择BIBD的流程图。研究人员通过数据模拟和来自既往11项消费者研究的真实数据，系统考察了BIBD结构参数（条目数v、每任务条目数k、成对共现次数λ）对理论最大误差方差（ErrVarTMAX）稳定性、整体判别指数（GDI）和成对判别指数（PDI）的影响。结果表明，当k=3时设计均呈现ErrVarTMAX稳定；随着k和v的增加，不稳定性加剧。GDI主要受k驱动，较小的集合规模能实现更大的条目分数离散度；而PDI则更侧重于极端条目的区分。真实数据的判别能力约为理论最大值的1/3至1/2，表明消费者数据中BW分数存在明显压缩。研究人员据此提出了一个八步流程图，用于指导消费者研究中Case 1 BWS的BIBD选择，并建议优先选择ErrVarTMAX稳定且GDI值较高的设计。
## 论文解读
### 一、研究背景与目的
Case 1最佳-最差标度（Best-Worst Scaling, BWS），又称MaxDiff，是一种理论驱动的陈述性选择方法，广泛用于测量一组条目（如产品属性、健康益处、个人价值观）的相对重要性或偏好排序。与易受尺度使用偏差和缺乏条目区分影响的评分量表不同，Case 1 BWS要求受访者从较大的BWS条目列表的子集中重复选择最重要和最不重要的条目，从而获得更具区分力的偏好数据，并能实现区间或比率尺度的相对重要性估计。
平衡不完全区组设计（Balanced Incomplete Block Designs, BIBDs）是Case 1 BWS研究中最常用的实验设计方法，它确保每个条目在BWS任务中出现的次数相等，并与其他条目以平衡方式共现，从而增强统计效率。然而，现有研究存在一个重要假设：BIBD设计结构（由条目数v、集合数b、每集合条目数k、每个条目重复次数r和条目对共现次数λ定义）不会影响BWS对象优先排序和区分方面的研究性能。Hollis（2020）通过大规模模拟研究对此提出质疑，表明每集合条目数对BW分数的稳定性有显著影响。
基于这一背景，研究人员提出了三个研究问题（RQ1-RQ3）：（RQ1）以ErrVarTMAX稳定性为代理指标的BIBD设计质量如何随设计参数变化？（RQ2）不同常见BIBD之间条目区分能力如何变化，更大或更小的区分对条目相对重要性/偏好排序的洞察有何影响？（RQ3）在违背完全一致响应假设的真实消费者数据中，GDI和PDI指标的表现如何？该研究的核心目标是引入新的绩效指标，帮助消费者研究领域的科研人员更好地选择和评估BIBD设计。
### 二、研究设计与方法
研究人员采用基于数据模拟与真实数据相结合的策略。对于RQ1和RQ2，研究人员生成32个系统变化的BIBD设计（另加11个临时补充设计），涵盖v=4-20、k=3-6、λ=1或>1的参数范围。所有设计均通过R包agricolae生成，并针对每个参数组合考虑100个实现，保留ErrVarTMAX稳定性最高的一个。模拟数据的核心假设是受访者完全理性且一致：每个完整条目排序被视为一名“完美”受访者，每个设计模拟105个随机排序（set.seed(1739)）。对于RQ2，还模拟了N=100名具有相同偏好排序的完全一致受访者。对于RQ3，研究人员选取了Llobell等人（2025）中11项涉及美国、德国和新西兰消费者的真实研究，样本量为104至904人不等，涵盖在线调查和中心地点测试（其中H9为中心地点测试）。
### 三、研究结果与发现
**RQ1：ErrVarTMAX稳定性（设计质量）**
研究结果显示，32个系统变化的设计中有50%呈现ErrVarTMAX稳定（CVErrVarTMAX=0）。关键发现在于：所有k=3的8个设计均完全稳定，表明BW分数不受排序位置影响；对于k≥4的设计，随着条目数v的增加，不稳定性越来越频繁出现。最有利的非稳定设计为D4.4（v=7, k=4, CV=0.010），最不利的为D4.7（v=16, k=4, CV=0.036）。值得注意的是，通过增加集合数b和每个条目重复次数r来复制设计并不能系统性降低CVErrVarTMAX，说明排序稳健性主要由结构参数（v, k）驱动。然而，在v/k比率最大的设计中，增加条目重复次数可部分缓解排序相关异质性。11个临时设计的分析进一步证实了这些发现（45%的ERRVarTMAX稳定设计）。
**RQ2：理论最大条目区分（GDI与PDI）**
基于GDI（全球判别指数，即SD/r）的评估表明，条目离散度主要由集合规模k驱动，其次由条目总数v驱动。例如，当v=9时，GDITMAX随k从3增至6而从68.47降至53.77；当v=10时，对应值从67.28降至52.38。最高GDITMAX为86.1（v=4, k=3），最低为48.69（v=16, k=6），区分水平相差约1.7倍。研究人员从数学上证明了GDI随k增加而单调递减。PDI（成对判别指数，基于Gini平均差）则呈现不同的信息：PDITMAX=1仅在v=6, k=6的设计中实现，表明这些设计能完美识别极值条目（“最优”和“最劣”），但无法区分中间条目。两种指标具有互补性：GDI反映整体离散度，PDI强调相对分离特别是极端条目的区分。
**RQ3：真实数据验证**
在11项真实消费者研究中，GDITMAX显著高于GDIOBS，观察到的条目区分仅为理论可能值的1/3至1/2。这表明真实数据中BW分数存在显著压缩，源于受访者的响应不一致性和偏好异质性。压缩模式在不同研究中表现不同：部分研究呈均匀压缩，部分呈不均匀抑制。例如，研究H2中压缩在9个条目间大致均匀；而H3中前两个条目受到不均匀抑制；H11中第7至10个条目呈现相似区分。PDI指标在真实数据中表现不尽如人意：其归一化性质使其对BW分数的等比压缩不敏感，PDIOBS与PDITMAX差异远小于GDI指标的相应差异，个别研究甚至出现PDIOBS略超PDITMAX的情况。因此，研究人员建议PDI应作为事前的设计选择工具，而非事后数据分析指标。
### 四、讨论与结论
讨论部分的核心贡献在于提出了一个八步流程图，用于指导消费者研究中Case 1 BWS的BIBD选择。研究发现明确表明，该领域常用的大多数BIBD并非ErrVarTMAX稳定，研究者往往需要在不稳定设计中进行选择。此时应优先选择CVErrVarTMAX尽可能低的设计，以避免高排序效应导致的结果偏差。具体而言，即使两名受访者具有相同的偏好结构，不同的排序分配也可能产生不同形状的BW得分模式，甚至出现低偏好条目获得更高BW分数的情况。当研究者因实际需要而必须在特定条目数或最少任务数的约束下选择不够理想的设计时，应在ErrVarTMAX稳定性与其他设计需求之间寻求最佳权衡。
一个重要启示是，使用ErrVarTMAX不稳定BIBD的研究中，EVN（归一化误差方差）值无法跨研究直接比较，因为EVN计算基于最大观测ErrVar，该值在不同研究中可能不同。研究者应始终报告观测到的max(ErrVar)值。
对于GDI与PDI的实际应用，研究人员强调：GDI在大多数需要整体条目区分的研究中最具参考价值；PDI则更适用于重点关注极值条目识别的情境。两者应视为互补而非竞争性指标。最终结论提供四条明确建议：1）优先使用ErrVarTMAX稳定的BIBD，若不可行则选择CVErrVarTMAX尽可能小的设计；2）根据研究目标选择最有利于所需条目区分类型的设计，若需对所有条目进行排序和区分则重视GDI，若只需确定“最优”和“最劣”条目则PDI更具参考价值；3）当整体条目区分（GDI）最为重要时，选择条目数较少、集合规模较小的设计；4）在选择BIBD时明确说明ErrVarTMAX与GDI之间的任何权衡及合理性。該研究为Case 1 BWS消费者研究提供了系统化的BIBD选择框架，填补了该领域在设计质量与性能评估方面的方法论空白。
