多选题格式的不专注受访者检测方法

《Acta Psychologica》：Inattentive respondent detection methods for multiple-choice format items

　　

基于网络的调查（Web-based surveys）在包括心理学在内的社会科学中被广泛使用。然而，此类调查经常包含不专注受访者（inattentive respondents）——即不仔细阅读问题就作答的个体——这可能会扭曲分析结果。尽管已有多种检测方法被提出，但许多方法依赖于李克特量表（Likert scale）题项。由于某些调查不包含李克特量表（Likert scale），并且此类题项可能引入引导性或非自然的内容，因此有必要开发不依赖李克特量表（Likert format）的替代检测方法。本研究考察了在保留自然调查内容的情况下，对多选题（multiple-choice）、自由回答（free-response）和排序（ranking）格式进行不专注受访者（inattentive respondent）检测。研究I（Study I）表明，所提出的检测方法对自由回答和排序格式无效；因此，后续分析仅集中于多选题（multiple-choice items）。然而，在多选题中，“从N个中选择X个（choose X from N）”格式显示出有希望的检测性能，但将过多比例的受访者判定为不专注。在研究II（Study II）中，题项被优化为基于行为/事实的问题（behavior/fact-based questions），从而得到了一种能保持强大检测性能且不过度识别的检测方法。因此，本研究的主要贡献是开发并验证了一种适用于不依赖李克特量表（Likert scale）的多选题调查的检测方法。结果进一步表明，应用所提出的方法可提高心理测量（如大五人格量表（Big Five scale））的有效性。未来研究应考察其在更广泛的心理调查情境中的适用性。

本研究聚焦于网络调查中不专注受访者（inattentive respondents）的检测问题。当前广泛使用的检测方法大多依赖于李克特量表（Likert scale）题项，然而许多调查并不包含此类量表，且已有方法（如引导问题量表DQS等）的内容往往不自然，可能引起受访者不适。为开发自然且通用的检测手段，研究人员提出针对多选题（multiple-choice）、自由回答（free-response）和排序（ranking）格式的检测方法，并系统验证其有效性。论文发表于《Acta Psychologica》。

研究主要通过两项子研究展开。关键方法包括：针对多选题提出“选择至少X个从N个中（pattern 2）”等六种检测模式；利用皮尔逊相关系数（Pearson correlation）评估新方法与传统方法（长字符串LS、个体内反应变异性IRV、马氏距离Mahalanobis distance、响应时间、DQS）的一致性；以日文版十项人格量表（TIPI-J）中正反向题项的相关性作为外部理论基准，通过排除不专注受访者后相关值向理论预期负方向变化的程度衡量检测性能。样本来源于日本网络研究公司（Japanese web-based research company），研究I含12项调查（每项250人，性别年龄分层），研究II含12项调查（每项200人）。

研究结果部分：

**Study I：检测方法的初步探索**。针对多选题、自由回答和排序格式共设计与测试多种模式。通过2.5节分析发现，仅多选题中的“选择至少X个从N个中（pattern 2）”与现有方法（LS、IRV、马氏距离、DQS）的相关系数均值较高（与LS平均0.25，与IRV平均-0.27，与DQS平均0.33），且标准差较小，表明稳定性较好。但该方法检测出的不专注率平均达0.39，偏高。其他格式（如自由回答、排序）的检测方法效果不佳，相关系数较低或不稳定。

**Study II：行为/事实题的优化**。为解决研究I中高不专注率的问题，研究II将“选择至少X个从N个中”题项改为基于行为/事实（behavior/fact-based）内容（如请选择您听说过的汽车品牌）。通过3.3节分析，行为/事实题的不专注率平均为0.08，远低于意见题（opinion-based）的0.30，且与现有方法的相关性较高。其中（N, X）组合为（15,5）、（20,7）、（20,9）的题项，在相关系数总和、绝对偏差（与Oshio等2012年报告的正反向题相关值比较）以及平均相关变化量三项指标上均表现优异。例如（15,5）的相关系数总和为1.36，绝对偏差0.09，平均相关变化-0.14（即向负方向移动）。这表明行为/事实题能在不过度排除受访者的前提下有效识别不专注个体。

**人口学变量分布**：排除不专注受访者后，剩余样本中男性比例49.10%，平均年龄45.02岁，而被排除者平均年龄42.28岁，提示人口学特征存在差异，但本研究未聚焦于估计校正。

总结讨论部分：研究最终推荐（15,5）、（20,7）、（20,9）组合作检测题项。主要贡献是开发并验证了一种不依赖李克特量表的多选题自然化检测方法。所提方法改善了心理测量（如大五人格量表）中正反向题项的相关性，从而提升了量表效度。未来挑战包括：扩展题项内容多样性、增大样本量、跨国调查、排除后校正、模拟研究、基于官方统计的评估以及心理学应用验证。研究结论翻译如下：本研究关注到网络调查中多数不专注受访者检测方法假设使用李克特量表，且现有方法内容不自然，因此探索了非Likert格式的检测手段。研究I表明“选择至少X个从N个中”的多选题有效但过度检测；研究II显示行为/事实题可降低误判率。最终，行为/事实题中（15选5）、（20选7）、（20选9）组合在检测性能与过度检测间取得平衡，为大五人格量表等心理测量提供了有效的质量保障。