《Frontiers in Psychology》:Integrating eye-tracking into psychometric research: computational approaches to explore response burden in questionnaire completion
编辑推荐:
引言:长问卷会增加认知和动机需求,导致反应负担。本研究调查眼动行为是否随问卷长度变化。方法:25名参与者在进行注视(fixation)记录期间完成了BFI-44和更长的BFQ-2。分析包括2×3重复测量方差分析(测验(Test)×时间(Time))以及对最后问
引言:长问卷会增加认知和动机需求,导致反应负担。本研究调查眼动行为是否随问卷长度变化。方法:25名参与者在进行注视(fixation)记录期间完成了BFI-44和更长的BFQ-2。分析包括2×3重复测量方差分析(测验(Test)×时间(Time))以及对最后问卷部分训练的七个机器学习(machine learning)分类器(包括随机森林(Random Forest)和AdaBoost)的评估。结果:注视(fixation)、访问(visit)、扫视(glance)和瞳孔(pupil)指标随时间在两种工具中均下降。显著的测验×时间(Test×Time)交互作用显示,更长的BFQ-2在注视行为中产生了更明显的时间变异性。AdaBoost分类器在区分两种工具时达到了73%的准确率。讨论:研究结果表明,较长的问卷会引起更强烈的注视时间波动,可能反映疲劳或策略适应。眼动追踪为评估被试参与随时间的稳定性提供了有价值的客观工具。
**论文解读:眼动追踪揭示问卷长度对反应负担的影响**
#### 研究背景与问题
心理测量问卷是评估人格、态度等复杂构念的核心工具,但许多常用问卷(如NEO-PI-R、MMPI-2-RF)项目数超过100,可能增加认知与动机需求,引发反应负担(response burden)。反应负担被定义为完成问卷所需的认知与情感努力(Bradburn, 1977),其动态性体现在任务特征(如长度)通过主观感知影响数据质量。然而,现有研究多聚焦于问题理解阶段(如反应时、项目无应答),忽略了反应选择阶段(如Likert量表选项选择)的注意分配变化。此外,问卷长度与反应负担间的直接证据尚不充分,亟需客观指标追踪参与者的注意力动态。眼动追踪技术可连续、精细地测量视觉注意,其在认知负荷研究中已显示敏感度,但在重复性自评问卷中,眼动指标(如更短注视时长、更小瞳孔)可能反映注意脱离而非努力增加。为此,研究人员开展本研究,旨在结合推理统计与机器学习,探究不同长度问卷完成过程中眼动行为的演变,以揭示反应负担的计算特征。该研究发表于《Frontiers in Psychology》。
#### 主要关键技术方法
研究采用被试内设计,25名意大利那不勒斯费德里科二世大学心理学本科生(年龄18–30岁)分别完成短问卷BFI-44(44题)和长问卷BFQ-2(134题),两次测试相隔一周,顺序在参与者间平衡。使用Tobii Pro Nano眼动仪记录注视(fixation)、访问(visit)、扫视(glance)和瞳孔(pupil)指标(分析区域为Likert反应条)。统计方法包括2×3重复测量方差分析(因素:测验Test:BFI-44/BFQ-2;时间Time:初始/中间/最终各5题);同步对最终5题数据训练七种机器学习分类器(逻辑回归、线性SVM、RBF-SVM、随机森林、极端随机树、AdaBoost、梯度提升),并采用置换重要性(permutation importance)进行可解释性分析。
#### 研究结果
**3.1 推理分析(Inferential results)**
通过重复测量方差分析,所有眼动指标均显示显著的时间主效应(如注视总时长:F(2,44)=46.39, p<0.001, η
p2=0.678;瞳孔直径:F(2,44)=40.57, p<0.001, η
p2=0.648),表明任务进程中视觉参与度普遍下降。关键发现是显著的测验×时间交互作用:
- **3.1.1 注视指标(Fixation measures)**:平均注视时长(F(2,44)=11.90, p<0.001, η
p2=0.351)和最小注视时长(F(2,44)=9.17, p<0.001, η
p2=0.294)交互显著,长问卷(BFQ-2)在注视时长上表现出更明显的时间变异性(初始高、后段下降),而短问卷(BFI-44)则更稳定。
- **3.1.2 访问指标(Visit measures)**:时间主效应显著(如总访问时长:F(2,44)=41.66, p<0.001),但交互作用未达校正阈值(α=0.004)。
- **3.1.3 扫视指标(Glance measures)**:时间主效应显著(总扫视时长:F(2,44)=41.44, p<0.001),交互作用边缘显著但未达校正标准。
- **3.1.4 瞳孔指标(Pupil measures)**:仅时间主效应显著(F(2,44)=40.57, p<0.001),无交互作用。
这些结果表明,问卷长度不改变整体参与水平,但影响参与的时间稳定性。
**3.2 机器学习分析(Machine learning analysis)**
- **3.2.1 算法性能评估(Algorithms performance evaluation)**:在最终5题数据上,AdaBoost分类器以73%的交叉验证准确率最佳区分BFI-44与BFQ-2(测试集精确率-召回率平衡),优于其他模型(如逻辑回归69.2%、随机森林65.6%)。
- **3.2.2 可解释性分析(Explainability analysis)**:置换重要性分析显示,平均注视时长是最关键的预测特征(准确率下降最大),其次是最小扫视时长和最小注视时长,说明注视动力学在编码问卷差异中起核心作用,而瞳孔直径贡献中等,其他访问/扫视总计指标贡献较小。
#### 讨论与结论
讨论部分指出,眼动指标的普遍时间下降反映习惯化或策略优化,而交互效应揭示长问卷在反应过程中诱发更大的注意波动(可能源自疲劳或满意化(satisficing)行为)。机器学习结果证实,眼动行为的多变量模式足以区分问卷类型,尤其注视指标具有强判别力,支持了反应负担的多元涌现性。研究意义在于:眼动追踪可作为问卷开发的客观工具,帮助识别引起异常视觉行为的项目;较短问卷能维持更稳定的参与度,有利于测量精度。但需注意样本同质(心理学学生)、单页布局限制、以及未能分离项目长度与内容的影响。
**结论部分翻译**:
本研究通过整合推理分析与机器学习方法,考察了不同长度人格问卷完成过程中视觉行为的演变。总体结果表明,尽管短问卷与长问卷产生大致相当的视觉参与水平,但长问卷与更明显的注视(fixation)、访问(visit)、扫视(glance)时间变化相关。这些发现支持问卷长度可塑造反应过程展开的观点,影响参与者随时间浏览项目和反应选项的方式。多元分类结果进一步表明,注视行为包含足够结构以区分问卷类型,即使单个指标未显示强主效应。这意味着眼动追踪能捕捉注视、扫视和瞳孔指标间的微妙交互模式,反映参与者不断演变的参与度。值得注意的是,这些特征(尤其是注视指标)在预测问卷类型时极具信息量,突出了它们在理解参与者如何接近自评项目中的作用。除实证贡献外,研究结果强调了眼动追踪在问卷开发中的潜在角色:注视测量提供关于被试如何与项目交互的连续精细信息,可在早期验证阶段帮助识别引发异常视觉行为、增加决策努力或反应选项导航不一致的项目。这种交互层面洞察可补充传统心理测量分析,揭示仅凭自评无法触及的反应过程侧面。未来研究应扩展至包含项目文本、应用更复杂计算模型(如Transformer、循环神经网络)、使用平行问卷控制内容、并在更大更多样样本(包括年龄分层)中验证,同时比较不同施测模式(如单页、多页与纸笔),以全面理解被试如何与自评工具交互,并利用眼动追踪指导心理测量工具的设计、改进与验证。