《Personal Relationships》:Does Order Matter? The Impact of Methodological Decisions in Survey Research Concurrently Examining Attachment to Mothers and Fathers
编辑推荐:
尽管问卷通常在参与者仅作答一次的情境下进行验证,但在人际关系研究中,针对不同关系多次完成特定问卷是很常见的。例如,在依恋问卷中,参与者经常需要对母亲和父亲分别作答。然而,这些问卷的施测顺序是否会影响其效度尚不清楚。本研究通过操纵问卷的施测条件和参与者报告其与每
尽管问卷通常在参与者仅作答一次的情境下进行验证,但在人际关系研究中,针对不同关系多次完成特定问卷是很常见的。例如,在依恋问卷中,参与者经常需要对母亲和父亲分别作答。然而,这些问卷的施测顺序是否会影响其效度尚不清楚。本研究通过操纵问卷的施测条件和参与者报告其与每位父母关系的顺序来探讨这一问题。研究人员招募了1046名本科生(72.9%为女性)样本,完成了关于依恋和心理健康的在线问卷。结果表明,实验操纵既未影响参与者出现努力不足的作答,也未对其内部一致性、观测得分和问卷的因子结构产生实质性影响。对相关性的比较表明,并排或完全顺序地施测母亲和父亲版本的依恋问卷,可能会得出父母与依恋问卷之间最准确的相关性。多组路径分析也表明,施测条件和呈现顺序影响了依恋维度与心理健康症状之间的一些关联,这可能会影响效标效度。
研究背景方面,依恋理论指出儿童会与作为主要照护者的父母建立纽带,这种依恋关系贯穿生命始终并与心理健康相关。尽管传统研究多聚焦于单一依恋对象,但性别角色演变促使研究者开始关注由与父母双方形成的关系构成的依恋网络。在问卷评估中,当研究者同时评估对双亲的依恋时,面临方法学决策的自由度问题,例如父母问卷的呈现顺序及问卷在调查中的排列顺序。然而,这些方法学决策是否会影响量表信度、效度及结论尚不明确。由于题项位置和顺序会影响参与者的感知与解释,填补这一方法学知识空白对确保人际调查研究的效度至关重要。因此,研究人员开展了实验研究,探讨方法学决策对依恋问卷信效度的潜在影响。研究得出方法学决策对问卷心理测量属性的影响因测量属性、问卷和父母身份而异,强调需在研究中提高透明度。该研究对提升人际研究效度和可比性具有重要意义,发表于《Personal Relationships》。
在技术方法上,样本队列来源于一所加拿大东部大学的学生库。研究人员采用了实验设计,将参与者分配到三种施测条件:完全顺序组(CS)、问卷顺序组(QS)和并排组(SbS),以及母亲优先或父亲优先两种呈现顺序。使用的关键技术包括:多维努力不足作答检测法(mIERda,一种基于机器学习的作答筛查工具)进行数据清洗;运用贝叶斯方法估计内部一致性;通过贝叶斯广义线性模型(GLM,一种统计建模方法)评估观测得分;利用验证性因子分析(CFA)检验因子结构;采用贝叶斯多组路径分析评估效标效度,并结合Savage-Dickey贝叶斯因子(BF
10,用于比较假设证据强度的统计量)和实用等价区域(ROPE,用于评估效应实际意义的指标)进行评估。
3.1 预备分析:通过卡方检验分析得出,努力不足作答的患病率在不同施测条件和呈现顺序间无显著差异,排除了其对组间可比性的干扰。参与者完成描述性统计后,排除了存在IER的参与者以保证数据质量。
3.2 内部一致性差异:通过贝叶斯方法估计McDonald's Omega得出,大多数比较显示无差异,但在某些AUAQ子量表上存在差异。例如,在并排施测条件下,愤怒子量表的内部一致性更高;而在完全顺序施测条件下,恐惧和孤独子量表的内部一致性更高。但总体而言,方法学操纵对问卷内部一致性影响有限,且ECR问卷比AUAQ更稳健。
3.3 观测得分与相关性差异:通过贝叶斯GLM分析得出,施测条件对观测得分影响有限。相关性分析表明,在相同问卷不同父母版本间,并排施测条件下的相关性更强;在不同问卷相同父母版本间,问卷顺序条件下的相关性更强。这提示测量距离越近,共同方法偏差和锚定效应可能导致人为的高估相关性,表明施测条件影响了问卷的聚合效度。
3.4 因子结构差异:通过CFA检验测量不变性得出,问卷在施测条件和呈现顺序间具有形态、弱和强不变性。这表明方法学操纵未威胁因子结构,参与者报告的得分可以跨条件和呈现顺序进行比较。
3.5 心理健康症状预测差异:通过贝叶斯多组路径分析得出,施测条件和呈现顺序影响了少数依恋维度与症状间的关联。例如,母亲回避对焦虑症状的影响在呈现顺序间存在显著差异且方向相反,表明顺序操纵可能影响问卷的效标效度。
在讨论部分,研究人员指出,方法学操纵对IER无影响,支持IER主要受个体内部倾向驱动。对信度影响有限,但AUAQ可能更敏感。因子结构不变性支持跨设计比较得分。施测条件影响聚合效度,并排施测可能促进认知分离,而顺序交替可能模糊父母表征。效标效度方面,呈现顺序可能产生偏见,建议并排施测以确保效标效度。研究存在横断面设计、样本局限于异父母家庭及大学生等局限。
研究结论部分翻译如下:本研究阐明了方法学决策对不同照护者进行同一问卷多次评估研究的效度与信度的影响。尽管仍存在相当大的不确定性,但结果表明,呈现顺序和施测条件可能会影响依恋问卷与结果变量的关联方式。结果突出了透明度的必要性,并提供了可用于提高人际研究效度和可比性的见解。