《Journal of Genetic Counseling》:Psychometric Analyses of Commonly Used Patient-Reported Outcome and Experience Measures in Genetic Counseling Research: Findings From the GC-PRO Study
编辑推荐:
患者报告结局测量指标(PROMs)和患者报告体验测量指标(PREMs)是分别评估患者结局和患者对卫生服务体验的标准化问卷。尽管其在遗传咨询(GC)研究中广泛使用,许多PROMs和PREMs缺乏关于测量质量的全面证据,尤其是在效度、公平性和信度方面。本研究在GC
患者报告结局测量指标(PROMs)和患者报告体验测量指标(PREMs)是分别评估患者结局和患者对卫生服务体验的标准化问卷。尽管其在遗传咨询(GC)研究中广泛使用,许多PROMs和PREMs缺乏关于测量质量的全面证据,尤其是在效度、公平性和信度方面。本研究在GC-PRO研究第一阶段评价了10种常用PROMs/PREMs,考察内容效度、内部结构、与其他变量的关系、公平性和内部一致性信度。共453名接受GC服务的患者,涵盖产前、肿瘤、心脏病学和普通遗传学专科,完成了会话前和会话后调查,包括3个PROMs:遗传咨询结局量表(GCOS)、患者激活测量(PAM)、SURE决策冲突量表,以及7个PREMs:医疗保健气候问卷(HCCQ)、遗传咨询满意度量表(GCSS)、以患者为中心的沟通量表(PCCS)、状态性信息过载(State-Based Information Overload)、工作联盟量表(WAI)、CollaboRATE和CAHPS健康素养补充模块。内容效度通过专家和社区合作伙伴访谈评估。验证性因子分析(CFA)使用标准模型拟合指标(χ2、近似误差均方根(RMSEA)、比较拟合指数(CFI)和标准化残差均方根(SRMR))评价每个测量的内部结构。对所有多条目量表计算Cronbach's alpha(克朗巴赫α系数)。五个测量(如GCSS、PCCS、HCCQ、WAI和CollaboRATE)在多种证据形式上表现出总体较强的心理测量学性能。GCOS、PAM、状态性信息过载和SURE量表的心理测量学结果不一:部分结果提供良好测量质量证据,而其他证据来源提示可能需要改进。研究人员对10种常用PROMs/PREMs采用多层面心理测量学评价方法,为提升GC领域这些工具的质量提供了基础。最终,研究结果表明,不支持在GC研究结局测量中采用“一刀切”方法。
研究背景方面,患者报告结局测量指标(PROMs,患者自报结局的标准化问卷)和患者报告体验测量指标(PREMs,患者自报医疗体验的标准化问卷)长期用于评价卫生干预与服务效果。遗传咨询(GC)研究中使用多种PROMs/PREMs,但Payne et al.对67个结局测量的综述发现仅28%报告内部一致性信度,Kasparian et al.对25个心理社会结局测量的综述亦呼吁加强GC研究中的验证工作。测量质量并非工具固有且可推广至所有目的、人群和情境的属性,样本特征、问卷长度、量表位置、前序内容与反应量表等均可影响心理测量系数,因此研究人员不能仅依赖原始开发研究或手册,而需在本研究中收集并报告效度、公平性和信度证据。本研究旨在为GC-PRO研究第一阶段使用的10个PROMs/PREMs提供内容效度、内部结构效度、与其他变量关系、公平性和内部一致性信度证据,建立跨GC临床专科及美国不同种族和民族背景患者的心理测量学知识基础。
方法上,GC-PRO采用多站点、多学科设计:先由社区顾问委员会(CAB)成员反馈,再收集患者会话前、会话后问卷及会话录音。样本来自UMN-M Health Fairview(n=188)、USF-Tampa General Hospital(n=103)和Genome Medical Inc.(n=162),共453名患者(430名成人、23名未成年患者的父母/法定监护人)。评价10个测量:3个PROMs(GCOS、PAM、SURE决策冲突)和7个PREMs(HCCQ、GCSS、PCCS、State-Based Information Overload、WAI、CollaboRATE、CAHPS健康素养补充)。内容效度与公平性依据专家和社区伙伴访谈、认知访谈及翻译流程;内部结构采用验证性因子分析(CFA,检验先验因子结构的统计方法;Mplus 9;MLR或WLSMV估计;Type=Complex校正患者嵌套于咨询师);计算Cronbach's alpha(Cronbach's alpha,内部一致性系数);以χ
2、RMSEA、CFI、SRMR评价拟合,并构建12因子综合模型。
研究结果如下。3.1 参与者(Participants):453名患者完成前后问卷和录音,主要认同为女性(n=388)和非西班牙裔白人(n=218),年龄18—88岁(M=40.6,中位数36.0,SD=13.5);会话后问卷完成率95.6%,各招募点相似。3.2 遗传咨询会话(GC Sessions):会话时长4—86 min(M=37.6,中位数36.0,SD=13.5),采用电话(n=177)、视频(n=174)或面对面(n=102)方式;多数为检测前咨询(n=366),87次为检测后结果咨询。3.3 描述性分析(Descriptives Analyses):多数测量平均分处于量表高端,提示可能存在天花板效应,尤其若干PREMs;3个PROMs从会话前到会话后显著改善(p<0.001),Cohen's d分别为0.59、0.55和0.78,提供对咨询后变化敏感的初步证据。3.4 效度(Validity):3.4.1 内容效度(Content Validity):专家和社区伙伴定性反馈识别出可行修改、调查耗时、识字需求、条目困惑、量表格式可用性、情绪反应及文化敏感性等主题;据此删除不适当条目并增加清晰性或文化敏感性说明,增强了内容效度和公平性。3.4.2 内部结构效度(Internal Structure Validity):CFA显示GCSS、PCCS、HCCQ、WAI和SURE的模型拟合总体良好;修改版GCOS(单因子和四因子、前后测)、PAM(前后测)和State-Based Information Overload拟合低于可接受水平;CollaboRATE和CAHPS健康素养各仅3个条目,为恰好识别模型,拟合指标不具意义。标准化载荷均值方面,GCSS为0.765、PCCS为0.941、HCCQ为0.825、SURE前后测为0.891和0.852、CollaboRATE为0.904,WAI的Task、Goal、Bond分别为0.812、0.798、0.717;GCOS单因子前后测均值最低,为0.418和0.498,四因子各维度亦偏低;CAHPS均值为0.666,但3个条目中2个载荷>0.70。3.4.3 构念效度:与其他变量的关系(Construct Validity: Relations With Other Variables):12因子CFA模型拟合边缘可接受,χ
2(2564,N=453)=3774.802,p<0.001,RMSEA=0.032(90% CI 0.030—0.034),CFI=0.889,SRMR=0.078;12个构念的66个相关系数范围为?0.903至0.939;GCOS与PAM相关为0.867(p<0.001),支持二者正相关假设;GCSS、PCCS、HCCQ、WAI和CollaboRATE等体验测量间相关为0.606—0.858,平均0.709,均显著(p<0.001);但WAI的Goal与Bond相关高达0.939,HCCQ与CAHPS健康素养为0.915,GCSS与State-Based Information Overload为?0.903,State-Based Information Overload与CAHPS健康素养为?0.893,提示构念重叠。3.5 信度(Reliability):23个量表/子量表的Cronbach's alpha范围为0.438—0.935,平均0.740;8个量表/子量表信度<0.70,包括修改版GCOS四因子中的三个(前后测)、SURE后测和CAHPS健康素养。
讨论部分总结:测量是GC定量研究的基础,详细报告心理测量学信息可增强对测量稳健性和研究结论效度的信心。本研究优势包括样本量较大且多样(51%为黑人、原住民和/或有色人种)、跨多专科和多类机构,并同时评价4个原版和6个修改版测量。结果显示心理测量学性能可随应用变化:GCSS原版α=0.887,与DeMarco et al.报告的0.90相似;PCCS α=0.935,与Moser et al.报告的0.92相似;SURE前后测α=0.819和0.599,而Légaré et al.报告0.54和0.65;HCCQ仅将doctor替换为genetic counselor后拟合和信度优良;GCOS和PAM修改较大,结果混合且二者高相关(r=0.867),提示概念和实证重叠,可能无需同时纳入。研究扩展了内容效度、CFA内部结构和名义网络(nomological network,构念间理论关系网络)证据;CFA在既往GC文献中应用有限。SURE后测信度低与其简短及作为多侧面指标有关;State-Based Information Overload的CFA拟合不佳但α=0.809,两个反向编码条目载荷为0.421和0.455;信度可随时点变化,需逐项报告;条目水平描述统计有助于解释天花板效应和CFA结果。局限包括:亚组样本量不足,无法进行多组验证性因子分析(MGCFA,多组验证性因子分析)评价测量不变性;未评价纵向测量不变性、重测信度,也未按COSMIN(COnsensus-based Standards for the selection of health Measurement Instruments,健康测量工具选择共识标准)框架预设假设检验反应度或建立最小重要差异(MID,最小重要差异);自报告问卷可能存在共同方法偏差和社会赞许性等。选择测量时应优先考虑最重要结局,区分PREMs与PROMs及反应度,考虑构念在目标时点是否可测,减少应答负担,积累跨研究证据,并谨慎修改工具。
研究结论(翻译):本研究采用多层面方法评价GC研究中常用的10种PROMs和PREMs的心理测量学性能。GCSS、PCCS、HCCQ、WAI和CollaboRATE共享决策在多种证据来源上表现出总体较强的心理测量学性能。修改版GCOS、PAM、State-Based Information Overload和SURE决策冲突量表的心理测量学结果更为混合,部分结果提供良好测量质量证据,而其他证据来源提示可能需要进一步改进或补充心理测量学证据。最终,研究结果表明,不支持在GC研究结局测量中采用“一刀切”方法。使用一种还是多种测量的适宜性可能取决于所关注的构念和特定研究目标。仍迫切需要能在多样临床GC专科和患者人群中稳健应用的、经过良好验证的测量,尤其是可在GC前后测量的PROMs。值得注意的是,本研究中PREMs的心理测量学性能优于PROMs,但这些测量仅确定人们对GC会话、遗传咨询师行为或与遗传咨询师关系的看法,因此不能用于评估结局的前后变化,而后者对确立GC服务的影响和重要性可能很重要。当前研究的一个关键测量启示是测量质量评价复杂,不同心理测量分析有时对质量得出不同结论。这些差异可能引发对测量稳健性的疑问,并推动更多研究解释这些差异。为建立GC研究中所用测量的累积知识库,研究人员需要使用多重视角评价GC测量的效度、信度和公平性,并报告这些结果,以便研究人员更好地决定哪些测量可能最适合其参与者、情境和目的。