《Frontiers in Public Health》:Content validity of digital health competence measures for nursing in South Africa
编辑推荐:
引言:随着数字技术在改善患者与机构健康结局中的使用不断增加,护士需要具备充足水平的数字胜任力,并由心理测量学上可靠的工具加以测量。然而多数测评工具源于高收入国家,尚未适应其他环境。因此,研究人员旨在确定芬兰开发的两项工具,即测量数字胜任力的 DigiHealt
引言:随着数字技术在改善患者与机构健康结局中的使用不断增加,护士需要具备充足水平的数字胜任力,并由心理测量学上可靠的工具加以测量。然而多数测评工具源于高收入国家,尚未适应其他环境。因此,研究人员旨在确定芬兰开发的两项工具,即测量数字胜任力的 DigiHealthCom 与测量数字胜任力影响因素的 DigiComInf,在南非应用时的内容效度。
方法:参与者主要为南非公立与私立机构的护士,完成在线内容效度评定量表(n = 12),对 DigiHealthCom 与 DigiComInf 各条目及子量表的关联性与清晰性进行评分;其中10人参与在线焦点小组。评分通过分析个体条目内容效度指数(I-CVI)以及量表与子量表平均内容效度指数(S-CVI/Ave)进行处理。
结果:关联性与清晰性的 I-CVI 多数为 >0.78,但“以人为中心的远程咨询胜任力(human-centred remote counselling competence)”子量表中部分条目及 DigiComInf 中一个条目例外。DigiHealthCom 的 S-CVIrelevance/Ave = 0.86、S-CVIclarity/Ave = 0.87;DigiComInf 的 S-CVIrelevance/Ave = 0.95、S-CVIclarity/Ave = 0.89。焦点小组提出若干关切,如缺乏情境相关的构念定义、目标人群不清、部分条目对不同医疗情境适用性不足。
讨论:修订包括增补相关定义、澄清目标人群或管理层级、在评定量表增加“不适用(not applicable)”选项,以及用更合适的替代词澄清含义或情境。最终版本经参与者与原作者批准。
该研究发表于《Frontiers in Public Health》。研究背景方面,数字健康技术正在改变医疗服务提供方式,护士作为最大的医疗卫生专业群体,需要具备较高水平的数字健康胜任力(digital health competence,指以有意义方式使用新技术、理解数字技术现象并作为负责任行动者参与数字世界所需的知识、技能与实践)。已有本地研究显示护士信息学技能水平偏低,需要在继续教育与本科课程中加强护理信息学(nursing informatics)内容。两项芬兰开发的工具 DigiHealthCom 与 DigiComInf 可分别测量医护人员的数字健康胜任力及其组织与教育影响因素,但大多数此类工具来自高收入国家,在南非这类中低收入、公私医疗系统并存的环境中可能缺乏情境相关性。内容效度(content validity,指测评内容对特定评估目的下目标构念的相关性与代表性)是效度的重要组成,若内容效度不足,即使其他心理测量指标良好,推论也可受质疑。因此,研究人员以护士为主体,开展南非情境中 DigiHealthCom 与 DigiComInf 的内容效度研究。
主要技术方法上,研究人员邀请20名与数字健康及数字化相关的南非医疗专业人员,最终12人完成在线内容效度量表,10人参加在线焦点小组;样本主要来自西开普省与豪登省,以护理信息专家、护理教育者、公立与私立机构护理信息人员、护理管理者为主,并纳入两名非护理医疗专业人员。方法包括:第一,使用 REDCap 构建英文版 DigiHealthCom 与 DigiComInf 的内容效度评定量表,由专家按关联性(R1-R4)与清晰性(C1-C4)评分;第二,开展时长约3小时、英语进行的在线焦点小组,逐条讨论条目并纪录修订建议;第三,按 Lynn 等方法计算条目级内容效度指数(I-CVI,即评为 R3/R4 或 C3/C4 的专家数占评分专家数的比例)和量表平均内容效度指数(S-CVI/Ave,即所有 I-CVI 的均值),并以 I-CVI ≥ 0.78、S-CVI/Ave ≥ 0.80 至 0.90 作为可接受标准。
研究结果如下。
3.1 参与者:12人完成评分,10人参加焦点小组;角色覆盖护理信息学教育、护理教育、政府公共卫生服务、私立护理信息咨询、基层护理管理等,地理上来自南非两省。研究人员据此认为,因护理教育受全国统一管理,样本可代表南非公私机构情境。
3.2 DigiHealthCom 关联性与清晰性内容效度评议及参与者建议:总量表 S-CVIrelevance/Ave = 0.86、S-CVIclarity/Ave = 0.87。整体修订包括将 digital solutions 改为 digital tools、customer 改为 client、增加“不适用”选项。
3.2.1 DigiHealthCom 总体评分:总量表效度指标可接受;补充表给出原条目与南非修订版条目对照。
3.2.2 子量表1 以人为中心的远程咨询胜任力:S-CVIrelevance/Ave = 0.80、S-CVIclarity/Ave = 0.80,低于其他子量表;条目1、6、10、11、12、16的 I-CVI 未达 cutoff。研究人员指出该子量表并非所有医护人员都提供“counselling”,故扩展定义为“digital(online, mobile, WhatsApp)counselling/patient guidance/health education/health literacy”,并将条目1中表述改为更易理解的说法,条目16补充南非可用信息源示例。
3.2.3 子量表2 作为工作组成部分的数字解决方案:S-CVIrelevance/Ave = 0.97、S-CVIclarity/Ave = 0.96;专家建议条目17、20补“in my work”,条目23用 manage 替代 deliver 并删去 customer work,条目24删去 natural 以提升清晰性。
3.2.4 子量表3 信息通信技术(ICT)胜任力:S-CVIrelevance/Ave = 0.95、S-CVIclarity/Ave = 0.97;条目27删“in my work”以兼顾公私机构设备权限差异,条目30改为“可解决或知道如何请求支持”来贴合南非 IT 支持模式。
3.2.5 子量表4 利用与评价数字解决方案的胜任力:S-CVIrelevance/Ave = 0.79,略低于0.80,S-CVIclarity/Ave = 0.82;条目31澄清 social and health services 含义,条目36替换芬兰本地服务示例为南非适用服务,条目37将 digital solutions 改为 digital tools。
3.2.6 子量表5 与数字解决方案相关的伦理胜任力:S-CVIrelevance/Ave = 0.91、S-CVIclarity/Ave = 0.89;条目39用 ensure 替代 secure,条目41补充客户自主权解释,条目42增补伦理维度示例。
3.3 DigiComInf 关联性与清晰性内容效度评议及参与者建议:总量表 S-CVIrelevance/Ave = 0.95、S-CVIclarity/Ave = 0.89;全局修订包括 digital solutions 改 digital tools、增补 digital competence 定义、增加“不适用”选项。
3.3.1 DigiComInf 总体评分:总体效度可接受,补充表给出原条目与南非修订版对照。
3.3.2 子量表1 管理层支持:S-CVIrelevance/Ave = 0.94、S-CVIclarity/Ave = 0.92;条目4 I-CVI 低于标准,研究人员将 manager 明确为 line manager,条目1由“example”改为“vision”。
3.3.3 子量表2 作为数字胜任力发展组成部分的组织实践:S-CVIrelevance/Ave = 0.94、S-CVIclarity/Ave = 0.85;条目10由“organisation’s practices”改为“organisation”。
3.3.4 子量表3 同事采纳与影响:S-CVIrelevance/Ave = 0.97、S-CVIclarity/Ave = 0.88;条目13改为同事乐于发展使用 digital tools 的技能。
讨论部分中,研究人员指出总量表与多数子量表内容效度充足,仅“利用与评价数字解决方案的胜任力”关联性均值略低于 cutoff,“以人为中心远程咨询胜任力”若干条目及 DigiComInf 条目4存在偏低情况。问题可归为概念清晰性与情境相关性两类:南非普通护理中的 counselling 不同于心理师或精神科护士的咨询,因此需重新界定 digital counselling 并明确服务对象;同时需补充 digital competence 定义、替换不符合公私医疗差异的示例与措辞。研究人员强调,即便同为英文版本,从英国情境转入南非,仍须做内容效度验证,因为语言相同并不等于构念情境相同,翻译等同词也可能丢失原构念意义。未来还需进行因子效度(factorial validity)、测量不变性(measurement invariance)与信度检验。
结论部分译为:本研究为南非护理情境中 DigiHealthCom 与 DigiComInf 的内容效度提供了初步证据,两项工具需经一定改编以适配南非情境;未来研究应在南非护士及其他医疗专业中进一步验证这些工具。
该研究意义在于,它说明高收入国家开发的数字健康胜任力测评工具不能直接移植到南非等异质医疗环境,必须通过专家评分与焦点小组实现概念界定、语言本土化、公私部门实践适配和条目层级修订;最终形成的南非适用版 DigiHealthCom 与 DigiComInf 为后续心理测量学验证与护理数字能力建设奠定了方法学基础。