《International Journal of Medical Informatics》:Healthcare practitioner involvement in data-driven clinical decision support development and evaluation: Critical narrative review of recommendations
编辑推荐:
现有数据驱动临床决策支持系统(CDSS)框架对卫生保健专业人员(HCP)参与的指导不足,影响工具的临床信任度。研究表明23个框架提及HCP在开发与评估中的角色,但缺乏具体方法。HCP主要贡献于用户接受度、沟通及人机交互设计,但现有指南未要求其在数据准备或后期监测中发挥作用,且未将其视为专家角色。需加强HCP参与全流程的方法指导。
Ruth P. Evans | Louise D. Bryant | Gregor Russell | David C. Wong | Kate Absolom
利兹大学,Woodhouse Lane,利兹LS2 9JT,英国
摘要
目的
尽管医疗保健从业者(HCP)的参与被广泛认为是开发和评估可信的、基于数据的临床决策支持系统(CDSS)所必需的,但实际指导仍然有限。这篇关键的叙述性综述研究了现有的框架,强调了与HCP相关的考虑因素,并指出了需要进一步指导的领域。
方法
我们结合了Ovid Medline、EQUATOR网络图书馆的搜索结果以及截至2024年9月的相关综述,寻找用于开发或评估基于数据的CDSS的框架。提取了这些框架的特征、在基于数据的CDSS生命周期中的覆盖范围,以及与HCP相关的建议细节以供分析。
结果
共筛选了165篇文献,其中32篇符合纳入标准。有9个框架没有提出与HCP参与相关的建议;而在其余23个框架中,发现了与HCP参与相关的建议,这些建议涵盖了基于数据的CDSS开发和评估生命周期的大多数阶段。与HCP最终用户相关的建议包括可接受性、沟通和人机交互等主题。专家临床意见在各个阶段都被建议考虑,但没有报告指南要求必须提供。
讨论
现有的指导缺乏在基于数据的CDSS开发和评估过程中全面纳入HCP的方法。报告指南没有将HCP视为专家,这可能导致临床专业知识被忽视。这些框架在处理复杂挑战(如风险沟通)时缺乏细节。没有框架建议HCP参与数据准备或上市后监测,然而HCP可以在这些阶段发挥重要作用。
结论
应该将HCP纳入基于数据的CDSS的开发和评估中,但仍有空间更好地理解如何融入更多的临床见解,以及这如何提高这些工具的可信度。
引言
预测模型的开发是医学和健康领域研究活动的核心焦点,然而很少有模型能够发展到可以用于临床决策的程度并经过验证[1]。
为了实现实际应用,这些模型可以作为基于数据的临床决策支持系统(CDSS)的基础[2]。我们使用“基于数据的”这一术语来指代通过复杂统计技术或机器学习从大型患者数据集中得出的模型[2],这也被称为非基于知识的CDSS[3]。CDSS将患者特定数据输入这些模型,为医疗保健从业者(HCP)提供可操作的建议,以支持临床决策[4]。
为了实现有效的临床应用,建议与HCP合作,以确保模型与明确的临床决策点相关联[5],避免“解决方案”与临床需求之间的脱节[6]。英国和美国的政府机构建议在整个数字和基于数据的健康技术生命周期中让HCP参与其中,以将多学科的专业知识应用于其开发和临床应用[7]、[8]。
对于采用新工具的HCP来说,接受度非常重要[9],然而他们对基于数据的CDSS的看法并没有得到充分关注[10],这导致了一些关键问题仍未解决。例如,在机器学习或人工智能(AI)预测模型中,可解释性对于临床用户的信任和实际应用至关重要[11]。可解释的人工智能(XAI)是一个正在发展的领域,旨在提供对AI模型预测背后机制的洞察[12]。然而,如果解释看起来令人满意,HCP可能会对不准确的预测产生信任[13],并且一些HCP群体更重视证明患者受益的稳健评估,而不是可解释性[14]。与HCP一起进行的XAI评估对其与临床实用性和信任的关系尚未得出明确结论[15],而且XAI研究由于没有常规包括HCP的意见而可能使临床应用变得无关紧要[16]。
虽然有许多关于基于数据的CDSS开发和评估的报告指南和框架,但在如何涵盖HCP参与方面存在局限性。以往对报告指南和框架的综述[17]、[18]、[19]、[20]、[21]、[22]并未关注HCP的参与问题,尽管有一项关于医学AI的报告指南和框架的综述[17]发现利益相关者参与的覆盖率非常低。
术语和描述可能有所不同[23],但在这篇综述中,框架是指提供结构化、可推广[17]且可操作[18]建议的文档。
报告指南是一种框架类型,旨在提高已发表研究的透明度、完整性和标准化[21]、[24]、[25]。EQUATOR网络图书馆是一个由健康研究方法、统计学和报告方面的专家策划并定期更新的公共卫生研究报告和政策声明的公共集合[26]。此类指南通常通过检查表或流程图来指示所需的最低细节水平[24],但我们还包括了关于报告基于数据的CDSS研究的一般性指导。
尽管报告指南并非设计为方法论框架,但在没有其他框架的情况下,它们可以作为代理,因为它们提供了预期研究过程的指示[27]。
我们使用“框架”这一术语来指代所有关于开发、评估、报告和评估基于数据的CDSS及其基础模型的结构化指导。
我们的目标是确定已发布的框架如何处理HCP在开发和评估基于数据的CDSS中的参与。目标是识别:
- •
用于开发和评估基于数据的CDSS的指导的广度,以及现有框架的目的;
- •
现有指导在基于数据的CDSS开发和评估流程中的范围和覆盖范围;
- •
现有指导的开发方式及其发布地点;
- •
与HCP相关的现有建议的内容及其在开发和评估过程不同阶段的作用。
章节摘录
概述
进行了一项关键的叙述性综述[28]。这种方法既灵活又严谨,使综述能够超越描述,深入分析和解释所包含的文献[29]。从确定的框架中提取了关于HCP参与的推荐意见,并将这些推荐意见映射到基于数据的CDSS开发和评估的生命周期阶段,并进行了叙述性综合。
结果
合并搜索后,去重后得到了165条记录。经过标题和摘要筛选后,有36条记录被评估是否符合纳入标准,最终确定了32条记录进行纳入(图1)。
讨论
有许多用于开发或评估基于数据的CDSS的框架,以及用于报告和评估研究文献中工作的框架。尽管有指南建议在整个过程中纳入临床意见[7]、[8],但这些框架缺乏具体的方法来包括HCP的参与。
结论
越来越多的指导为研究人员提供了关于如何进行、报告和评估预测模型和基于数据的CDSS的工作。各种框架提供的与HCP相关的建议表明,在基于数据的CDSS开发和评估过程中应考虑并让HCP参与。
现有的建议并不矛盾,并且补充了关于以用户为中心的设计和实施复杂社会技术的相关工作
作者贡献
Ruth P. Evans(概念化、方法论、调查、正式分析、项目管理、可视化、撰写——初稿),
Louise D. Bryant(监督、撰写——审阅和编辑),
Gregor Russell(监督、撰写——审阅和编辑),
David C. Wong(撰写——审阅和编辑),
Kate Absolom(概念化、方法论、监督、撰写——审阅和编辑)。
CRediT作者贡献声明
Ruth P. Evans:撰写——初稿、可视化、项目管理、方法论、调查、正式分析、概念化。Louise D. Bryant:撰写——审阅与编辑、监督。Gregor Russell:撰写——审阅与编辑、监督。David C. Wong:撰写——审阅与编辑。Kate Absolom:撰写——审阅与编辑、监督、方法论、概念化。
资金
这项研究没有从公共部门、商业部门或非营利部门的资助机构获得任何特定资助。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。