编辑推荐:
在医学影像领域,AI 虽有进展,但在与人类协作方面仍存诸多未知。研究人员开展 “Collab-CXR 数据集用于理解放射科医生与 AI 协作” 的研究。该研究收集大量数据,此数据集有助于优化 AI 工具开发及医疗影像协作,提升患者诊疗水平。
在科技飞速发展的当下,人工智能(AI)的身影几乎无处不在,它在众多领域大放异彩,取得了令人瞩目的成绩。在复杂的棋类游戏中,AI 击败人类顶尖棋手;在语音识别领域,AI 的准确率不断攀升。然而,在医疗健康这个至关重要的领域,AI 的发展却面临着独特的挑战。
在医学影像诊断方面,AI 虽然在解读图像时展现出一定的能力,甚至在某些情况下超越了人类,但它并不能完全替代医生。以胸部 X 光检查为例,AI 在单独分析图像时可能表现出色,但人类医生却能整合患者的病史等额外信息,这些信息往往对准确诊断起着关键作用,而目前的 AI 算法还无法充分利用这些信息。此外,人们对于 AI 工具是否能真正超越人类,以及人机协作能否带来更好的效果,还知之甚少。这些问题不仅关系到 AI 在医疗领域的发展方向,更直接影响着患者的诊疗质量。为了深入探究这些问题,来自美国普渡大学(Purdue University)、麻省理工学院(MIT)、哈佛大学(Harvard University)等多所机构的研究人员开展了一项极具意义的研究。他们创建了 Collab-CXR 数据集,旨在为研究放射科医生与 AI 协作提供有力的数据支持。该研究成果发表在《Scientific Data》上,为医学影像领域的发展带来了新的曙光。
研究人员为开展此项研究,运用了多种关键技术方法。在数据收集方面,他们通过远程接口,招募了 227 名来自不同地区的放射科医生参与实验。这些医生对 324 例历史病例进行评估,实验在不同信息条件下进行,包括有无 AI 辅助、有无临床病史等。同时,研究人员引入了 CheXpert 模型作为 AI 支持工具,该模型基于深度学习算法,在大量胸部 X 光片上进行训练,能够预测 14 种胸部病理情况。此外,为了确定诊断标准,研究人员综合了 5 名经验丰富的放射科专家的评估意见,并通过留一法计算平均概率来构建诊断标准。
下面来看具体的研究结果:
- 数据收集与实验设计:研究人员从 teleradiology 公司和越南 VinMac 医疗系统招募了放射科医生参与实验。实验设计了三种不同的方案,涵盖四种信息环境,即仅 X 光、X 光结合临床病史信息、X 光结合 AI 辅助、X 光结合 AI 辅助和临床病史信息。在不同设计中,医生阅读的病例数量和顺序各有不同,但都旨在全面收集数据,研究不同因素对诊断的影响。
- 数据集构成:Collab-CXR 数据集包含丰富的信息,以压缩的制表符分隔的文本文件形式存储在 Open Science Framework(OSF)平台上。每个观测值对应一名放射科医生、一个患者和一种病理情况,数据集还包含医生和患者的唯一标识符、实验设计信息、诊断标准标签、放射科医生和 AI 预测的概率等多种数据。此外,研究人员还收集了详细的点击流数据,记录医生在实验过程中的操作行为。
- 诊断标准与标签体系:研究人员通过聚合 5 名认证放射科医生的评估数据,并结合留一法计算的平均概率,构建了诊断标准。同时,设计了一套全面的病理标签体系,涵盖 104 种胸部病理情况,相比以往的标签体系,更加细致和全面,能够更好地支持 AI 算法的开发和评估。
- 技术验证:研究人员对诊断标准质量和放射科医生读片质量进行了验证。结果表明,基于 5 名专家评估的诊断标准具有较高质量,与原始放射科医生的临床评估基本一致。同时,通过与 AI 预测结果对比,评估了放射科医生的读片质量。此外,研究还发现激励措施对诊断准确性影响不大,实验的随机化和洗出策略有效。
从研究结论来看,Collab-CXR 数据集为研究放射科医生与 AI 协作提供了丰富的数据资源。它有助于深入了解放射科医生如何利用 AI 辅助进行诊断,明确影响人机协作效果的因素,以及评估其对诊断准确性、速度和信心的影响。这对于优化 AI 工具开发、制定合理的实施策略具有重要意义,有望通过优化医学影像中的人机协作,最终提高患者的诊疗水平。在讨论部分,研究人员强调了该数据集在填补 AI 与专家协作领域空白方面的重要作用。它为进一步研究不同专业技能的医生与不同质量的 AI 如何更好地协作提供了基础,未来可基于此开展更多深入研究,推动医学影像领域人机协作的发展,为医疗健康事业带来更多福祉。