人机协同智能系统在临床病例诊断中的优势与互补性研究

【字体: 时间:2025年06月15日 来源:Proceedings of the National Academy of Sciences 9.4

编辑推荐:

  这篇综述揭示了人机混合集体智能(Human-AI collectives)在医学诊断中的突破性表现。研究通过分析2,133例文本临床病例和40,762份诊断数据,证明结合医师经验与大语言模型(LLMs)的混合系统能显著减少幻觉(hallucinations)、偏见和常识缺失等问题,其诊断准确率超越单一医师、纯人工集体或纯LLM集合。该成果为高风险决策领域提供了安全可靠的AI应用范式。

  

Significance
大语言模型(LLMs)在医学诊断等高风险领域展现出巨大潜力,但其固有的幻觉、偏见和常识缺失等缺陷可能无法通过架构优化或数据扩充完全解决。研究团队开发的人机混合系统通过整合医师专业知识和LLMs的海量信息处理能力,在2,000多例文本临床病例分析中展现出显著优势。混合集体不仅超越个体医师和独立LLMs,更优于纯人工或纯机器组成的群体,凸显了互补优势在复杂开放领域决策中的变革潜力。

Abstract
当前LLMs虽广泛应用于高风险决策,却缺乏保障安全性、质量和公平性的防护机制。研究提出混合集体智能系统,将40,762份医师诊断与五个前沿LLM(包括Claude 3 Opus、GPT-4等)对2,133例病例的诊断结果进行整合。结果显示,人机混合集体的诊断准确率全面超越单一诊断主体,这种优势跨越不同医学专科和职业资历,源于人类与AI错误类型的显著差异性。

医学案例与数据基础
研究数据来自Human Dx平台,该平台收录经专业编辑委员会审核的标准化病例 vignettes,包含症状、检验结果等临床信息。参与者可提交自由文本或标准化术语(SNOMED CT)的鉴别诊断。研究聚焦2,133例病例和40,762份医师诊断,同时向五个LLMs输入相同病例文本获取分级诊断建议。

诊断标准化与聚合方法
通过SNOMED CT临床术语系统将自由文本诊断映射为唯一ID(图1)。采用加权多数投票集成(WMVE)方法,根据诊断排名(1/r加权规则)和诊断者历史准确度分配权重。通过10次重复五折交叉验证,在训练集中优化LLM提示词并计算权重,最终生成集体鉴别诊断排名。

LLM集合的增效作用
五个LLMs单独诊断时表现差异显著,但集合诊断能超越最差个体并媲美最优个体(图2)。全LLM集合在top-5准确率上全面领先各独立模型,这种优势在心脏病学、胃肠病学等五大专科中均成立。值得注意的是,全LLM集合在93%的病例中优于或持平85%的医师个体表现。

人机混合集体的突破性表现
将单个医师诊断与单个LLM输出结合,即可获得超越单一主体的性能(图3)。即使添加表现最差的LLM(低于医师平均水平),仍能带来整体提升。反向验证显示,向LLM集合中加入人类诊断同样持续提升准确率,尤其对低性能LLM改善显著。这种双向增效现象在医学生群体中同样成立。

错误互补性的机制解析
关键发现在于人类与LLMs的错误高度异质(图4)。当LLMs完全遗漏正确诊断时(34-54%病例),30-38%的案例可由个体医师补全,且26%被列为第一诊断。五医师集体更可补全55-65%的LLM遗漏病例。相反,当人类集体失误时,LLMs仅能补救17-32%病例。诊断排名分析显示,人类与LLMs在错误时的首选项重合率显著低于LLMs间的内部一致性,这种差异在双方均误诊时尤为突出。

临床转化与局限性
尽管病例vignettes是医学决策研究的有效范式,但真实临床场景的复杂性可能影响效果外推。研究未考虑诊断后的治疗影响,且病例选择可能存在教育性偏倚。此外,LLMs潜藏的种族偏见等问题需专门研究,避免混合系统放大既有偏见。

未来方向
包括:1)应用思维树(tree of thought)等高级提示工程;2)开发专科定制化few-shot提示;3)扩展至多模态数据(如影像学);4)探索基层医疗中非专家与LLMs的协同模式。临床决策支持系统的设计需平衡自动化偏见与算法厌恶,可采用混合确认树(hybrid confirmation trees)等轻量化方案。

Conclusion
该研究为AI时代的高风险决策提供了范式转型证据:通过系统性整合人类专业判断与LLMs的信息广度,人机混合集体不仅能规避单一系统的固有缺陷,更创造出1+1>2的协同效应。这为医疗、气候变化等复杂开放领域的AI应用指明了"人类始终在环"(human-in-the-loop)的必要性。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号