基于大语言模型的跨机构临床文本中健康社会决定因素提取研究

【字体: 时间:2025年05月18日 来源:npj Digital Medicine 12.4

编辑推荐:

  本研究针对电子健康记录(EHR)中健康社会决定因素(SDoH)信息分散、标注标准不统一、模型泛化性差等问题,通过构建多机构标注语料库,系统评估了包括大语言模型(LLM)在内的多种自然语言处理(NLP)技术在21类SDoH因子识别中的表现。研究发现,指令微调的LLaMA模型在Level 1(仅SDoH因子)和Level 2(SDoH因子及属性值)任务中分别取得0.9和0.84以上的微平均F1分数,显著优于传统模型。该研究为临床决策支持系统开发提供了重要技术支撑,相关模型已开源共享。

  

在医疗健康领域,隐藏在病历文本中的"健康密码"——健康社会决定因素(Social Determinants of Health, SDoH)正日益受到重视。研究表明,美国每年超过三分之一的死亡可归因于教育水平低下、种族歧视、贫困等社会因素,其危害程度不亚于重大疾病。然而现实情况令人担忧:这些关键信息在电子健康记录(EHR)中往往支离破碎,有的以结构化数据形式散落各处,更多则深埋在医生书写的自由文本中。更棘手的是,不同医疗机构、不同专科的病历记录习惯千差万别,给系统性提取SDoH信息带来了巨大挑战。

针对这一难题,来自美国UTHealth等多家机构的研究团队在《npj Digital Medicine》发表了开创性研究。该团队构建了迄今为止最全面的21类SDoH标注体系,收集来自精神病专科医院、综合医院ICU、老年痴呆门诊和慢性疼痛中心的四类临床文本,创建了包含12,000余条标注语句的多中心语料库。通过系统比较XGBoost、TextCNN、Sentence-BERT、ClinicalBERT和LLaMA 2等模型的性能,首次证实指令微调的大语言模型在SDoH提取任务中的显著优势。

研究采用多阶段技术路线:首先通过文献综述和专家咨询确定21类SDoH及其细粒度属性;随后从UTHealth Harris县精神病学中心(HCPC)、UT Physicians(UTP)、MIMIC-III和Mayo诊所四个医疗中心获取经去标识化处理的临床文本;采用双盲标注和冲突解决机制构建Level 1(仅SDoH类别)和Level 2(含属性值)两个层次的标注语料;最后通过五折交叉验证和跨数据集测试,全面评估包括7B参数LLaMA 2在内的五种模型性能。

在"模型性能"部分,表格数据清晰显示:指令微调的LLaMA模型在绝大多数测试场景中领先。在Level 1任务中,该模型在HCPC、UTP、MIMIC-III和Mayo数据集上的微平均F1分别达到0.927、0.984、0.883和0.945;即使面对更复杂的Level 2任务(类别数从21增至71),性能下降幅度也明显小于传统模型(仅降低2.7-4.6%)。特别值得注意的是,在类别极度不平衡的Mayo数据集上,LLaMA的宏平均F1仍保持0.454,显著高于ClinicalBERT的0.285,展现出强大的小样本学习能力。

"泛化性实验"揭示了更深入的发现。当模型在一个机构数据上训练后直接应用于其他机构时,性能普遍下降,但LLaMA表现出最强的跨机构适应能力。例如,以HCPC数据训练的LLaMA模型在UTP和Mayo测试集上仍保持0.91的F1值,远高于其他模型。研究还发现,对于样本量充足的五类常见SDoH(酒精、药物、就业状况、婚姻状况和居住状况),传统模型如ClinicalBERT在13/60的测试场景中表现最优,说明数据量仍是影响模型泛化能力的关键因素。

在"讨论"部分,作者指出三大创新点:一是创建了包含21类SDoH的迄今最全面标注体系;二是构建了首个多机构SDoH语料库;三是系统评估了LLM在此任务中的潜力与局限。研究同时揭示了临床实践中的"文档异质性"问题——不同专科、不同医疗机构对同一SDoH因子的记录方式和关注重点存在显著差异,这直接影响了模型的跨机构表现。

该研究的现实意义不言而喻。通过GitHub公开的预训练模型(BIDS-Xu-Lab/LLMs4SDoH),医疗机构可基于本地数据进行二次微调,以较低成本实现SDoH的自动化提取。未来研究方向包括:探索联邦学习应对数据隐私挑战、研究合成数据增强小样本类别识别、以及评估GPT-4等更强大模型的性能。值得关注的是,研究者特别强调算法偏见风险——由于不同人群SDoH表达方式存在差异,需警惕模型在少数族裔等群体上的性能偏差,这为后续研究指明了伦理审查方向。

这项研究标志着SDoH信息提取技术迈入新阶段。正如作者所言:"当社会因素对健康的影响不亚于疾病本身时,从病历文本中挖掘这些'隐形杀手'的能力,将成为减少健康不平等的重要武器。"该成果不仅为精准医学提供了新的数据维度,也为全球范围内开展健康公平性研究建立了技术标杆。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号