编辑推荐：
物质使用障碍（SUD）评估和治疗复杂，现有诊断编码系统存在局限。研究人员利用大语言模型（LLMs）开展从临床笔记提取 SUD 诊断严重程度信息的研究。结果显示 LLMs 表现出色，有助于风险评估和治疗规划。
在健康医学领域，物质使用障碍（Substance Use Disorder，SUD）就像一颗 “定时炸弹”，对个人健康和社会稳定都有着极大的威胁。想象一下，在医院的电子病历系统里，记录着大量患者的临床信息，然而现有的诊断编码系统，比如国际疾病分类（International Classification of Diseases，ICD-10），却存在着一些 “漏洞”。它无法精确地体现出 SUD 患者的各种关键因素，像症状的细微差异、物质使用模式的变化，以及共病情况等。
美国的临床医生虽然会用《精神疾病诊断与统计手册》（Diagnostic and Statistical Manual of Mental Disorders，DSM-5）来补充更详细的诊断信息，但这些信息只能以非结构化文本的形式记录在临床笔记里。传统的自然语言处理（Natural Language Processing，NLP）方法在处理这些复杂多样的临床语言时，就像是 “小马拉大车”，力不从心。因为临床笔记里充满了各种缩写、新造词和医生的笔误，这些都让传统方法难以准确解析文本，提取出有价值的信息。
为了解决这些难题，来自美国橡树岭国家实验室（Oak Ridge National Laboratory）和美国退伍军人事务部（Department of Veterans Affairs）相关机构的研究人员，踏上了探索之旅。他们将目光投向了近年来备受瞩目的大语言模型（Large Language Models，LLMs），希望借助其强大的语言理解和生成能力，从临床笔记中精准地提取出 SUD 诊断的严重程度信息，为患者的风险评估和治疗规划提供有力支持。这项研究成果发表在了《npj Mental Health Research》杂志上。
研究人员在这项研究中，主要运用了以下关键技术方法：
首先是零样本学习（Zero-Shot Learning，ZSL），这一技术让 LLMs 在没有见过特定训练数据的情况下，仅依据精心设计的提示（prompt）就能执行任务。研究人员利用了 Flan-T5 这一开源的大语言模型家族，通过反复试验和调整提示，让模型从临床笔记中提取相关信息。
其次，由于临床笔记常常超出模型输入文本的最大长度限制，研究人员采用了滑动窗口（sliding window）和文档步长（document stride）技术，将长文本分割成合适的片段，以便模型处理。
最后，为了提高模型输出结果的准确性，研究人员还进行了一系列后处理操作，比如去除不相关的信息、过滤掉不符合要求的答案等。研究数据来自美国退伍军人事务部企业数据仓库中 577 份随机选取的临床笔记，这些笔记属于 574 名不同的患者。
下面来看具体的研究结果：
- 模型性能评估：研究人员用严格匹配和宽松匹配两种标准，结合 F1 分数、精确率和召回率等指标，对 LLMs 的性能进行评估。结果发现，在所有 SUD 类别中，Flan-T5-XXL 模型在各项评估指标上都优于 Flan-T5 家族的其他模型，这表明更大参数规模的模型在零样本学习中表现更出色。而且，Flan-T5-XXL 模型在 7 个 SUD 类别上的表现超过了基于规则的正则表达式（RegEx）方法，不过 RegEx 在某些结构相对固定的 SUD 诊断类别上表现更好。
- 候选答案分析：研究人员发现，测试集中很少有笔记会产生多个候选答案，并且笔记长度和候选答案数量之间的相关性很低。这说明模型生成的候选答案数量并不受笔记长度的显著影响。
- 错误类型分析：通过深入分析，研究人员找出了 LLMs 在提取信息时出现的一些错误类型。比如，模型会把过去问题列表中的 SUD 提及误判为诊断；在处理多个不同严重程度的 SUD 诊断时，会出现幻觉错误；还会因为 ICD-10 编码标准的不精确，错误识别某些兴奋剂使用障碍。
在研究结论和讨论部分，研究表明，当给予合适的提示时，Flan-T5 模型在大多数 SUD 类别中，都能以较高的召回率和精确率提取信息，这显示了 LLMs 在处理这类复杂任务时的巨大潜力。不过，模型偶尔也会出现提取信息不准确或不简洁的情况，这提示可以采用将 RegEx 和 LLMs 相结合的集成方法，或者对 LLMs 进行微调，来进一步提高性能。
这项研究意义重大，它是探索从临床笔记中提取 SUD 相关详细风险因素的第一步，为后续更深入的研究奠定了基础。虽然目前还存在一些局限性，比如数据集较小、仅使用了 Flan-T5 模型等，但这些都为未来的研究指明了方向。随着研究的不断深入，有望借助 LLMs 等先进技术，更全面地了解 SUD 患者的病情，制定出更精准、更有效的治疗方案，为 SUD 患者带来新的希望，让他们能够早日摆脱疾病的困扰，回归正常生活。
