协调大型语言模型以支持医疗流程一致性检查（Orchestrating Large Language Models to Support Medical Process Conformance Checking）

《Neuroscience Informatics》：Orchestrating Large Language Models to Support Medical Process Conformance Checking

　　

**摘要**

**目的** 医疗领域的一致性检查旨在验证患者护理轨迹是否符合临床指南，但此类检查通常需要正式的、机器可解释的指南模型，例如计算机可解释指南（Computer-Interpretable Guidelines，CIGs），而这些模型在实践中很少可用。

**方法** 本研究提出一个模块化框架，利用编排式大型语言模型（Large Language Models，LLMs）直接基于非结构化数据支持医疗一致性检查，无需CIGs。该架构结合多个LLMs和辅助组件，从临床出院信中提取患者轨迹，从文本临床指南中推导规范性规则，将规则形式化为可执行脚本，并计算轨迹一致性指标（Trace Conformance Indicator，?????），以量化事件日志上的一致性。

**结果** 该框架已在亚历山德里亚医院神经内科病房的卒中护理领域得到实施和评估，数百条患者轨迹从医院数据中自动提取。具体而言，大多数可用轨迹被证明与从指南中推导出的50条规则保持一致。

**结论** 本研究证明了LLM编排在所属领域的可行性，同时验证了亚历山德里亚医院良好的一致性检查结果。

**基于LLM编排的医疗流程一致性检查：从非结构化数据到自动化合规验证**

**一、研究背景与问题提出**

流程挖掘（Process Mining，PM）中的一致性检查（Conformance Checking）是评估组织实际行为是否符合既定流程规范的关键活动。在医疗领域，该检查通常需要两个核心输入：记录患者诊疗活动序列的事件日志（Event Log），以及规范流程的正式机器可读表示。然而，临床上使用的指南通常以冗长复杂的自然语言文本形式呈现，将其转化为计算机可解释指南（Computer-Interpretable Guidelines，CIGs）需要大量知识获取和建模工作，在实践中很少能够实现。这一瓶颈严重制约了医疗流程一致性检查的广泛应用。随着大型语言模型（Large Language Models，LLMs）技术的快速发展，人工智能领域正经历从依赖单一大型模型向复合系统（Compound Systems）的转变——通过将多个组件（包括不同LLMs、检索机制、符号求解器和执行引擎）进行有意识编排来解决复杂任务。研究表明，这类结构化组合通过实现多步推理、解决方案过滤和外部知识源交互，其性能表现往往优于单一大模型。在此背景下，研究人员提出了一种基于LLM编排的模块化架构，旨在直接从非结构化临床文本中完成医疗流程一致性检查的完整流水线，无需显式构建CIGs。

**二、研究内容与核心发现**

该研究设计并实现了一个六阶段编排式LLM流水线架构：（1）轨迹提取阶段，利用Gemini 2.5 Flash通过少样本提示技术从临床出院信中自动提取患者轨迹，并以XES格式导出；（2）规则提取阶段，使用NotebookLM从意大利卒中临床指南中提取半结构化IF-THEN规则；（3）规则过滤阶段，通过Gemini 2.5 Flash剔除不适用于当前事件日志的规则；（4）规则编码阶段，将过滤后规则转换为可执行Python脚本；（5）规则优化阶段，利用Gemini 3 Pro-Preview修复编码错误并消除冗余和噪声；（6）一致性计算阶段，由Python模块计算轨迹一致性指标（?????）。该框架在亚历山德里亚医院神经内科病房的卒中护理领域进行了全面验证：从2022至2024年间的463份真实卒中患者出院信中自动提取患者轨迹（含缺血性卒中391例、出血性卒中66例、两者兼有6例），从指南中共提取161条规则，经过滤后保留适用于住院阶段的50条规则。实验结果证实，大多数规则达到了很高的?????值，表明该院在急诊卒中单元入院/住院阶段的医疗行为与指南要求高度一致。该研究证明了LLM编排架构在医疗流程一致性检查领域的可行性，为临床质量管理提供了新的技术路径。

**三、关键技术方法**

本研究采用了五项主要技术方法：（1）少样本提示工程（Few-shot Prompting），结合角色提示、上下文提示和系统提示等多种策略，引导LLM从出院信中准确提取XES格式的患者轨迹；（2）多LLM编排架构，根据不同模型的任务专长分配工作——NotebookLM擅长文档信息提取、Gemini系列擅长代码生成；（3）活动同义词参考列表，由LLM自动学习并经医学专家验证构建，以应对临床文本中同义术语的可变性问题；（4）规则形式化方法，将自然语言指南规则转换为可执行Python脚本，实现定时约束的精确计算和轨迹合规性自动判定；（5）消融研究验证，通过与单模型端到端方案进行对比，验证编排架构在透明度和可控性方面的优势。样本来源于亚历山德里亚医院神经内科病房2022-2024年卒中患者出院信463份，规则提取对照意大利最新版卒中临床指南。所有阶段均采用人机协同验证机制确保输出质量。

**四、主要研究结果**

*4.1 轨迹提取结果*：Gemini 2.5 Flash成功从463份出院信中提取事件日志，每条轨迹平均包含47个活动，对应平均住院时长10天。两名医学专家独立验证20%随机抽样轨迹，所有检查轨迹均被判定为正确可用，评分者间一致性达100%。

*4.2 规则提取与过滤结果*：NotebookLM从指南中提取161条规则，分为9个类别：诊断与初始影像（20条）、缺血性卒中急性期管理（19条）、出血性卒中急性期管理（16条）、监测与并发症（20条）、一级预防（24条）、二级预防抗栓治疗（15条）、二级预防外科治疗（12条）、康复（19条）和特殊人群（16条）。经过滤后仅保留前4个类别共50条规则。医学专家验证认为规则语义准确且具有临床相关性，仅发现3条规则不完整，通过两轮人机协同迭代达到了满意效果。

*4.3 一致性检查结果*：50条规则中大多数获得很高的?????值，验证了亚历山德里亚医院的良好合规表现。通过深入分析两个具体规则的不合规案例，研究揭示了有价值的管理见解：针对脑出血患者降压和逆转抗凝治疗的规则?????为62%，不合规主要源于急诊室与神经内科病房之间的沟通协调不足；针对缺血性卒中合并高热患者使用对乙酰氨基酚治疗的规则?????仅为6%，但深入分析发现多数不合规案例实为合理治疗——69%患者因细菌感染接受抗生素治疗、6%因Covid-19感染接受抗病毒治疗，这些治疗策略针对病因而非单纯降热。这提示仅依靠统计指标可能误判实际临床情况。

**五、研究结论与展望**

本研究成功构建了首个能够自动、集成地完成医疗流程一致性检查四项核心任务（轨迹提取、规则推导、规则形式化和一致性计算）的LLM编排架构。该设计选择使系统避免了单一模型的偏见和错误，实现了中间结果的完全透明和错误定位。实验结果表明，编排式架构在卒中管理领域的实际应用中具有良好可用性，在亚历山德里亚医院神经内科病房取得了令人满意的合规验证结果，未发现重大问题，但识别出一个潜在的组织协调瓶颈。与医学专家的紧密协作有效保障了提取轨迹和规则与出院信内容及既有医学知识的一致性。未来研究方向包括：测试面向医疗数据训练的替代LLM模型（如Google的Med-Gemini）；探索LLM-as-a-Judge范式以部分自动化轨迹/规则验证流程；整合其他医院数据源以弥补出院信信息不完整的问题；将该框架拓展至指南的其他部分以及医学教育领域，测试非专家医师学习和识别不合规轨迹的能力。