围手术期患者问题自动化评估的LLM裁判（LLM-as-a-Judge）框架开发与临床验证

《Bioengineering》：Development and Clinical Validation of an Automated LLM Judge for Evaluating Perioperative Patient Questions

　　

摘要专业翻译 背景： 大型语言模型（Large Language Models, LLMs）越来越多地被应用于面向患者的临床场景，这催生了对可扩展评估方法的需求，以评价其回复的准确性、安全性和适宜性。尽管医生审阅仍是参考标准，但其资源消耗大且难以规模化。目的： 开发并临床验证一个LLM-as-a-Judge框架，用于评估对患者围手术期问题的回复。方法： 研究人员回顾性评估了来自梅奥诊所（Mayo Clinic）两个院区、涵盖多个外科专科的112名患者所产生的1285次患者–AIVA交互。医生评审者采用预定义的真正例（true-positive, TP）、假阴性（false-negative, FN）、真阴性（true-negative, TN）和假阳性（false-positive, FP）框架对交互进行分类。最终定稿的LLM裁判独立评估了相同的交互。一致性评估采用四分类及类别特异性一致性、Cohen's κ系数，以及回复正确性的次级二分类分析。结果： 总体四分类一致性为93.1%（95% CI, 91.7–94.5%），Cohen's κ = 0.852（95% CI, 0.823–0.882）。类别特异性一致性分别为：TP 94.1%、FN 90.7%、TN 95.5%、FP 84.9%。在二分类正确性分析中，准确率为93.4%（95% CI, 92.0–94.7%），敏感性94.6%，特异性90.2%，精确率96.2%，F1分数0.954。McNemar检验显示配对分类之间无显著不对称性（p = 0.11）。结论： 一个具有临床基础的LLM裁判能够密切近似医生对面向患者的AI回复的评估。这些发现支持其作为可扩展的辅助监测工具的潜力，同时保留医生对不确定或安全敏感交互的监督。

论文解读

一、研究背景与问题

随着大型语言模型（Large Language Models, LLMs）在面向患者的临床应用中日益普及，如何对其生成的回复质量、准确性和安全性进行系统评估成为亟待解决的问题。传统的评估方式依赖临床医生或领域专家的人工审阅，虽然专家评估仍是参考标准，但这种方法耗时费力、成本高昂，难以应对LLM大规模生成内容的评估需求。在此背景下，LLM-as-a-Judge方法应运而生，即利用一个LLM作为自动化评估器，按照预定义的评估标准对生成答案进行评分或比较。已有研究在通用领域证明了LLM裁判与人类评估者之间具有较高的一致性，但其在临床场景中的有效性仍不确定。LLM裁判可能存在系统性偏差，包括偏好更长或文体更精致的回复、对提示词表述敏感、重复评估结果不稳定、评估同一或相关模型输出时的自我偏好，以及难以识别细微但具有临床意义的不准确之处。这些局限性在评估患者围手术期问题的回复时尤为令人担忧，因为涉及用药管理、饮食限制、手术准备、预期症状和术后护理的指导会直接影响患者行为，不完整、误导性或危险的信息可能产生重要的临床后果。因此，开展本研究旨在验证一个LLM-as-a-Judge框架在评估患者围手术期问题回复方面的可靠性，判断其能否作为专家审阅的筛查或补充工具。

二、研究内容与结论

研究人员在梅奥诊所（Mayo Clinic）两个院区（罗切斯特和杰克逊维尔）开展了一项回顾性方法学验证研究，纳入112名来自多个外科专科（包括整形外科、骨科、肿瘤重建外科和神经外科）的患者，共产生1285次患者与人工智能虚拟助手（Artificial Intelligence Virtual Assistant, AIVA）之间的交互。AIVA是一个面向患者的对话系统，使用gemini-2.5-flash模型，基于经批准的临床教育内容回答围手术期问题，并在超出其安全范围时提供适当的升级或转介。研究采用预先定义的TP、FN、TN、FP四分类框架：在范围内（in-scope）的交互中，AIVA提供准确、相关且安全的回复被分类为TP；回复不正确、不完整、不恰当或因检索或知识缺口无法提供、未提供适当升级的为FN；范围外（out-of-scope, OOS）交互中，AIVA适当拒绝、转介或以其他方式处理且未进行无依据参与的为TN；AIVA不恰当地参与范围外交互的为FP。每项交互由两名医生独立评估，分歧时通过讨论和第三方仲裁达成共识分类，作为医生参考标准。LLM裁判使用相同的框架独立回顾性评估相同交互，温度设为0.0，最大输出长度8192 tokens，思考预算1024 tokens。研究的主要结论是：LLM裁判与医生参考标准之间的四分类总体一致性为93.1%，Cohen's κ = 0.852，表明高度一致；类别特异性一致性在TN（95.5%）和TP（94.1%）中最高，FN为90.7%，FP为84.9%；二分类正确性分析中准确率为93.4%，敏感性94.6%，特异性90.2%，F1分数0.954；McNemar检验无显著不对称性（p = 0.11）。研究的重要意义在于，一个结构化的、具有临床基础的LLM裁判能够密切近似医生对面向患者的AI回复的评估，支持其作为可扩展的辅助监测工具的潜力，同时强调其应作为辅助工具而非医生评估的替代品。

三、关键技术与方法

本研究涉及以下主要技术方法：第一，LLM-as-a-Judge分类器的构建，采用一次性调用（one-call）方式，使用gemini-2.5-flash模型通过Vertex AI平台实现，温度设为0.0以确保确定性输出；第二，结构化提示词设计，将医生审阅标准操作化为顺序决策树，先判断问题是否在AIVA程序范围内，再评估范围内问题的答案质量或AIVA是否适当拒绝范围外问题，最终分配TP、FN、TN或FP标签，输出包含范围内判定、答案质量类别、指南参考、安全关切严重程度、最终分类和置信度的结构化JSON响应；第三，临床证据与知识库支撑，裁判接收原始AIVA交互中检索到的证据片段（retrieval_context字段），同时还可访问独立的临床知识库（包括经批准的HIL/PEL内容、药物相关证据和其他经批准的临床指南），提示中证据被渲染为guideline_evidence作为临床正确性的主要证据来源；第四，提示词开发与迭代优化，两名研究医生使用132个模拟患者风格问题预先与AIVA交互，覆盖范围内、范围外和临床相关边界情况，通过审查裁判与医生分类之间的差异迭代完善提示词和决策规则，最终定稿的提示词不加修改地应用于真实患者交互队列进行验证；第五，统计分析方法，使用四分类一致性矩阵、Cohen's κ、类别特异性一致性、二分类分析（准确性、敏感性、特异性、PPV、NPV、F1分数）和McNemar检验评估裁判与医生评估之间的一致性。

四、研究结果

（a）研究队列与分类分布。 验证队列包含1285次患者–AIVA交互。基于医生审阅，884次交互被分类为TP，324次为FN，44次为TN，33次为FP。LLM裁判分类为862次TP、344次FN、51次TN和28次FP。由LLM裁判得出的AIVA性能估计与医生评估得出的结果总体相似：医生得出的准确率为72.2%（95% CI, 69.7–74.6%），LLM裁判为71.1%（95% CI, 68.5–73.5%）；敏感性分别为73.2%与71.5%；PPV分别为96.4%与96.9%；F1分数分别为0.832与0.823。最大描述性差异出现在特异性上，医生评估为57.1%，LLM裁判为64.6%；NPV分别为12.0%和12.9%。各指标绝对差异从PPV的0.5个百分点到特异性的7.5个百分点不等。

（b）LLM裁判与人类评估的一致性。 LLM裁判和医生参考标准在1285次交互中的1196次分配了相同的TP、FN、TN或FP分类，总体一致性为93.1%（95% CI, 91.7–94.5%），Cohen's κ = 0.852（95% CI, 0.823–0.882），表明超出偶然的一致性很高。类别特异性一致性在TN分类中最高（95.5%，42/44；95% CI, 89.3–100%），TP为94.1%（832/884；95% CI, 92.6–95.7%），FN为90.7%（294/324；95% CI, 87.6–93.9%），FP为84.9%（28/33；95% CI, 72.6–97.1%）。在89次不一致分类中，最常见的分歧是医生分类为TP而LLM裁判分类为FN（n = 50），其次是医生分类为FN而裁判分类为TP（n = 23），其他跨类别分歧较少。

（c）回复正确性的二分类分析。 在次级二分类分析中，医生参考标准将928次回复分类为正确（Correct），357次为不正确（Incorrect）。LLM裁判将913次分类为正确，372次为不正确。二分类准确率为93.4%（95% CI, 92.0–94.7%），敏感性94.6%（95% CI, 93.2–96.1%），特异性90.2%（95% CI, 87.1–93.3%），PPV 96.2%（95% CI, 94.9–97.4%），NPV 86.6%（95% CI, 83.1–90.0%），F1分数0.954（95% CI, 0.944–0.964）。一致性在医生分类为正确的回复中略高（878/928，94.6%），高于医生分类为不正确的回复（322/357，90.2%）。κ = 0.837（95% CI, 0.804–0.871），McNemar检验无显著不对称性（p = 0.11）。

（d）不一致病例的定性审查。 对50次医生分类为TP而LLM裁判分类为FN的交互进行描述性审查，识别出几种反复出现的分歧模式。最常见的为回复不完整或特异性不足（25/50，50%），即AIVA提供了临床相关信息但未直接回应患者请求的具体时间、技术、预后、外观或理由。通用或过度保守的紧急升级占10/50例（20%），尤其针对术后症状的回复直接引导患者前往急诊而未处理具体关切或提供护理团队升级指导。其他不一致涉及上下文或证据不匹配（7/50，14%）、时间模糊或恢复指导冲突（5/50，10%），以及裁判认为重要的安全或升级信息遗漏（3/50，6%）。总体而言，裁判过度标记主要发生在裁判对特异性、情境化或升级指导应用了比医生审阅者更严格的标准时。

五、讨论与结论

讨论部分总结： 本研究的显著特征是在真实世界的患者–AI交互上验证了一个具有临床基础的裁判，使用了与医生审阅者相同的结构化分类框架。研究发现与新兴证据一致，即当评估任务结构良好且有明确标准支持时，基于LLM的评估者可以与临床医生实现高度对齐。然而，文献也表明这种性能不应推广到所有形式的临床评估，LLM裁判的性能取决于具体部署的上下文和评估任务。研究结果部分归因于评估框架的设计：裁判遵循与医生审阅相同的预设框架，将范围判定与回复适宜性分离，并映射到TP、FN、TN、FP类别，同时以每次交互可用的临床证据为基础。从操作角度看，这些发现支持将LLM裁判用作辅助工具，对大量交互进行初始筛查，并将不确定、不一致或潜在不安全的回复优先提交医生审阅。在伦理考量方面，使用LLM评估另一个AI系统引入了额外的自动化层，可能产生一个自动化系统的错误被另一个系统忽视、强化或错误验证的风险，因此研究结果支持人机协同（human-in-the-loop）模式而非自主替代医生评估。这一方法与WHO关于生成式AI在健康领域的透明度、问责制、人类自主权保护和专家监督原则，以及欧盟AI法案第14条关于高风险AI系统有效人类监督的要求相一致。研究局限性包括：单一医疗系统内进行、特定LLM和提示词配置、验证队列类别不平衡（FP和TN数量较少）、以及未明确考虑患者内聚类效应。未来研究应跨机构、跨患者群体、跨对话AI系统验证该框架，并开展前瞻性研究评估风险分层的人机协同工作流程。

结论翻译： 本研究证明，一个结构化的、具有临床基础的LLM-as-a-Judge框架能够密切再现医生对AI生成的围手术期患者问题回复的评估。与医生分类的高度一致性以及相似的AIVA性能估计支持LLM裁判作为监测面向患者的AI系统的可扩展辅助工具的潜在用途。然而，这些发现不应被解释为建立与医生评估的等价性或替代性。基于LLM的评估可能通过促进大规模筛查和优先将不确定或安全敏感的交互提交人工审阅来补充临床监督。需要进一步的前瞻性和外部验证以确定其普适性、操作影响及其在人机协同监督框架中的角色。