生成式大语言模型在卒中护理中的性能评估：多阶段临床验证与提示工程优化

本研究针对卒中护理中生成式大语言模型（LLMs）的临床应用瓶颈，系统评估了GPT-4o、Claude 3 Sonnet和Gemini Ultra 1.0在预防、诊断、治疗和康复四阶段的性能。通过零样本学习（ZSL）、思维链（COT）和思维外化（TOT）三种提示工程技术，研究人员发现LLMs整体表现未达临床胜任力阈值（60/100），其中TOT在共情力和可操作性方面表现较优，但幻觉问题普遍存在。该研究为AI辅助卒中管理的精准化应用提供了关键证据。

　　

卒中作为全球第二大死因，每年导致620万人死亡，其医疗资源分布不均问题日益凸显。在低收入群体中，卒中相关死亡率是高收入群体的3.7倍，这种"医疗荒漠"现象催生了人们对人工智能辅助诊疗的期待。然而，生成式大语言模型（Generative LLMs）在提供卒中护理建议时，究竟能否达到临床标准？来自台湾大学的研究团队在《npj Digital Medicine》发表的研究给出了警示性答案。

研究团队设计了一套创新评估体系，通过模拟卒中患者John的完整护理历程（见表1），对三大主流LLMs进行四阶段测试。采用临床医生资格考试60分及格线作为基准，从准确性、幻觉率、特异性、共情力和可操作性五个维度进行百分制评分。值得注意的是，团队引入三种提示工程技术：零样本学习（Zero-Shot Learning, ZSL）测试基础性能，思维链（Chain of Thought, COT）评估结构化推理能力，思维外化（Talk Out Your Thoughts, TOT）检测交互式应答质量。

主要技术方法包括：1）基于TOAST分型的卒中场景建模；2）混合效应模型统计分析（R 4.3.3）；3）四名资深医师盲法评估（含卒中外科、急诊科专家）；4）临床胜任力阈值转化评估体系。

预防阶段表现
TOT提示在共情力得分最高（61.55），显著优于ZSL（43.07）（p<0.05）。如图1a所示，GPT-4o在准确性（66.73）和可操作性（63.77）领先，但幻觉问题突出（27.82）。提示"50岁男性有卒中家族史"时，ZSL能准确列出5项TOAST危险因素，但缺乏个性化建议。

诊断阶段特征
COT在特异性（57.22）展现优势，能逐步分析"突发左侧无力+构音障碍"的鉴别诊断。图1b显示所有模型幻觉评分仅32.6-33.5，存在将TIA（短暂性脑缺血发作）误诊为偏头痛的风险。Claude 3在恢复期幻觉控制最佳（35.87）（p<0.05）。

治疗阶段瓶颈
成为最大短板，所有技术得分均低于60（图1c）。TOT在药物建议中虽展现共情（"您可能需要终身服用抗凝药"），但30%回答混淆了华法林与新型口服抗凝药（NOACs）的监测要求。

康复阶段亮点
如图1d，GPT-4o在动作规范性描述得分最高（66.05），能区分Brunnstrom分期训练要点。但所有模型对"游泳康复"的安全建议均未提及水温控制关键点。

研究揭示三大关键矛盾：1）共情力与准确性的负相关（r=-0.32）；2）结构化提示（COT）降低幻觉率但牺牲可读性；3）模型间差异小于预期（Δ<5分）。这些发现解释了为何在急性溶栓决策等高风险场景，LLMs可能产生"精确的错误"。

该研究为AI医疗产品设计提供了重要启示：首先，需建立专科化的提示词库，如针对心源性卒中强调CHA₂DS₂-VASc评分；其次，开发"幻觉过滤器"模块，实时交叉验证临床指南；最后，应培养患者"提示工程素养"，避免开放式提问。正如作者John Tayu Lee指出，当前LLMs更适合作为"卒中知识搜索引擎"，而非独立临床决策系统。未来研究可探索多模态模型整合NIHSS（美国国立卫生研究院卒中量表）评估功能，真正弥合数字医疗鸿沟。