研究背景
本研究之前的证据
我们使用与临床试验相关的术语组合（"诊断决策支持"、"对话式AI"、"面向患者的AI"、"LLM"、"聊天机器人"、"症状检查器"和"临床试验"）搜索了2015年1月1日至2024年12月31日的MEDLINE，并在提交前重复了搜索。早期的面向现实世界患者的面向患者的AI系统包括症状检查器、分诊工具和非LLM聊天机器人，其诊断和分诊准确性参差不齐，临床效果也很有限。基于大型语言模型的（LLMs）系统已在模拟或标准化患者环境中显示出有前景的诊断推理、管理规划和沟通质量。在本研究之前，与真实患者进行的对话式AI的预注册试验评估了用于胰岛素剂量调整和戒烟等案例的非LLM工具；到报告时，基于LLM的预注册试验已评估了用于初级到专科护理导航和心理健康咨询的面向患者的系统。我们没有发现关于与基于LLM的系统互动的患者直接呈现潜在诊断的安全性和质量的证据。我们识别出持续存在的担忧，包括幻觉或过度自信的输出、分诊不足、管理建议不一致，以及患者判断AI生成的医疗建议的能力。
本研究的新增价值
据我们所知，这是第一项在真实护理环境中进行基于LLM的面向患者的对话式诊断AI的预注册研究，也是首批在积极寻求紧急初级保健关注的患者中评估此类系统并直接向患者呈现潜在诊断的研究之一。本研究有助于建立此类现实世界对话的基线特征，包括由观察每次聊天并可根据预定义的对话安全标准中断的医师安全监督员确定的质量和对话安全性。本研究还探讨了系统生成诊断假设和管理建议的能力作为次要结局，并从定性角度探讨了与系统互动的患者、医师和安全监督员的体验。这些数据可以为未来随机试验的设计提供信息，包括适当的安全监控、结局选择和流程整合。
所有现有证据的启示
在作为工作量干预措施进行评估之前，AI工具必须首先被证明在真实护理工作流程中安全且可接受地运行。本研究在真实临床工作流程中的发现表明，AI可以是对话安全的，高质量的对话是研究其对护理效率和结果产生积极影响能力的必要前提。总体而言，证据表明，面向患者的LLMs可以在真实工作流程中进行安全和有意义的临床对话，尽管证据尚不支持用于诊断、分诊或管理的自主使用。次要结局表明，在模拟研究中观察到的诊断假设生成和管理规划能力可以在临床医师监督下的选定面向患者的工作流程中再次证明。未来的多臂随机试验应评估患者结局、诊断安全性、患者-临床医师沟通、临床医师工作量、公平性、成本以及安全使用所需的监督程度。进一步的工作应在常规部署前确定所需的保障措施、升级路径和流程整合。
