人类与人工智能之争：在实际的药物治疗咨询中，医生的表现优于ChatGPT

《British Journal of Clinical Pharmacology》：Human vs. artificial intelligence: Physicians outperform ChatGPT in real-world pharmacotherapy counselling

ChatGPT在药疗咨询中的实用性评估：70例真实世界药疗咨询的医生与AI回答质量比较显示，医生回答在信息质量、正确性及语言流畅度上显著优于AI生成回答，且AI错误率高达32.9%-55.7%。所有评估者均更倾向采用医生回答，并成功识别全部AI生成回答。研究表明AI目前不适合药疗咨询，需严格核查。

　　在当前医学领域，人工智能（AI）技术的迅速发展为临床实践带来了诸多可能性。其中，ChatGPT 作为一种广泛应用的AI聊天机器人，其在医学领域的表现引起了广泛关注。尽管ChatGPT在多个医学专科中展现了一定的潜力，但在临床药理学方面的应用却仍处于探索阶段。最近，一项针对ChatGPT在真实世界药理学问题中的表现的研究，对这一领域提供了重要的见解。

这项研究由汉诺威医学院的临床药理学药物信息中心（DIC）发起，评估了ChatGPT（版本3.5）与医师生成的回答在药理学咨询中的质量、准确性、语言表达以及信息完整性等方面的表现。研究采用了三位不同医学背景和经验水平的评估者（分别为初级、高级和专家级），以确保评估的多样性与客观性。研究结果表明，无论从信息质量还是事实准确性来看，医师生成的回答均优于AI聊天机器人生成的回答。此外，所有评估者都普遍认为，在涉及真实患者情况的药理学问题中，医师的回答更具临床价值和可靠性。

在研究方法上，所有药理学咨询问题均以原始文本形式提交，未进行翻译，以保持语言的原真性。ChatGPT的回答则基于原始查询内容进行生成，未添加额外的提示或说明。为了减少偏差，所有回答均采用盲评方式，即评估者无法识别回答是AI生成还是医师撰写。研究还分析了不同回答的长度，发现AI生成的回答通常更长，但并未在信息深度或准确性方面带来显著优势。

评估结果显示，医师生成的回答在信息质量方面获得更高的评分，而AI生成的回答则存在较多事实性错误。值得注意的是，评估者能够轻松识别出AI生成的回答，这表明AI的回答在某些方面可能缺乏清晰性和一致性。此外，评估者在语言质量方面的评分也显示，医师的回答通常更具清晰性和专业性，但这一差异在高级评估者中并不明显。研究还指出，AI生成的回答中，有些内容可能并不符合医学实践的实际情况，甚至可能误导医疗人员做出错误的决策。

在研究的局限性方面，评估者同时作为文章的作者，这可能对评估的独立性造成一定影响。此外，研究并未系统评估基于AI错误信息可能带来的实际危害，这在未来的药理学研究中仍需进一步探讨。同时，由于ChatGPT的训练数据主要为英文内容，其在处理德语咨询问题时可能无法提供同样准确的回答，这也是影响其表现的重要因素之一。

研究还指出，尽管AI在某些方面展现出快速的响应能力，但在处理复杂的临床药理学问题时，仍需医师的深入分析和判断。AI可能无法充分考虑患者的个体情况、药物之间的相互作用或治疗的长期影响，这可能导致错误的医疗建议。因此，研究建议在目前阶段，医疗人员仍应谨慎使用AI工具进行药理学咨询，不能完全依赖AI生成的回答。

此外，研究还对比了其他相关研究的发现。例如，之前有研究显示，在特定的医学考试中，ChatGPT能够以较高的准确率回答药理学问题，但在解决实际问题时表现不佳。这表明AI在理论知识方面可能较为出色，但在临床应用中的表现仍需进一步验证。同时，研究还提到，其他AI模型如Google的Gemini或Meta的Llama在药理学咨询中的表现也需要进一步评估。

总体而言，尽管AI技术在医疗领域具有巨大的潜力，但在临床药理学方面的应用仍需谨慎。医疗人员在使用AI工具时，应保持批判性思维，对AI生成的信息进行严格验证。研究强调，AI不应成为替代医师判断的工具，而应作为辅助资源，帮助医疗人员收集更多信息、提高效率。在未来的药理学研究中，应更加注重AI工具的可靠性，探索其在不同语言和医疗场景中的表现，并进一步完善其在临床应用中的训练数据和算法设计。