大语言模型在骨关节炎常见患者问题解答中的表现：ChatGPT-3.5、ChatGPT-4.0 和 Perplexity 的对比分析 —— 探寻 AI 助力骨关节炎诊疗新路径

为评估大语言模型（LLMs）回答骨关节炎（OA）相关问题的能力，研究人员开展对 ChatGPT-3.5、ChatGPT-4.0 和 Perplexity 的对比研究。结果显示 ChatGPT-4.0 表现最佳，这为 LLMs 用于 OA 患者教育及诊疗辅助提供了依据，助力提升医疗服务水平。

　　在当今数字化时代，人工智能（AI）技术飞速发展，大语言模型（LLMs）逐渐走进人们的生活。它们凭借强大的语言处理能力，在诸多领域崭露头角。在医疗健康领域，患者常常面临获取准确、全面医疗信息困难的问题。特别是对于骨关节炎（Osteoarthritis，OA）这种常见的骨骼肌疾病，患者往往会在互联网上搜索相关信息，但网络信息繁杂，难以辨别真伪。而且，传统的医疗咨询方式有时无法及时满足患者的需求，这就促使人们探索新的途径来帮助患者获取可靠的疾病信息。在这样的背景下，研究人员迫切需要了解 LLMs 在回答 OA 相关问题上的能力，以此判断其能否为患者提供有效的帮助。

中国香港中文大学威尔士亲王医院骨科及创伤学系的研究人员针对这一问题展开了研究。他们聚焦于 ChatGPT-3.5、ChatGPT-4.0 和 Perplexity 这三个具有代表性的大语言模型，评估它们在回答 OA 相关问题时的表现。研究发现，ChatGPT-4.0 在准确性和全面性方面均表现出色，显著优于 ChatGPT-3.5 和 Perplexity。这一研究结果意义重大，为 LLMs 在 OA 患者教育和诊疗辅助方面的应用提供了有力依据，有望提升医疗服务的质量和效率，为缓解医疗资源紧张的现状提供新的思路。该研究成果发表在《Journal of Sport and Health Science》。

研究人员开展此项研究时，采用了多种关键技术方法。首先，他们从知名在线健康信息平台收集并整理出 25 个 OA 护理相关问题，将其分为 6 个主题领域。然后，使用 ChatGPT-3.5、ChatGPT-4.0 和 Perplexity 针对这些问题生成回复。接着，由 3 名经验丰富的骨科专家组成评分小组，对回复进行 4 分制的准确性评分和 5 分制的全面性评分。最后，运用 Prism（Version 9.0）软件进行统计分析，包括方差分析、秩和检验等。

下面来看具体的研究结果：

1. 回复长度：记录 3 个 LLMs 对 25 个标准化 OA 相关问题的回复，统计其字数和字符数。ChatGPT-3.5 的平均字数为 215.1 ± 59.2，平均字符数为 1469.0 ± 444.6；ChatGPT-4.0 的平均字数为 287.6 ± 78.9，平均字符数为 1894.0 ± 539.1；Perplexity 的平均字数为 178.8 ± 63.9，平均字符数为 1202.1 ± 468.8。由此可见，ChatGPT-4.0 的回复相对较长。
2. 准确性评分：ChatGPT-4.0 的平均总准确性得分为 3.61 ± 0.57，优于 ChatGPT-3.5（3.29 ± 0.77）但与 Perplexity（3.11 ± 0.67）差异不显著。从共识准确性评分来看，ChatGPT-4.0 有 64% 的回复被评为 “优秀”，显著高于 ChatGPT-3.5 的 40% 和 Perplexity 的 28%。在 6 个 OA 护理相关类别中，ChatGPT-4.0 在 “治疗和预防” 领域表现依然突出，获得 54% 的 “优秀” 评价，而 ChatGPT-3.5 和 Perplexity 在该领域的表现相对较差。
3. 全面性评分：ChatGPT-3.5 的总体平均得分为 3.96，ChatGPT-4.0 为 4.56，Perplexity 为 3.88（满分 5 分）。ChatGPT-4.0 在全面性方面的表现优于 ChatGPT-3.5 和 Perplexity。

研究结论和讨论部分进一步强调了这些发现的重要意义。ChatGPT-4.0 在回答 OA 相关问题上的卓越表现，为其在 OA 诊疗辅助中的应用提供了广阔前景。然而，研究也发现所有 LLMs 在 “治疗和预防” 领域存在不足，如提供的信息存在误导性、对一些治疗方法的疗效存在夸大等。这表明需要优化 LLMs 的训练数据，纳入高质量的临床建议，以纠正这些问题。此外，研究还存在一些局限性，如评分人员的主观性、问题分布不均衡以及 LLMs 的不断更新等。尽管如此，该研究仍然为 LLMs 在骨关节炎诊疗领域的应用奠定了基础，未来研究可在此基础上进一步完善，推动人工智能技术在医疗领域的深入发展，为患者提供更优质的医疗服务。