评估人工智能聊天机器人在回答关于髌股疼痛综合征的常见问题方面的表现

《Musculoskeletal Science and Practice》：Assessing the performance of AI chatbots in answering common questions about Patellofemoral Pain Syndrome

　　

摘要

背景

髌股疼痛综合征是一种常见于年轻人和运动员的肌肉骨骼疾病。越来越多的患者寻求人工智能聊天机器人获取医疗信息，但这些工具在提供髌股疼痛综合征相关信息时的可靠性、安全性及可读性仍有待明确。

研究目的

评估四种人工智能聊天机器人（ChatGPT、Gemini、Claude、Perplexity）在回答髌股疼痛综合征相关问题时，在准确性、清晰度、完整性、一致性、可读性以及健康建议说明方面的表现。

研究方法

2026年2月18日，将30个常见的髌股疼痛综合征相关问题提交给这四种人工智能模型。对匿名后的回复从多个方面进行独立评估：信息质量通过4点李克特量表从准确性、清晰度、完整性、一致性四个维度衡量；可读性则参照六年级阅读水平设定七项指标进行评估；健康建议说明则通过二元编码来判断其安全性。

研究结果

所有模型在完整性（中位数为4.00，P=0.296）和一致性（中位数为4.00，P=0.1）方面的评分均处于较高水平。在准确性（P=0.019）和清晰度（P<0.001）方面存在显著差异，但经过调整后的两两对比差异并无显著性。Perplexity在清晰度方面的表现明显低于其他模型，其中位数为3.00。没有一种模型的可读性达到六年级水平（P<0.001），其中Gemini和ChatGPT的可读性最佳，而Claude和Perplexity生成的文本较为复杂。在ChatGPT的回复中有46.7%包含了健康建议说明，Claude的回复中有40.0%包含此类说明，而Gemini和Perplexity的回复中这一比例仅为16.7%。

结论

人工智能聊天机器人能够生成准确、完整且一致的髌股疼痛综合征相关信息，但在可读性方面普遍存在不足。健康建议说明的出现频率较低，尤其是Gemini和Perplexity。这些研究结果表明，目前人工智能聊天机器人更适合作为辅助教育工具，未来需要进一步简化语言表达并强化安全提示功能。

引言

髌股疼痛综合征，俗称“跑步者膝”，是一种较为常见的肌肉骨骼疾病，主要表现为膝盖前侧疼痛。该病曾被认为与髌骨软化症是同一种疾病[1]、[2]、[3]。它常常影响年轻人[4]、经常进行体育活动的人[5]以及运动员[6]，严重影响了他们的日常活动和生活质量[7]。髌股疼痛综合征的反复发作特性是导致疾病负担加重的原因之一，若得不到妥善治疗，还可能增加日后患髌股骨关节炎的风险[8]、[9]。此外，该病的慢性发展还会给经济和医疗系统带来沉重负担，需要持续的临床治疗和长期康复干预[10]。

人们对髌股疼痛综合征的认知和理解程度可能会影响该病的发病、恢复进程以及整体治疗效果[11]、[12]。针对该病的错误认知和负面观念与更高的疼痛程度[12]、功能障碍[11]、减少体育活动参与度[13]以及更高的慢性疼痛发病风险[14]有关。随着互联网成为大部分人获取健康信息的主要渠道，患者获取医疗信息的途径发生了很大变化[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]。尽管在线平台能让人快速便捷地获取各类教育资料，但它们也可能传播不可靠的信息，从而对患者的健康状况产生不良影响[15]、[23]、[24]。先前的研究已经表明，网上关于髌股疼痛综合征的信息在临床可信度、准确性以及证据支撑方面存在不足[25]。

越来越多的患者开始借助基于大型语言模型的人工智能聊天机器人作为获取健康相关信息的辅助手段[26]、[27]、[28]。这些模型通过自然语言处理技术模拟人类对话，其回复是基于深度学习算法和海量训练数据生成的[28]、[29]、[30]。最近，一些具备逻辑推理或“思考”功能的先进模型出现，进一步提升了它们处理复杂医疗问题并整合详细信息的能力[31]。这类先进的基于大型语言模型的聊天机器人有望通过提供便捷及时的医疗指导，提升公众的健康素养[32]。除了解答个体的具体医疗问题，这些工具还能帮助患者改变行为习惯，促进自我管理，同时让患者更容易获取与康复和健康促进相关的循证资源[32]、[33]、[34]。

然而，基于大型语言模型的聊天机器人也存在一些明显的局限性。它们解读临床情境的能力有限，难以应对高度个性化且复杂的医疗问题，而且依赖于通用的训练数据集，这些都可能直接影响生成信息的质量[27]、[28]、[29]。此外，这些模型生成的回复可能存在不准确、自相矛盾的情况，还可能带有固有偏见，进而可能助长医疗错误信息的传播[27]。除了事实准确性之外，这些信息的临床实用性还很大程度上取决于患者能否理解它们。美国医学协会和国家卫生研究院建议，患者教育材料的编写难度应相当于六年级阅读水平，这样才能确保不同文化背景的患者都能理解[35]。如果人工智能生成的回复难度超过这一标准，就可能会让健康素养较低的患者难以理解，从而导致严重的误解以及较差的康复方案遵从度。

虽然多个医学领域已经研究了基于大型语言模型的聊天机器人提供准确健康信息的能力，但它们作为患者获取髌股疼痛综合征相关建议的工具的有效性仍不明确[22]、[34]、[36]、[37]。需要进一步研究这些模型提供的信息质量，以及它们是否符合推荐的可读性和安全提示标准，才能确保其可靠性。因此，本研究直接比较了ChatGPT、Gemini、Claude和Perplexity这四种具备先进逻辑推理或“思考”功能的模型在回答患者关于髌股疼痛综合征的常见问题时的表现。研究从准确性、清晰度、完整性、一致性这几个患者教育的关键指标入手，评估这些模型在提供循证信息方面的表现，同时还分析了文本的可读性以及健康建议说明的呈现情况。

章节节选

研究背景与参与者

本研究是一项前瞻性对比研究，旨在评估四种先进的基于大型语言模型的系统在生成髌股疼痛综合征相关健康信息方面的表现：分别是具备思考功能的Gemini 3、GPT-5.2 thinking、Claude Sonnet 4.6 thinking以及Perplexity Pro。选择这些模型是基于它们的逻辑推理能力、“思考”功能、知名度以及获取复杂医疗信息方面的潜力。我们准备了30个与髌股疼痛综合征相关的问题，涵盖了定义、症状、风险等五个核心方面

质量分析

表3和图1总结了这四种聊天机器人针对30个髌股疼痛综合征相关问题的评估得分中位数。Kruskal-Wallis检验结果显示，不同人工智能模型在准确性（P = 0.019，ε² = 0.06，效应大小为中等）和清晰度（P < 0.001，ε² = 0.771，效应大小为较大）方面存在显著差异。而在完整性（P = 0.296，ε² = 0.006）和一致性（P = 0.1，ε² = 0.028）方面则没有显著差异，所有

讨论

本研究评估了四种先进的大型语言模型（ChatGPT、Gemini、Claude和Perplexity）在为患者提供髌股疼痛综合征相关教育内容方面的表现。主要研究结果表明，虽然所有模型在准确性、完整性以及一致性方面都表现优异，但清晰度方面存在明显差异。具体而言，Perplexity在这一方面的表现明显落后于其他模型，效应大小为较大。此外，所有模型都未能达到推荐的

研究局限性

本研究存在一些方法学上的局限性。首先，大型语言模型一直在不断进化，因此我们的研究结果仅反映了它们在某一特定时间点的表现。未来的算法更新或新的训练数据都可能改变它们的准确性、清晰度和可读性。其次，为了保证研究方法的统一性，我们使用了预先设定好的30个单轮问题，但这种方法可能无法完全涵盖人们日常交流中的口语化表达和复杂语境

研究的优势

据我们所知，这是首项全面评估基于最新具备逻辑推理功能的大型语言模型生成的髌股疼痛综合征相关人工智能回复在可读性、准确性、清晰度、完整性、一致性以及是否包含健康相关安全提示等方面的研究。与以往只研究某一种聊天机器人或早期模型版本的研究不同，本研究同时对比了四种流行的先进人工智能平台

结论

目前的先进大型语言模型具备较强的能力，能够生成关于髌股疼痛综合征的准确、完整且一致的教育类内容。然而，由于文本过于复杂且缺乏足够的安全提示，这些模型作为独立的面向患者的资源，其临床实用价值受到了很大限制。虽然像ChatGPT这样的模型能够在保持临床准确性的同时兼顾一定的清晰度，但所有被评估的聊天机器人，包括可读性最高的Gemini，也都未能达到

作者贡献说明

Yuvathi Arunkumar：负责初稿撰写。Shijie Fan：负责审稿与编辑、可视化处理、验证工作、方法设计以及概念构思。Longguo Zhang：负责初稿撰写、方法设计、正式分析、数据整理以及概念构思。Zhaodong Bi：负责初稿撰写、正式分析以及数据整理。Sehrish Noor：负责审稿与编辑

伦理审查委员会声明

由于本研究未涉及人类受试者，因此无需经过伦理审查委员会的批准。

数据可用性

所有数据均保存在补充文件中，可供查阅。

利益冲突声明

无。

资金来源

本研究没有获得公共部门、商业机构或非营利组织提供的任何资助。

利益冲突声明

? 作者声明自己不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

Longguo Zhang|Shijie Fan|Yuvathi Arunkumar|Sehrish Noor|Zhaodong Bi

中国贵州省贵阳市贵阳中医医院骨科