不同人工智能聊天机器人平台在股骨头缺血性坏死健康信息回答中的质量与可读性评估

《Scientific Reports》：Evaluation of large language models’ responses to patient questions about avascular necrosis of the femoral head

　　人工智能聊天机器人在获取健康信息方面正迅速普及，但不同平台之间的回答质量似乎存在差异。本研究调查了ChatGPT、Gemini、Copilot、Claude和DeepSeek对15个关于股骨头缺血性坏死的常见问题的回答。每个平台各回答每个问题一次，共获得75条回答。四名骨科医生使用JAMA基准标准、DISCERN、改良的五点临床准确性量表和二元安全性评分对回答进行了评估。可读性通过Flesch阅读难易度评分（FRES）和Flesch-Kincaid年级水平（FKGL）进行衡量。使用Friedman检验和Bonferroni校正的Wilcoxon符号秩检验对各模型进行比较。Claude在JAMA和DISCERN评分中排名最高，而DeepSeek在DISCERN方面优于ChatGPT、Gemini和Copilot。各模型之间的临床准确性存在显著差异（p < 0.001）。Claude和DeepSeek的评分高于ChatGPT、Gemini和Copilot，而Claude与DeepSeek之间无显著差异。所有回答均被四名评分者评为安全。模型的可读性表现评分在FRES（p = 0.043）和FKGL（p < 0.001）指标上存在显著差异。平均FKGL评分（10.85–13.93）高于患者教育信息所推荐的年级水平。各平台在透明度、信息质量和临床准确性方面的报告能力存在异质性，但在可读性方面均持续不达标。未评估患者的理解能力。