GPT-4作为腕管手术患者信息来源的比较分析：与谷歌网页搜索的对比

《JAAOS - Journal of the American Academy of Orthopaedic Surgeons》：GPT-4 as a Source of Patient Information for Carpal Tunnel Surgery: A Comparative Analysis Against Google Web Search

本研究比较了GPT-4与Google在处理腕管综合征（CTS）FAQ时的差异，发现GPT-4回答更详细技术性，但Google更易读且简短。GPT-4适合深度信息需求，但Google在基础信息提供上更优。

　　

摘要

引言：

腕管手术（CTS）在美国每年大约进行577,000例。这种高频率引发了人们对通过人工智能聊天机器人、谷歌和医疗专业人员传播医疗信息的担忧。本研究的目的是确定GPT-4和谷歌在以下方面是否存在差异：（1）被提出的问题类型；（2）回答的可读性；（3）关于CTS的十大最常见问题（FAQs）的数值回答的准确性。

方法：

首先通过谷歌搜索确定了与CTS相关的十大常见问题，然后使用GPT-4进行回答。回答结果根据Rothwell分类系统进行分类，并使用Flesch阅读难度指数和Flesch-Kincaid年级水平评分来评估其可读性。统计分析包括Cohen kappa系数以评估观察者间的一致性，以及Student t检验来比较回答特征。统计显著性水平设定为0.05。

结果：

研究发现，谷歌的70%的FAQs基于事实，主要涉及技术细节（40%）和具体活动（40%）。GPT-4的FAQs也主要是基于事实的（50%），其中技术细节是最常被查询的主题（40%）。观察者间的一致性非常高。谷歌的回答比GPT-4的更易阅读，Flesch阅读难度指数为56.40（P = 0.001），Flesch-Kincaid年级水平为9.93（P = 0.007）；而GPT-4的相应指标分别为34.19和12.85。谷歌的回答字数更少，平均为91.50个词，而GPT-4为162.90个词（P = 0.013）。在回答这些问题的数值部分，GPT-4和谷歌在10个问题中有9个存在差异，GPT-4提供的时间范围通常更宽泛。

结论：

与谷歌相比，GPT-4在回答患者关于CTS的查询时提供了更详细且更具技术性的内容。这表明GPT-4能够在患者需要更深入信息时提供详细的解答，从而提高医疗教育的质量。

证据水平：

NA