《Next Research》：A Comparative Study on the Quality of AI Responses to Patient Centered Questions about HIPEC
编辑推荐：
本研究通过比较ChatGPT和Google在回答HIPEC（腹腔热灌注化疗）常见问题时的质量评分，发现ChatGPT的平均GQS（全球质量量表）为4.06，显著高于Google的2.73，表明AI平台在提供患者教育信息方面更具优势。
亚历山大·S·托马斯（Alexander S. Thomas）| 希拉里·Y·刘（Hilary Y. Liu）| 杰科布·霍奇斯（Jacob Hodges）| 弗朗切斯科·M·埃格罗（Francesco M. Egro）| 梅兰妮·C·翁钦（Melanie C. Ongchin）
匹兹堡大学医学中心（University of Pittsburgh Medical Center），UPMC癌症诊疗中心（UPMC Cancer Pavilion），415室，5150 Centre Ave.，匹兹堡，宾夕法尼亚州 15232
摘要
背景
细胞减灭手术（CRS）和热灌注腹腔化疗（HIPEC）是治疗腹膜表面恶性肿瘤的激进外科治疗方法。由于癌病扩散患者的管理复杂性，患者会提出许多问题。随着患者转向互联网寻求信息，本研究旨在通过比较ChatGPT和Google对HIPEC相关常见问题的回答，来评估这两种工具作为患者教育资源的质量。
方法
使用“热灌注腹腔化疗（HIPEC）”这一关键词在Google上进行搜索，以确定该主题下最常见的查询问题。记录下所有回答，并从Google和ChatGPT中获取每个问题的参考资料。执行HIPEC手术的外科肿瘤专家被要求根据全球质量评估量表（GQS）对两种来源的答案进行1到5分的评分。然后使用Wilcoxon配对符号秩检验比较Google和ChatGPT的GQS得分差异。
结果
Google的平均GQS得分为2.73（标准差SD=0.50），表明其提供的答案质量较低，遗漏了重要信息，对患者的帮助有限。相比之下，ChatGPT的平均得分为4.06（SD=0.26），表明其答案质量较高，涵盖了大部分关键信息，对患者具有实用性。所有受访者均表示会推荐患者使用ChatGPT获取医疗信息。
结论
ChatGPT对HIPEC相关常见问题的回答质量更高，这凸显了先进人工智能平台在为患者提供复杂医学主题信息方面的潜力。
引言
腹膜表面恶性肿瘤（PSM）是一种罕见且复杂的疾病，患者面临预后不佳和治疗选择有限的困境。该病通常由腹部或盆腔原发性癌症的转移引起，疾病进展过程非常糟糕，包括营养不良、疼痛和恶性梗阻[1,2]。由于治疗难度大，腹膜疾病往往对系统性治疗的反应不如其他转移部位[3,4]。
当疾病仅局限于腹膜且未涉及远处器官时，细胞减灭手术（CRS）和热灌注腹腔化疗（HIPEC，通常简称为“CRS+HIPEC”）是一种积极的外科治疗手段，可用于实现局部控制[4]。手术的目标是切除所有肉眼可见的肿瘤，并通过腹腔内化疗来治疗微小病灶。这一手术过程非常复杂，通常需要多器官切除、腹膜切除术和肿瘤减量手术。热灌注腹腔化疗的实施也需要专业操作，不同外科医生和机构之间的具体方案可能存在差异[5,6]。手术通常需要数小时，且约有30%的风险出现严重并发症[1,5,7]。
尽管存在这些风险，但对于卵巢癌、结直肠癌、阑尾癌、胃癌或腹膜间皮瘤等患者的选择，CRS+HIPEC仍有望改善生存率。然而，临床决策过程对于经验丰富且专业的外科医生来说都非常复杂，更不用说患者自己要理解这种复杂疾病的细节和手术规模了。不幸的是，许多患者事后会感到决策失误[1,2,8]。
显然需要更多工作来充分告知患者关于CRS+HIPEC的信息并帮助他们做好准备。患者往往会首先通过互联网了解自己的诊断情况，我们预计这包括查询CRS+HIPEC的适应症、成功率、替代方案以及患者体验[[9], [10], [11], [12]]。根据我们的经验，这些互联网搜索会显著影响患者的期望，而且现有研究也证实了这些信息的准确性存在差异[[13], [14], [15], [16], [17]]。随着人工智能的发展，在线资源变得更加丰富，这些更复杂的资源能够提供高质量、个性化的信息，从而提升患者教育效果，并突破诊所时间限制。然而，这些资源的质量尚未得到充分验证，因此需要谨慎使用并定期评估其效果。本研究旨在调查HIPEC手术专家对于新兴AI平台提供的患者信息与传统搜索引擎在处理这一复杂主题时的表现有何不同。
方法部分
方法
本研究旨在通过比较ChatGPT（OpenAI，旧金山，加利福尼亚州）和Google搜索（Google，山景城，加利福尼亚州）对HIPEC相关常见问题的回答，来评估这两种工具作为患者教育资源的质量。
使用“热灌注腹腔化疗（HIPEC）”进行Google搜索，记录下“人们也常问”的部分中前10个独特问题（排除重复且含义相同的问题）。
结果
共有16位从事CRS+HIPEC手术的外科肿瘤专家参与了本研究，所有参与者都完成了调查。表2展示了他们对Google和ChatGPT回答的评分。表3列出了Google和ChatGPT对HIPEC相关十个最常见问题的回答。
所有Google答案的平均GQS得分为3（四分位距IQR=2.3），表明专家认为Google的回答质量较低。
讨论
在临床实践中，患者经常询问关于在线信息的问题——美国国家癌症研究所的一项研究证实，大多数患者甚至会在咨询医生之前先上网查找信息[12]。然而，临床经验和现有数据都表明，在线资源的准确性和可读性存在差异[[13], [14], [15], [16], [17], [18], [20], [21], [22], [23], [24], [25]]。虽然互联网搜索在理论上有助于患者获取信息
CRediT贡献者角色分类
亚历山大·S·托马斯（Alexander S. Thomas）和希拉里·Y·刘（Hilary Y. Liu）参与了该项目的概念构思、数据整理、数据分析、方法研究、项目管理、资源收集、验证、初稿撰写以及修订编辑工作。
杰科布·霍奇斯（Jacob Hodges）参与了数据整理、数据分析、方法研究、项目管理、验证以及修订编辑工作。
弗朗切斯科·M·埃格罗（Francesco M. Egro）和梅兰妮·C·翁钦（Melanie C. Ongchin）也参与了部分工作
批准与知情同意
本文不涉及涉及人类参与者或动物的研究，因此无需获取此类研究的知情同意。
资金来源
本研究未获得任何公共部门、商业机构或非营利组织的资助。
CRediT作者贡献声明
亚历山大·S·托马斯（Alexander S. Thomas）：负责修订编辑、初稿撰写、验证、资源整理、项目管理、方法研究、数据分析、数据整理及概念构思。
希拉里·Y·刘（Hilary Y. Liu）：负责修订编辑、初稿撰写、资源整理、项目管理、方法研究、数据分析、数据整理及概念构思。
杰科布·霍奇斯（Jacob Hodges）：负责修订编辑、验证、项目管理、方法研究及数据分析。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
我们感谢杰科布·霍奇斯（Jacob Hodges）在数据分析方面提供的宝贵指导，他的帮助确保了研究方法的正确应用和结果的准确解读，从而增强了研究结果的有效性和可信度。
