《Journal of Clinical and Translational Science》：Comparing AI-ChatGPT and clinician-authored cancer patient education materials: A cross-sectional assessment
编辑推荐：
目的：在尼日利亚和非洲，使用人工智能（artificial intelligence, AI）大语言模型（large language models, LLMs）如ChatGPT作为健康和癌症信息来源的情况正在增加；然而，这些信息的质量在很大程度上仍未知。本研
目的：在尼日利亚和非洲，使用人工智能（artificial intelligence, AI）大语言模型（large language models, LLMs）如ChatGPT作为健康和癌症信息来源的情况正在增加；然而，这些信息的质量在很大程度上仍未知。本研究评估ChatGPT生成的癌症患者教育材料（patient education materials, PEMs）在有用性（usefulness）、可理解性（understandability）和清晰性（clarity）方面是否与临床医生撰写的内容一致。方法：采用横断面研究设计（cross-sectional study design），招募409名成人完成问卷，评估由AI-ChatGPT（使用GPT-4o）和临床医生创建的癌症PEMs的有用性、可理解性和清晰性。结果：371名完成问卷的参与者中，大多数为女性（70%）、拥有学士学位或更高（90%）、城市居民（80%），超过一半（58%）缺乏健康保险。结果显示，使用GPT-4o的ChatGPT生成的PEMs在有用性、可理解性和清晰性方面与临床医生开发的材料相当，总体上无显著差异。然而，临床医生关于“健康饮食”和“限制饮酒”的陈述被评为比AI的对应内容更清晰，两者差异均有统计学意义（p = 0.025, d = 0.24；p = 0.006, d = 0.30）。仅14%的参与者报告使用AI获取健康信息，但58%表示信任AI，提示其可能快速采用。结论：ChatGPT（GPT-4o）可以生成在有用性、可理解性和清晰性方面与临床医生创建材料相当的PEMs。这是首个基于非洲的研究比较临床医生和AI生成的癌症PEMs。实践意义：临床医生和健康教育者可以考虑使用AI，尤其是ChatGPT，支持非洲PEMs开发；然而，输出需要临床医生审查、文化适应并与卫生系统对齐。
研究人员针对尼日利亚及非洲癌症负担沉重、患者与提供者沟通不足、公众癌症知识水平低和健康素养（health literacy）有限等问题开展研究。尼日利亚2022年报告127,763例新发癌症病例，其中62%（79,542例）导致死亡；该国人口超过2.18亿，却仅有80名肿瘤专科医生，医生与护士配置低于世界卫生组织建议，患者教育材料（patient education materials, PEMs）多停留在中学或以上阅读水平。人工智能（artificial intelligence, AI）大语言模型（large language models, LLMs）如ChatGPT被认为可简化复杂医学概念并生成对话式健康信息，但来自低收入和中等收入国家（low- and middle-income countries, LMICs）及非洲的证据稀缺。因此，研究人员评估ChatGPT生成的癌症PEMs与临床医生撰写内容在有用性、可理解性和清晰性方面是否一致，并假设二者相匹配。研究采用横断面设计，在尼日利亚阿布贾招募成人并分析371份完整问卷，结果显示ChatGPT（GPT-4o）生成的PEMs在总体有用性、可理解性和清晰性上与临床医生材料相当，但临床医生关于“健康饮食”和“限制饮酒”的陈述更清晰。该研究是首个非洲背景下比较临床医生与AI生成癌症PEMs的研究，提示AI可辅助PEM开发，但需临床审查、文化适应和卫生系统对齐。
关键技术方法（不超过250字）：采用横断面研究设计；2025年2月1日世界癌症日（World Cancer Day）步行活动和尼日利亚阿布贾Project PINK BLUE志愿者中招募409名成人，371份完整问卷纳入分析；采用Project PINK BLUE临床医生编写的“10 Ways of Reducing Your Cancer Risk”材料（H1-10，经8名卫生专业人员表面效度（face validity）评估）；2025年1月20日在阿布贾以GPT-4o网页免费版单次提问“What are the 10 ways to reduce cancer risks?”，编码J1-10并由3名作者进行证据等级评定；使用两套癌症教育信息问卷（cancer education information, CEI）评估有用性、可理解性和清晰性，清晰性用Likert 1-5，有用性和可理解性用是/否；SAS 9.4进行描述统计和t检验；Readable.com计算Flesch–Kincaid、Flesch Reading Ease、SMOG和Gunning Fog指标。
研究结果如下。社会人口学特征：371名参与者平均年龄34.60岁（SD = 8.88），女性70%，单身61%，基督徒81%，Igbo族33%，本科及以上90%，城市居民80%，专业或管理岗位29%，无健康保险58%。数字健康信息来源、信任和技术使用：73%依赖医生，52%使用Google，36%使用其他社交媒体，22%使用“Aproko Doctor”，14%使用ChatGPT等AI工具；95%通过智能手机上网，49%使用笔记本电脑；58%表示信任AI健康信息；30%使用健身穿戴设备，36%使用健康相关移动应用，仅4%使用癌症相关应用，90%表示有兴趣使用癌症应用进行预防和照护。患者教育材料陈述的比较评价：临床医生与AI-ChatGPT生成的PEM陈述在有用性和可理解性“是”的比例均超过94%，AI在运动、疫苗接种和定期筛查等关键类别达到100%认可；清晰性Likert评估中，80%至90%以上参与者同意或强烈同意两类材料清晰，AI生成内容在关键指标上相当或略优。清晰性差异：总体上两类材料清晰性无显著差异；但临床医生第4条“健康饮食”清晰性均值为4.59，AI为4.38（d = 0.24，p = 0.025），第6条“限制饮酒”临床医生为4.48，AI为4.23（d = 0.30，p = 0.006），差异有统计学意义。可读性：临床医生材料Flesch–Kincaid年级水平7.7（Flesch Reading Ease 53.3；SMOG 9.4），ChatGPT材料8.0（Flesch Reading Ease 52.1；SMOG 10.2），均约八年级，高于患者教育推荐的六年级水平；ChatGPT内容长64%（253词 vs 154词），平均句长8.4词 vs 7.3词。
讨论部分总结：研究人员指出这是首个在尼日利亚及非洲评估AI生成癌症预防PEMs的研究，结果与既往高收入国家研究一致，即ChatGPT可生成与临床医生材料相当的PEMs。具体差异显示，临床医生“健康饮食”使用“eat plenty of vegetables and fresh fruits”等可行动语言，而AI使用“focus”，反映PEMAT（Patient Education Materials Assessment Tool）所强调的可理解性与可行动性区别；“限制饮酒”方面，临床医生表述与WHO、World Cancer Research Fund International、Union for International Cancer Control和International Agency for Research on Cancer（IARC）关于“无安全饮酒量、不饮酒更利于癌症预防”的建议一致，AI则以性别每日“适度”限值表述，可能沿用较旧或语境不适框架。可读性相当且均超过推荐水平，说明临床医生撰写本身未必保证适宜阅读水平，AI亦未改善该不足。样本高教育、城市为主，英语评估可能代表模型最佳表现；在500多种语言环境中，需在Igbo、Hausa、Yoruba或Nigerian Pidgin中评估。14%使用AI但58%信任AI，提示采用潜力；Afrocentric数据集缺乏可能使AI偏向高收入国家可行建议，需本地数据所有权、培训和开放共享基础设施。局限性包括高教育样本、农村仅20%、世界癌症日招募选择偏倚、即时感知未评估长期保留或行为改变、单次AI回答未测多次平均与方差、CEI混合响应格式及GPT-4o训练数据偏高收入国家；优势为首个非洲研究及两套CEI问卷比较。结论翻译：AI，尤其是ChatGPT，可以补充非洲临床医生创建的PEMs，前提是输出经过严格的本地审查。卫生部、非政府组织和癌症控制项目应探索将AI辅助PEMs纳入国家战略，同时优先开发Afrocentric数据集。投资数字健康素养、AI治理和开放获取健康内容库对于最大化收益并最小化偏倚或错误信息至关重要。这些发现表明，生成式AI可通过提供快速、可靠的方法将复杂临床证据转化为清晰、高度可理解的患者沟通，从而降低转化研究中的显著障碍。
