《Frontiers in Public Health》:AI-generated high-intensity interval training information: a cross-sectional comparative evaluation of quality and readability
编辑推荐:
背景:人工智能(AI)聊天机器人正日益用于健康与运动信息。高强度间歇训练(HIIT)是常见运动主题,但聊天机器人生成的HIIT信息在标准化测试方案下的质量、透明度和可读性尚未被系统比较。目的:比较ChatGPT、Copilot、Gemini和Perplexit
背景:人工智能(AI)聊天机器人正日益用于健康与运动信息。高强度间歇训练(HIIT)是常见运动主题,但聊天机器人生成的HIIT信息在标准化测试方案下的质量、透明度和可读性尚未被系统比较。目的:比较ChatGPT、Copilot、Gemini和Perplexity生成的HIIT相关回答在若干质量、透明度和可读性维度上的差异,并依据预设的面向公众健康信息的六年级基准评估可读性。方法:本横断面比较内容分析于2026年8月开展。研究人员使用Google Trends识别过去5年全球范围内与HIIT相关的搜索词。29个候选词经预设筛选后保留14个,每个词分别向4个聊天机器人各提交1次,共获得56条回答。两名均拥有运动科学博士学位的评审者使用DISCERN(DISCERN instrument)、EQIP(Ensuring Quality Information for Patients)、JAMA基准标准(Journal of the American Medical Association benchmark criteria)和GQS(Global Quality Scale)独立评估所有回答,这些工具评估信息质量、可用性、透明度和总体有用性的互补维度。在裁决前评估评分者间信度。计算6种可读性指数。由于相同的14个查询在4个聊天机器人上均被评估,总体差异采用Friedman检验;显著结果随后采用经Holm校正的配对Wilcoxon符号秩检验。Kendall’s W作为总体效应量指标报告。结果:Perplexity生成回答在DISCERN [51.50 (47.50, 53.75)]、EQIP [75.00 (70.00, 80.00)]、JAMA [1.00 (1.00, 1.00)]和GQS [4.00 (4.00, 4.00)]上中位得分最高。Friedman检验显示聊天机器人间在DISCERN(χ2 = 27.98,p < 0.001,W = 0.666)、EQIP(χ2 = 25.74,p < 0.001,W = 0.613)、JAMA(χ2 = 35.40,p < 0.001,W = 0.843)和GQS(χ2 = 21.15,p < 0.001,W = 0.504)上存在显著差异。四种聊天机器人均未在所有评估指数上达到预设的六年级可读性基准。结论:在该特定测试方案下,四种聊天机器人生成的HIIT相关回答在评估的信息质量和透明度维度上存在差异,Perplexity生成回答在全部四种评估工具上获得更高的中位得分。这些得分不应被解释为事实准确性、引用准确性或临床安全性的直接证据,因为这些方面未独立评估。所评估的聊天机器人生成回答均未达到预设可读性基准。
该研究围绕AI聊天机器人生成的HIIT信息展开。AI(artificial intelligence,人工智能)聊天机器人由大语言模型驱动,日益被用作健康与运动信息的直接来源;其以会话式答案综合信息,可能影响用户对健康与运动指导的理解。既有研究已在医学和运动情境中关注聊天机器人信息的准确性、完整性、质量、来源透明度和可读性,但这些构念相关而不等同:可读不等于准确,有来源不等于完整,结构化质量评分也不能确立临床安全性。面向公众的健康信息应可理解、来源适当且对预期目的足够完整。DISCERN(DISCERN instrument,消费者健康信息质量评价工具)用于判断书面消费者健康信息质量,EQIP(Ensuring Quality Information for Patients,患者信息质量保障工具)关注内容、呈现和可用性,JAMA基准标准(Journal of the American Medical Association benchmark criteria,美国医学会基准标准)强调作者身份、归属、披露和时效性,GQS(Global Quality Scale,全球质量量表)提供信息质量、流畅性和有用性的总体判断;可读性公式则量化文本复杂度,不直接测量理解、事实准确性或临床安全。运动与运动健康领域证据显示,AI生成运动建议可能具有较高总体事实准确性但全面性有限、可读性达大学水平;运动医学研究亦发现损伤相关问题存在质量和可读性差异;近期审计还提示引用完整性、虚构参考文献和可读性困难等问题。HIIT(high-intensity interval training,高强度间歇训练)查询可从定义延伸至示例、益处、强度、进阶和初学者参与,并与运动处方和安全相交,因此适合开展标准化比较。研究目的是在标准化横断面方案下比较ChatGPT、Copilot、Gemini和Perplexity生成的HIIT相关回答在DISCERN、EQIP、JAMA和GQS所捕捉的具体维度上是否存在差异,并评估其是否达到预设六年级可读性基准;事实准确性、引用准确性、幻觉频率和临床安全不在预设范围内,也不从质量评分推断。
关键技术方法:该研究为横断面比较内容分析,数据源为Google Trends全球近5年HIIT相关公开搜索词及四平台AI生成文本,无患者记录或临床数据库。研究人员从29个候选词中筛选14个,分别向ChatGPT(GPT-5.5)、Gemini(3.5 Flash)、Perplexity和Microsoft Copilot各提交1次,共56条回答。两名运动科学博士评审者盲法独立采用DISCERN、EQIP、JAMA基准标准和GQS评估信息质量、可用性、透明度和总体有用性,并计算评分者间信度。可读性以Python和textstat计算ARI(Automated Readability Index,自动可读性指数)、FRES(Flesch Reading Ease Score,Flesch阅读易读性评分)、GFI(Gunning Fog Index,Gunning Fog指数)、FKGL(Flesch–Kincaid Grade Level,Flesch–Kincaid年级水平)、CLI(Coleman-Liau Index,Coleman-Liau指数)与SMOG(Simple Measure of Gobbledygook,Gobbledygook简易测量)六项指数。统计采用Friedman检验、Holm校正配对Wilcoxon符号秩检验及Kendall’s W。
研究结果如下。HIIT相关术语的筛选:Google Trends初始识别29个候选词,按预设标准排除15个后保留14个,覆盖一般HIIT术语、益处、运动示例、训练方案、初学者信息、Tabata及较宽泛的有氧/无氧运动概念;每个查询向四个聊天机器人各提交一次,形成56条回答的分析数据集。评分者间信度:裁决前独立评分显示DISCERN的ICC(intraclass correlation coefficient,组内相关系数)为0.947(95% CI 0.917–0.962),EQIP为0.858(95% CI 0.794–0.896);JAMA的二次加权Cohen’s kappa为0.714(95% CI 0.505–0.887),GQS为0.433(95% CI 0.278–0.537);随后通过讨论及必要时第三评审者裁决解决分歧。信息质量:Friedman检验显示四平台在DISCERN(χ
2 = 27.98,p < 0.001,Kendall’s W = 0.666)、EQIP(χ
2 = 25.74,p < 0.001,W = 0.613)、JAMA(χ
2 = 35.40,p < 0.001,W = 0.843)和GQS(χ
2 = 21.15,p < 0.001,W = 0.504)上均有显著差异;Perplexity在四项指标上中位得分最高,DISCERN为51.50(47.50, 53.75),处于“良好”类别低端,EQIP为75.00(70.00, 80.00),JAMA为1.00(1.00, 1.00),GQS为4.00(4.00, 4.00);Copilot、Gemini、ChatGPT的DISCERN中位数分别为39.00(37.25, 40.00)、36.00(34.25, 38.00)、35.00(34.25, 36.75),EQIP分别为57.50(51.25, 68.75)、55.00(46.25, 60.00)、47.50(40.00, 55.00),JAMA三者均为0.00(0.00, 0.00),GQS分别为3.50(3.00, 4.00)、3.00(3.00, 3.00)、3.00(3.00, 3.00)。事后两两比较:Holm校正配对Wilcoxon符号秩检验显示,DISCERN中Perplexity与ChatGPT(校正p = 0.006)、Copilot(p = 0.010)、Gemini(p = 0.006)差异显著,Copilot亦与ChatGPT(p = 0.011)和Gemini(p = 0.041)不同;EQIP中Perplexity与ChatGPT(p = 0.006)、Copilot(p = 0.024)、Gemini(p = 0.006)不同,Copilot与ChatGPT不同(p = 0.047);JAMA中Perplexity与ChatGPT(p = 0.001)、Copilot(p = 0.004)、Gemini(p = 0.001)不同,其余比较不显著;GQS中Perplexity与ChatGPT和Gemini均不同(均p = 0.009),Perplexity与Copilot比较经Holm校正后不显著(p = 0.101)。这些两两结果仅描述本方案下的得分差异,不确立事实或临床优越性。可读性:四种聊天机器人均未达到预设六年级基准;ARI、GFI、FKGL、CLI和SMOG五个年级水平指数中位数均超过6,FRES中位数均低于80;Friedman检验显示平台间在ARI(χ
2 = 19.14,p < 0.001,W = 0.456)、GFI(χ
2 = 27.00,p < 0.001,W = 0.643)、FKGL(χ
2 = 22.71,p < 0.001,W = 0.541)、CLI(χ
2 = 24.63,p < 0.001,W = 0.586)、SMOG(χ
2 = 15.51,p = 0.001,W = 0.369)和FRES(χ
2 = 30.09,p < 0.001,W = 0.716)上均有显著差异。ARI中位数从Copilot的11.46(11.06, 12.52)到ChatGPT的16.09(14.48, 16.78),GFI从Copilot的13.03(10.95, 13.73)到ChatGPT的17.99(15.86, 19.52),FKGL从Copilot的9.82(8.42, 10.31)到ChatGPT的14.40(12.31, 15.03),CLI从Copilot的13.18(12.39, 14.73)到ChatGPT的18.31(16.67, 19.38),SMOG从Copilot的12.08(10.68, 12.30)到Gemini的13.64(11.77, 14.85);FRES中位数分别为ChatGPT 6.47(1.92, 20.10)、Copilot 43.94(40.13, 52.27)、Gemini 30.62(21.27, 39.73)、Perplexity 41.02(26.64, 57.52),均低于预设阈值80。查询层面质量与可读性分布:查询层面的质量与可读性指标存在变异,较高质量得分并不总是对应较低年级水平可读性值;该模式仅为描述性,未推断质量与可读性之间的因果或相关关系。
讨论部分总结:本研究用相同14个查询比较四平台56条HIIT相关回答,考虑配对查询结构后,DISCERN、EQIP、JAMA和GQS仍存在显著平台差异,Perplexity生成回答在四项指标上中位得分最高;JAMA的Friedman效应量最大,提示该工具捕捉的来源透明性特征在平台间差异较大,但不能解释为来源呈现导致得分差异。该结果与既往平台差异研究及运动健康情境中“有用内容伴随覆盖不全、可读性难或偶有不准确”的证据大体一致。Perplexity较高的JAMA得分可能反映来源呈现或归属差异,但研究未直接检验该机制;JAMA并不验证引用来源是否存在、是否准确支持主张或是否临床适宜,DISCERN、EQIP和GQS也不独立确立事实准确或安全。较高相对得分亦不等于绝对充分:Perplexity的DISCERN中位数位于“良好”类别低端,EQIP中位数紧邻“优秀”阈值下方,故结论仅限于本测试与评分方案。可读性普遍不足,所有年级水平指数超过六年级目标,FRES中位数低于80,与既往聊天机器人健康信息研究及Deng et al.、Wang et al.、Hu et al.等对心脏黏液瘤、慢性心力衰竭和高血压患者教育中质量、可理解性/可行动性与可读性分离的发现相呼应。HIIT回答含强度、间歇结构、负荷和生理适应等技术词及可能的长句或密集解释,可提高公式年级水平,但研究未作语言分解,相关解释仅为可能机制。可读性差距较大,ChatGPT的FKGL中位数14.40,Copilot最低9.82,仍高于六年级目标数个年级。质量相关工具得分最高的聊天机器人并非始终文本最简单,支持将内容相关指标与可读性分开评估,但未确立二者统计关系。研究未用PEMAT-P(Patient Education Materials Assessment Tool for Printable Materials,印刷材料患者教育评估工具)直接评估可理解性和可行动性;公式可读性估计阅读难度,而可行动性关注读者能否识别并执行建议。AI聊天机器人或可提供入门性HIIT信息,但本数据仅支持补充性教育角色;研究未评估事实准确性、禁忌证识别、个体化运动处方、引用有效性或临床安全,涉及症状、病史、功能限制或个体化运动风险的问题仍需专业指导。未来应把来源可追溯性与引用有效性、主张级事实支持共同评估,并检验通俗语言改编是否改善实际理解,而非仅改善公式可读性;多层回答将简明公众摘要与可选技术细节及可验证参考文献分开,值得直接测试。研究优势包括同一查询跨四平台直接可比、Google Trends提供真实搜索兴趣基础、四种互补工具加六种可读性公式及重复测量方法;局限包括仅四平台14查询,未全面覆盖禁忌证、损伤预防、进阶、恢复、老年人、慢性病和心血管风险,每查询-平台组合仅采样一次,生成系统具随机/非确定性且频繁更新,未评估重复查询一致性,Google Trends为标准化相对搜索兴趣而非绝对搜索量,搜索引擎词可能不反映会话提示,单查询设计未评估多轮澄清、个性化、错误纠正、后续安全建议或读写能力适配,仅分析英文回答,工具不直接确立事实准确、引用准确、幻觉频率或临床安全,未用PEMAT-P评估可理解性/可行动性,可读性公式估计文本复杂度而非实际理解,模型版本、界面、检索功能和平台设置随时间变化,结果仅为2026年8月的时间特定快照;此外原始评审者裁决前评分未保留,GQS评分者间一致性低于其他工具,GQS结果应与更结构化的DISCERN、EQIP和JAMA评估一并解释。
研究结论翻译:在由14个匹配的HIIT相关查询生成的56条回答中,经重复测量方法分析,四种聊天机器人在DISCERN、EQIP、JAMA和GQS上存在显著差异。在本方案下,Perplexity生成回答在全部四种评估工具上中位得分更高,尤其在透明性导向的JAMA基准上。这些发现涉及所选工具捕捉的构念,不应被解释为事实准确性、引用准确性或临床安全性更优。四种聊天机器人亦均产生高于预设六年级可读性基准的文本。未来对AI生成运动信息的评估应将结构化质量与透明度措施同事实准确性、安全性、引用有效性、重复回答变异性、用户理解及可理解性/可行动性(如PEMAT-P)的直接评估结合起来。AI生成的HIIT信息可补充一般教育,但个体化运动或健康决策不应仅依赖这些输出。